当園は、昭和初期の不況下に失業対策をかねて、築園されたものである。この事業には、一日に50人から300人ほどの人夫を使い、夏冬とおして8年の歳月を要した。
園内には、県内県外から銘石、銘木を集め、とくに子孫には財産よりも精神の相続をと、自己の青年時代からの修養の資とした処世訓、古今の金言の数々を柱石に刻んだ。そこでこの庭園を、人生の苦しみと楽しみを盛った庭園という意味で「御苦楽園」と名づけた。
また、訪れる人々に多少とも心に益するところがあれば幸いと、自ら「社会大学」とも呼んでいた。
曾祖父は、昭和17年1月8日に70才でこの世を去ったが、各方面より強い要望が寄せられ、昭和40年から公開するにいたった。
