伊良原集落は剣山へ通じる国道438号を左折し、更に山の中へ入っていったところにある集落である。五色神社から集落へ向かう道路脇の、石段を少し上がっていった所に乳の木堂がある。
「育児の乳尠き時お参をすれば乳の量を増すと云ふ折々婦人の参拝者あるを見る」という話が昔の『美馬郡一宇村史』に、「母親が参拝して願（ぐわん）をかけると、たちまちにして乳が出たという話が広く伝わり、昔は多くの参詣人があった」という話が新しい『一宇村史』にある。むかしお堂の横に乳の木（イチョウと思われるが痕跡はないようだ）があったので、この名前が付けられたとのこと。
『一宇村史』によると、お堂は大正13年（1924）に建てられ茅葺屋根とあるが、建て替えられてトタン葺きになっている。村史にはお参りの人が少なくなったことや、雑草の茂りにまかせ手入れもなく、倉庫がわりに使用されてさびしいかぎりであると記載されているが、現在堂内には比較的新しいよだれ掛けが多数奉納され、お花も供えられている。

西内瀧三郎：美馬郡一宇村史、美馬郡一宇村、1920（大正９年）、p135
一宇村史編纂委員会：一宇村史、一宇村役場、1972、ｐ225
写真と情報：つるぎ町教育委員会提供