紀美野町の集落から離れて山の中に入って行った静かな場所にある。隣に西方寺という寺院があるが、近くに民家はない。柴目にあることから「柴目薬師」と呼ばれているが、以前は医王庵 乳薬師と呼ばれてお参りされ乳型の祈願物が奉納されていたことが『野上町誌』にある。
資料には昔は真言宗高野派で安養寺といっていたが、宝暦2年（1752）に医王庵と改称。その後衰退して昭和の終わりには乳薬師堂と住坊のみになっていたと書かれている（p319）。
現在は奥に薬師堂があり、前の道路に面した建物は側面に鰐口が下げられて賽銭箱が設られ、資料にある住坊が参拝もできるよう改築されたもののようだ。看板は柴目河南集会場になっている。
裏には赤い前掛けをつけた石地蔵が並んでおり、新しいお花が備えられて大変綺麗に管理されている。資料にある乳型は見当たらなかった（2024年10月取材）

野上町誌編さん委員会：野上町誌 下巻、野上町、1985年、p609 https://dl.ndl.go.jp/pid/9575952/1/321
写真：奥　起久子撮影（2024/10/10）