阿多田港から西に向かって周回道路を約１５分ほど登っていくと、案内板があり、そこからさらに左の山道を登ると木材を横にした参道が続きます。地区では苔に覆われていることから「緑の道」と名付けられています。毎年６月と９月に周囲の雑草や雑木を刈り取られ、急坂ながら心地よく登ることが出来ます。

１５分ほどで観音山（海抜９４m）の山頂にたどり着きます。
地区の人たちが日々お参りされるということからお堂は大変綺麗にされお供え物も備えられています。

伝えられている由緒は、江戸時代初頭寛永年間（1624年～1643年）の頃、玖波村の与右衛門という人が肥前国（現在の長崎県北部）平戸の沖合で網にかかった観音像を持ち帰ったところ、夢枕で平戸の見えるところに祀ってほしいと告げられたので、この観音山に祀ったといわれています。

観音堂の傍の大きな平らな岩に立つと、安芸灘の絶景が一望できます。東に大黒神島、白石灯台、西に広 島県と山口県の県境にある東半分が大竹市という甲島が見えます。