詳細は不明であるが縁起によれば、本尊観世音像は往昔、高阿弥、那智阿弥夫妻の行者　伊勢太廟に参籠する事一千日、満願の日、宮川のほとりにて此の本尊を授けられたが、夢想の霊験により当地に来り釜ヶ谷の山頂に安置した。降って天文年中尊像眉間の毫光煌灼として遠く伊勢の海底を射毎夜波心昼の如く漁人その業を失ったので、油田壱町歩を寄進し、坊舎の移転を懇請したため、山麓の現地に移し禅院に改めたとあります。現在の寺観は多くが明治・大正期に整えられたものです。
歴史としての詳細は不明であるが５００年程前に創立されたのではと思われます。
亦　寺号については「甘南美」は神なばり、神のまします山に起因した神奈備を根拠として寺号を甘南美寺としたものと考えられます。