小山観音（こやまかんのん）の歴史は約八〇〇年、平安の末期、旭将軍と異名された木曾義仲（１１５４〜１１８４）が、この地で病死した縁りの若名御前の菩提を弔うためやってきました。飛騨川が荒れて渡れず困惑のその時、荒波の中から龍神が現れ、馬頭観音の尊像を捧げ来り祠ることを勧め、波を鎮めてくれたのです。義仲は大いに喜び、その観音像を奇岩の小島に奉安し供養したのがはじまりと伝えられています。
なお、その馬頭観音像は一寸八分のお姿で、若名御前の護持仏であったそうです。御前はこの地、下米田町山本で亡くなり今も若名洞と呼ばれ、苔むした宝篋印塔は市の指定文化財に指定されています。
また、室町時代の頃、市内上蜂屋のお島御前が子供を授かるようにと名所小山観音に百日の願掛けをしました。満願の夜、夢幻の内に白髪の仙人が現れ一枚の唐銭を呑むようにと授かりました。信に任せて嚥下すれば、懐妊の兆しが現れ玉のような男子を出産いたします。ところがギュッと握った左手の拳が開きません。大人たちは身体の不自由を心配する中、お七夜に至りて男子自ら徐に手を開くと、なんと、かの満願の夜呑んだ唐銭を握っていたのです。余りの有難さに、母であるお島御前は観音様への報恩にと「お前は観音様の授かり児、み仏様にお仕えしなさい」とこの子をお坊さんにしました。その子は母の願い心をよく聞き入れ懸命に修行して、岐阜市瑞龍寺の悟渓禅師門下八哲のひとり、仁済宗怒禅師となられ御本山妙心寺にも出世されました。故郷蜂屋に瑞林寺、西脇に光徳寺などを開創された高僧であり、禅師にあやかり子授けの観音様としても信仰を受け今日に至っています。
その後、お島御前と仁済禅師母子二代にわたって、かの唐銭「周元通宝」三百枚を集めて鋳造された一尺の馬頭観音像が奉納され、一寸八分の観音様は秘仏とされました。
そして時代は下り、常住の和尚を求めて明暦三年（１６５７）、小山寺が開創され今日に至っています。
尚、このような歴史の流れから、通称は「こやまかんのん」の呼び名のほうがよく知られています。