寺伝によると、永暦年中(1160〜61)文武に優れた藤原頼保が、勅命により郡上の山奥に栖む大鷲を退治した。その功を称えて鷲見姓と美濃北辺の領地をたまわった。
以来、勢力を拡げて、鷲見氏十世・保重の代に北野城(岐阜市)を築き、高富一帯をも掌中にしたが、永正七年(1510)稲葉城守護代・斉藤利良に敗れて不運にも自刃した。
その後、再起をかけた嫡男保定は討死、二男直保と三男保光の兄弟は、無常を感じて衣笠山に始祖・郡上太郎武蔵権守藤原朝臣鷲見頼保公をまつり、衣笠大権現と命名した。併せて一宇を建立、開山は淳岩和尚。歴代祖先を供養したのが広厳寺である。