广济寺位于祝融峰与紫盖峰两山之间的峡谷里。峡谷长约二十华里，终日雨雾。在峡谷中一块平坦的地方，有一座颇具有规模的寺院，这便是广济寺。寺内曾供毗卢遮那佛像一尊。据佛经解释，毗卢遮那佛的佛身的智慧能光明遍照一切。所以广济寺又叫毗佛洞。
广济寺原名清淳寺。据《南岳志》记载：寺院是明朝神宗万历二十五年（公元一五九七年）开始建造的。创建人是明代一个有名有僧人，名叫无碍和尚。这无碍和尚原在南如寺为僧，他从河南信阳来南岳出家修行，三十余年来，口啖苦菜，不食五谷。他在承受了豆儿佛和尚的衣钵后，来到祝融峰上的狮子岩打坐，一天，忽然看见毗卢洞有一尊古佛放射出五彩的华光，他就在那里盖了一座茅庵，住了下来，后来创建寺院。不久，寺院倒毁。到了顺治十五年（公元一六五八年），无碍和尚的弟子竺庵和尚应南岳名士豪绅的邀请，于是从江西返回南岳，重新结茅庵于祖塔下，于是“法鼓声腾，名山为之一振”。他取佛法广济众生之意，将寺名改为广济寺，并于己亥（公元一六五九年）年秋，伐木造殿。后来竺庵和尚的弟子龙山和尚和智犁和尚又筹资兴建，断断续续经过五十九年，终于在清康熙五十七年（公元一七一八年）峻工，才成为现在这样的规模。