咸丰年间，金山寺开始走向衰落。有断碑记载“国课香灯难济，向各甲典当佛田”，说明当时财力有点不支了；住持也“圆寂归西”，寺院一时没了主心骨，正是伤心时候，“咸丰四年又遭兵匪”，更是雪上加霜。此次“兵匪”是指咸丰四年（1854年）八月，升平军（亦称红巾军）邓正高部自灌阳入境，与全州知州苏凤文大战于沛田。同年十一月，邓正高部进攻全州城。“遭兵匪”，可能是寺院遭到了洗劫，或者被兵匪驻扎过，总之，给了伤痕累累的金山寺又一记重拳，加剧了它的衰败。

        但在对面黄家的水沟桥下，发现一通大清同治五年的碑刻，是临济正宗第四十世住持的墓碑，能够重新为住持立碑，说明当时寺庙并未完全衰败，还保持着一定的规模。

      到了光绪十六年（1890年），西学开始进入全州，有英国基督教徒来全州城设福音堂，办学校。中国的佛教逐渐式微。

      众多残碑上记载的“卖本庵廖姓山场”，“卖尔能李家田一坵”，“卖土桥土路六坵三工”，“卖……”，这样崩塌般的衰败，实在令人心悸。虽然这些残碑上找不到具体的年份，但可以推断为光绪时期。越来越多的兵灾、自然灾害和严重的疫情，清廷自身难保，也就无暇顾及寺院了。从断碑的字里行间，可以读出无奈和悲伤。

      清末民初，社会经历了一次翻天覆地的变化。政体改变，西学输入越来越多，使出世思想和僧伽制度受到冲击，禅的思想和生活，就是想保持强弩之末，也不那么容易了。据黄家村86岁的黄於龙说，他十多岁去金山寺玩的时候，就已经立了学校，他是在那里读的小学。当时还有一个“三斋公”（和尚），是石塘乡塘背村公所山头村的。他自己种点田地维持生活，住在金山寺的一间小房子里，但后来还是给赶走了。

      民国27年8月，民国政府在金山寺创办了县立国民中学，后称之为“国中”，为当时培养了一批教师。民国33年，蒋文度任全州县县长之后，其兄蒋槐生任绍荫乡公所乡长，驻进金山寺。后来将国中排挤走了，又办了高小。解放之后，初期立高小，1958改为金山初中，期间1963-1964年办了两年农中，之后到了九十年代撤并初中的时候，改立小学，直到2005年将学校撤走，随之将中殿拆毁，金山寺就完全被废弃，成了一座荒园。