甘泉寺始创于何年何月,已无法考证,或曰始建于宋代,但均无确凿证据。相传曾有一名士考中状元,唐皇见其一表人才,便将皇姑许配给与他。状元为了逃婚弃国回家,来到这里依山靠泉,建了座寺庙,出家做了和尚。皇姑追夫心切也来到这里,见郎君已出家,无奈便在寺庙前建了尼姑庵。传说虽无文字记载,不足为证,然寺内现存千年树龄的银杏古树,足以佐证该寺历史之悠久。
甘泉寺亦历史经劫难,屡受战乱雷火的袭击。到一九四九年前后,这里已倾圯殆尽,仅存残坦颓壁。一九九二年,枣庄市市中区渴口镇对甘泉寺施以大规模重修。重建后的大雄宝殿;东西厢房雕廊画栋,古色古香;四周院墙蜿蜒曲折,古朴曲雅。大雄宝殿内,如来佛祖端坐中央,东西两侧十八罗汉神态各异,惟妙惟肖。大雄宝殿前台阶下方是放生池,寺之西北角银杏树下的甘泉潺潺注入,(甘泉寺因此而得名),池内游鱼嬉戏,增添无限生机。
一九九六年四月,甘泉寺被批准为合法的佛教活动场所。为此山东省佛教协会指派千佛山高僧,八十八岁高龄的寂昌法师常住甘泉寺任住持。从此,甘泉寺香火日渐旺盛,枣庄市三百多名居士得到了合法的活动场所。经寂昌法师和寺内五名僧人及众居士共同努力,如今的甘泉寺又在放生池前新建了天王殿,殿两侧同时建起东西走廊,与东西厢房连接,同时还建起斋房,解决了僧人和居士的食宿问题。现在,寂昌法师经常往来于甘泉寺与济南千佛山之间,从事佛教活动。甘泉寺内日常事务,由心昊法师代为主持。