耕香寺始建于顺治十三年（1656年），由耕庵弘敏禅师卜基始创。耕香寺遗址位于奉新县会埠镇张坊村芦田组。原名耕香院，史料中最早对耕香院的记载是康熙壬寅年（1662年）刊行的《奉新县志》。耕香院几经兴废，1939年被毁于大火，重建后土改时期被拆，墙基等地下结构尚存，出土有“耕香寺”款墙砖。
耕香寺引起众多学者关注的原因，是明末清初画家、书法家，清初画坛“四僧”之一，中国画一代宗师八大山人曾在这里隐居二十多年，这段岁月正是其思想和艺术风格发生重大蜕变的时期，其绘画艺术的风格正是在奉新耕香院形成。八大山人在自己的诗中就说：“栖隐奉新山，一切尘事冥”。其画作书作上使用的就是“耕香”印章。
2013年12月上旬促成宝峰寺代理住持衍真法师修复重建耕香寺，12月27日进行了项目签约，总投资1.5亿元。耕香寺修复重建以原址为基础，以修复原貌为原则的要求，重建了耕香寺、佛塔、老年佛教培训学院。
2018年八大山人的“雪衲”“傳綮”印章在奉新县耕香庵遗址中被游客在后山中发现上报。经过国家鉴定专家的鉴定，这是目前世界上仅存的两件八大山人的青田石印章，被评定为国家一级文物。