唐开元二十六年（公元738年），唐玄宗下令在全国曾经发生过重大战争的地方，建造大寺一座，以“开元”命名，这就是开元寺的由来。开元寺是唐玄宗为超度在水、陆战争中死亡战士的亡灵，下令在当地建造的寺院。

　　可以说，那里发生过残酷的大规模战争，那里就有开元寺。开元寺的主要法事是水陆法会：主要是超度亡灵到极乐世界，生者安宁开元寺，坐落在汝南城东门里路北。

　　民国初，该寺不少建筑毁于兵乱，现仅存前后两殿。前殿建筑在高2尺许的台基之上。台基前伸展，呈月弧形；有台阶五级，拾级而上，可直通大殿，屋脊硬山式，面阔五间，进深三间。

　　殿长15.6米，宽9.8米，高12米，顶部覆盖绿色琉璃瓦，梁架为七架檩。明间、补间有前廊，两端有耳房，前额枋有木刻装饰，无斗拱。后殿建筑格式与前殿有同有异。后殿没有台基，平地起建。

　　面阔五间，屋脊硬山式，进深三间，殿长17米，宽10米，高11米，顶部小青板瓦覆盖。梁架为七架檩，前后单步梁，中间二间为前廊式，两尽间为耳房。

　　此殿上面无脊饰，无斗拱，额枋上有透花木刻装饰。该寺原供奉有四大天王，十八罗汉，如来佛等神像．清末汝宁府，改开元寺为汝宁府城隍庙，塑有城隍爷泥像，置于后殴。

　　清末时较为鼎盛。民国以后，改为学校。后改前殿为杂技说唱之所，改后殿为戏楼，其盛景似开封相国寺。

　　由于历经沧桑，战乱频繁，古柏、古碑皆遭破坏，只有开元寺前后两殿巍峨耸立，不失为豫南地区古代建筑上乘之作。汝南县人民政府于1984年公布为县级文物保护单位。