据清光绪五年撰《分庄图引》记载，衟公生了四个儿子：“长曰轩，徙瑞昌之清湓；次曰辕，仍建昌之磨刀；三曰軿，仍建昌之桂堂；四曰辂，徙武宁樱田。”
衟公的第三个儿子軿定居桂堂，是距离磨刀约４－５公里的一个地名，那么 “桂堂”的由来是什么呢？
衟公的8世孙士实，其长子师通儿子公懋，于宋建炎二年（公元1128年）登进士，为探花。三子师遵儿子公志，其长子楫、次子彬兄弟俩为宋代同榜进士。后辈为了纪念公懋、子楫、子彬三人，建一祠堂名曰三桂祠。与公懋同辈的还有公路（师遇次子）、以及士实曾孙楹公（父公志，与楫、彬同胞兄弟）之后建中，于宋宝祜癸丑（公元1253年）登进士。建中长子阳凤，又于宋丙戌科（公元1276年）登进士。还有琼公、洵直公等亦为同时代的进士。仅宋一代，就有这么多进士同出一门族第，可谓物华天宝，人杰地灵，有如蟾宫折桂，堂中取物，还有一名高中三甲的探花，在这显赫的背景下，这个人才辈出的乡村被冠誉为“桂堂”加以纪念就不以为奇了。
桂堂是一个古老的村庄，以李姓聚居为主，距今已有一千多年历史。《衜祖肇迹磨刀图》注明了一条"吴楚通衢"，说明该地为“楚头吴尾”的重要塞道，地段十分繁华。新中国成立后，永修县行政规划为桂堂人民公社，上世纪六十年代兴建柘林水库，七十年代蓄水，随着水库水位抬升，桂堂公社大部分田地淹没，百姓迁徙，后与三溪桥等乡镇合并，为现在的永修县三溪桥镇。
