潘从源为了子孙后代能够高中状元,光宗耀祖,决定以身犯险,葬在这块风水宝地,他先是假扮牛贩子,在当地收牛后,牵牛去践踏当地农民的庄稼,还态度蛮横,引起了当地佃农的愤怒,最后如愿地被当地老百姓活活打死。
潘仝谨遵父亲生前的遗嘱,花了大价钱从别人手中买来了父亲当初说的那块风水宝地,并埋葬于此,当地人为了不让潘家人追究自己的责任,答应了让潘从源葬于此处,后来事情发展果真如潘从源所想一样,几年后,潘仝高中状元,后人就把潘从源的墓地称为了“状元家山。”
此后的潘家根式人才辈出,文武各行人才都有,其中潘从源的孙子是南宋皇室都统,在南宋最后一战的崖山海战中,随宋帝和陆秀夫等人跳海殉国,其玄孙也是南宋的讨元大将军,得知父亲跳海殉国后,带着一家老小入深山隐居了起来,不再过问世事。到了明朝,明太祖朱元璋非常佩服潘家人的忠义,于是下旨给潘任赐予“忠节”谥号。