父潘武原为古田县令，子潘承叙为北燕检校司。南韩巨济潘氏之祖源，联合国历史上第八位秘书长潘基文家族就源出潘崇胤的莆田潘氏。据荥阳潘氏族谱记载：潘氏先祖唐东齐太守潘源将军于唐仪凤二年（公元677年）随开漳圣祖陈元光将军入闽平乱，其子孙定居福建泉州潘山，源子潘殷任潮州别驾，殷孙潘武原为古田令定居兴化（即今之莆田），武原子潘崇胤为唐太仆寺少卿，崇胤子潘承叙为北燕检校司徒迁居北燕（即今之北京），承叙子处常为南唐文明殿学士，处常次子潘佑为南唐太师，三子潘美佐宋南征北战，为宋朝统一中国立下赫赫战功。潘佑因直言进谏，被南唐李后主赐死，时年三十六岁。直至宋太祖赵匡胤平定江南，敬潘佑之忠，录用潘佑四子于朝，长子潘文焕官至金紫光禄大夫，次子潘文振官至银青光禄大夫，三子文节、四子文壮迁居高丽国，报效高丽国王。后文振与文焕佥认先君仕南唐位极人臣至太师，伴君如虎，因直谏而不得善终，故生退意，辞官归隐闽南。文焕居福州苦参高州（即今福州义序），文振归隐福州瓜山（即今闽侯南通），两地子孙近万人。