南宋咸淳三年(1267年)蒙古人四犯蕲州，南宋太学生段朝立(湖北罗田东河人，今属英山。)即聚众前往地形险要、山势高峻的仙人台，在此屯兵甲、立栅堡，抗击蒙古人。白云观成了义军的据点。段朝立在跑马岗操演兵马,故此地也有军山之说.受战争影响，仙人台白云观损坏惨重。初名“仙人庐”，史云“始于昆仑，源自泗流，奇峰异颠，逶迤曲折，地连吴头楚尾，旷无人烟，为古扬州地界……”始建于晋永熙年间，因当时除真武殿为木石结构的建筑外其余皆是茅庐。唐时因受李唐皇族尊崇而全盛。当时殿宇林立，道侣云集。一时成为鄂东南道教界影响最大的宫观。及至残唐五代时有名道刘五刘六兄弟在次修炼得道而改命仙人台至今。刘五刘六时为后晋主石重贵