古之黟县，自宋代以来，对教育非常重视，那“十户之村、不废颂读”的教育氛围，使人预感这块土地不可低估的前途。碧阳书院创建于明世宗嘉靖四十二年（1564 年），地处有“白云深处仙境，桃花源里人家”之称的碧山之阳，故名。明嘉庆四十二年（1563年），就城南儒学原址扩建而成，明天启年间，为魏珰毁塌；崇祯年间，修复碧阳书院。清乾隆年间，县儒学复移城南旧址，撤碧阳书院。嘉庆十三年（1808年），“邑人议建浔阳书院于潘山，地险不成”。 嘉庆十六年（1811年），邑人捐银近90000两重建，其中黟县乡绅胡尚就捐有18000两。重建书院实用29100余两，建后尚余银60000两，分至该县各盐、典商生息，按年收取利息。经阖邑乡绅公议，仿效歙县紫阳书院制度稍加变通，议定书院事务诸多方面，定立规条共43款，并勒石立于院中。新任知县吴甸华认为原旧议横江书院地址最吉，遂建碧阳书院于迎蔼门外。六都西递村人胡学梓捐资白银五千两，其子胡尚熷负责监建。嘉庆十三年书院建成，共有祠宇、讲堂、书舍等110余间。清咸丰年间，因太平天国战乱而停办。光绪元年（1875年），邑绅程鸿昭等奉上文筹款兴复。