会文书院初建于北宋,为大观三年进士陈经邦及其兄弟陈经正读书处。陈氏兄弟受业于程颐、程颢,回乡办学,开平阳学派之先声。南宋学者朱熹曾于此讲学,成为美谈。书院由台门、主楼、“棣萼世辉”楼等组成。台门一字形,块石墙基,青砖空斗墙身,灰瓦屋顶。书院主楼五开间二层,屋顶歇山形式,其中底层明间辟格扇门,余设槛窗。梁架形式为分心前后双步梁带前单步、后两个单步,后檐挑檐枋下用吊柱,制度具有地方特色。
“棣萼世辉”楼,为仿西式二层砖楼。
现书院建筑掩映在南雁山水中,周围名胜佳景,殊为大观。