岳麓山自古就是文化名山。西晋以前为道士活动地，曾建有万寿宫、崇真观等。北宋开宝九年，潭州太守朱洞在僧人办学的基础上，由官府捐资兴建，正式创立岳麓书院。北宋祥符八年，宋真宗召见岳麓山长周式，御笔赐书“岳麓书院”四字门额。
后来，岳麓书院遭战火洗劫，乾道元年湖南安抚使知潭州刘珙重建岳麓书院。他还延聘著名理学家张栻主教岳麓，更加强了岳麓书院在南宋教育和学术上的地位。历经元、明、清各代，至清末光绪廿九年，岳麓书院与湖南省城大学堂合并改制为湖南高等学堂，沿用书院旧址。
岳麓书院古建筑群分为教学、藏书、祭祀、园林、纪念五大建筑格局。
岳麓书院主体建筑面积有31000多平方米，分为书院主体、附属文庙及新建的中国书院博物馆。岳麓书院占地面积25000平方米，现存建筑大部分为明清遗物，其古建筑在布局上采用中轴对称、纵深多进的院落形式。主体建筑如头门、大门、二门、讲堂、御书楼集中于中轴线上，讲堂布置在中轴线的中央。斋舍、祭祀专祠等排列于两旁。中轴对称、层层递进的院落，除了营造一种庄严、神妙、幽远的纵深感和视觉效应之外，还体现了儒家文化尊卑有序、等级有别、主次鲜明的社会伦理关系。
