古琴臺始建於北宋時期，相傳，春秋時期楚國琴師俞伯牙在此鼓琴抒懷，山上的樵夫鍾子期能識其音律，知其志在高山流水，伯牙便視子期為知己。幾年以後，伯牙又路過龜山，得知子期已經病故，悲痛不已的他即破琴絕弦，終身不復鼓琴。後人感其情誼深厚，特在此築臺以紀念。古琴臺東對龜山、北臨月湖，湖景相映，景色秀麗，幽靜宜人，文化內涵豐富，構成一個廣闊深遠的藝術境界。
清朝嘉慶初年，湖廣總督畢沅主持重建古琴臺，請汪中代筆撰《琴臺之銘並序》和《伯牙事考》。光緒十年，黃彭年撰《重修漢陽琴臺記》。光緒十六年，楊守敬主持並親自書丹，將《琴臺之銘並序》《伯牙事考》《重修漢陽琴臺記》重鐫立於琴臺碑廊之中，並書“古琴臺”三字刻於大門門楣。古琴臺，中國十大古曲之一《高山流水》的發源之處，與黃鶴樓、晴川閣並稱武漢三大名勝。
