孔子並未住過孔府。 孔府又稱衍聖公府，是孔子的世襲衍聖公的後代居住的府第。 所謂前人栽樹，後人乘涼。孔子生前不過茅屋三間，孔子死後，其子孫世代居住於孔廟附近。宋朝寶元元年即1038年，始建孔府，在明朝洪武十年即1377年、弘治十六年即1503年、清朝嘉靖年間即1522年到1566年，孔府得到政府支援，得以重建或擴建。現在的孔府佔地16公頃，有463個房間，是中國封建時期典型的建築。孔府有廳、堂、樓、軒等各式建463間，分為中、東、西三路。東路為為家廟，西路為學院，中路為主體建築。中路以內宅為界，前為官衙，設三堂六廳：大堂、二堂、三堂，管勾廳、百戶廳、知印廳、掌書廳、典籍廳、司樂廳；後內宅，設前上房、前堂樓、後堂樓、後五間。最後是孔府的花園，是歷代衍聖公及其家屬遊賞之所。
