孔子死後，弟子們把他葬於曲阜城北泗水之上，那時還是“墓而不墳”（無高土隆起）。到了秦漢時期，雖將墳高築，但仍只有少量的墓地和幾家守林人後來隨著孔子地位的日益提高，孔林的規模越來越大。東漢桓帝永壽三年（157年）， 魯相韓勅修孔墓，在墓前造神門一間，在東南又造齋宿一間，以吳初等若干戶供孔墓灑掃，當時的孔林“地不過一頃”。到南北朝高齊時， 才植樹600株。宋代宣和年間，又在孔子墓前修造石儀。元文宗至順二年（1331年），孔思凱主修了林牆，構築了林門。明洪武十年（公元1684年）將孔林擴為3000畝的規模。雍正八年（1730年）， 大修孔林耗帑銀25300兩重修了各種門坊，並派專官守衛。
