甘露之變後，白居易終日長居香山寺內，以詩酒自遣，自尋其樂。一到齋期就吃素斷酒，坐禪唸佛，用心專一。每逢齋戒時，更是滴酒不沾，或以湯代酒。白居易居香山期間，把自己在洛陽寫的八百多首詩編為十卷，名為《白氏洛中集》。白居易還與香山僧人結友，與僧如滿結香火灶”。還與當朝已卸任的官員、洛中遺老和歸洛等老者，馬胡杲、吉皎、鄭據、劉真、盧子蒙、張渾、李元爽以及僧如滿等結為香山九老公”。九老曾在白居易的履道里宅院聚會，記錄九老聚會香山的歷史名畫有《九老圖》，以香山九老為題材的中國名畫，白居易晚年遠離官場，居於香山，樂於香山，最後卒於香山，遵其囑又葬於香山。如此以來，晚年的白居易自號香山居士”，便可更加理解了。
