在小說《知否知否應是綠肥紅瘦》中齊衡娶了三個老婆，分別是六王爺的女兒嘉城縣主、首輔申大人的孫女、慶寧長公主的嫡孫女。
在小說中，齊衡喜歡的人是盛明蘭，但是由於母親的強勢，加上自己沒有努力爭取，所以齊衡最終的婚姻變成了由母親包辦的政治聯姻。
齊衡娶的第一個老婆是六王爺的額女兒嘉城縣主，只不過在娶嘉城縣主時，還曾有一個富昌伯家的女兒榮飛燕也是齊衡的老婆人選，奈何六王爺家急著和齊家聯姻，就暗中使壞，讓榮飛燕失身，隨後，她就自殺了。一切皆有因果報應，榮飛燕的死也造成了日後嘉城縣主的慘死。富昌伯家知道了榮飛燕死去的真相，在發生兵變的時候，將嘉城縣主擄走，將榮飛燕死前所經歷的一切還給了她，最終嘉城縣主也死了。
第一任老婆死後，齊衡又娶了首輔申大人的孫女、慶寧長公主的嫡孫女，只不過這兩任妻子活的時間也不是很長，後來齊衡就沒有再娶，只剩下兩個兒子和他相依為命，他獨自撫養了兩個兒子直到終老。
