衡水一詞始見於北魏文成帝拓跋浚的《文成帝南巡碑》，文成帝曾在信都（今冀州市）“衡水之濱”舉行過規模盛大的“禊禮”。“衡水之濱”中的“衡水”，為當時穿越今冀州市境內的漳水後一段的別稱，又名“橫漳”或“衡漳”。隋朝開皇十六年，由河北大使郎蔚之，分下博（包括桃園、北馬莊等原桃縣治所周圍的土地和村莊）、信都和武邑三縣地，新置衡水縣，治所在今衡水市舊城村，縣之名稱，取“漳水橫流”之意。因漳水從衡水縣西南入境後，不是東流入海，而是折向北流，然後入海，古人亦把這一段漳河水稱為“衡水”，此後，衡水縣名稱歷代沿用。
