徐州在歷史上並不屬於山東，徐州歷史悠久，6000多年前徐州先民就在此生息勞作。三國時曹操遷徐州刺史部於彭城，彭城始稱徐州。清初徐州先後為江南省和江蘇省所屬直隸州，雍正十一年（公元1733年）升為徐州府，轄領1州7縣。
民國初，廢徐州府，府地附郭銅山縣，後曾設徐海道，治所在銅山（徐州）。抗日戰爭時，由銅山縣析置徐州市，曾為汪偽國民政府淮海省省會，中國共產黨領導人民建立淮北抗日根據地。中華民國時期，徐州為國家重點建設的八大城市之一。
抗戰勝利後，國民政府仍置徐州市，屬江蘇省。著名的三大戰役之一的淮海戰役就是以徐州為中心展開的。1949年因江蘇省尚未完全解放，徐州市暫由山東省代管。1953年劃回江蘇省，並同時成立徐州專區。專署駐徐州市。
