秦始皇五年(前242年)，初置彭郡于彭城，寻废，改置彭城县，属泗水郡。秦末反秦战争中，项梁、项羽、刘邦等拥立的楚怀王和项羽都曾建都于彭城。

秦朝末年(前209年)，下相（今宿迁市）人项羽、项梁，沛人刘邦起义反秦，于前206年推翻秦朝统治。随后成为楚汉相争的重要战地。项羽以诸侯联军统帅的身份自立为“西楚霸王”，定彭城（徐州）为都，并封了18个诸侯王。今市内户部山上戏马台传为其操练兵马的旧址。前206年，汉王刘邦举兵攻打西楚。历时一年占领了彭城，项羽闻后，举兵回救，汉军大败，刘父刘妻都为楚军所掳。项羽以3万精兵击退了刘邦60万汉军，成为中国古代战争史上以少胜多的战役之一。刘邦兵败后，采取避实击虚，迂回包抄楚军的战略。前202年，汉军攻占下邳，彭城守将项佗投降。项羽军队全军覆灭，项羽亦自刎于乌江。长达5年的楚汉战争以刘邦的胜利告终。

汉高祖五年(前202年)，改泗水郡为沛郡，又分沛郡立楚国，初封韩信，都下邳(今睢宁北)。高祖六年(前201)，韩信降为淮阴侯，改封汉高祖弟刘交为楚王，领薛郡、东海郡、彭城郡三郡36县，都彭城。

西汉时期，徐州是刘氏政权重要封国楚国的都城。共产生12位楚王。是两汉时期延续时间最长，经济实力最强，政治地位最高的诸侯国。后王莽篡汉，楚国被废。

汉武帝元封五年(前106年)，划分全国为13个监察区，徐州为其中之一，称徐州刺史部。大致以《禹贡》所说古徐州的地域为徐州刺史部的监察范围。据《汉书·地理志》记载，徐州刺史部监察郡国六：琅邪郡、东海郡、临淮郡、楚国、泗水国、广陵国。楚国领县七：彭城(今徐州市)、留(今江苏沛县东南)、梧(今安徽萧县南)、傅阳(今山东枣庄市南)、吕(今江苏铜山县东南)、武原(今江苏邳县东北)、甾丘(今安徽宿州北)。

汉宣帝地节元年(前69年)，楚王延寿谋反，楚国废除，以其地改置彭城郡。黄龙元年(前49年)，复置楚国，至王纡时(公元9年)为新莽废。新莽天凤元年(公元14年)改楚国为和乐郡。

东汉时，光武亦为十三州部，徐州治郯。据《续汉书·郡国志》记载，东汉徐州刺史领郡国五：东海郡、广陵郡、琅邪国、彭城国、下邳国。彭城国治彭城。汉光武帝曾于建武十七年(41年)封皇子为英楚王，都彭城。汉明帝永平十四年(71年)，英楚王被告谋反，废楚国为楚郡。章和二年(88年)，改楚郡为彭城国，都彭城，至魏黄初元年(220年)，被曹魏废除。

东汉末年，曹操、吕布、刘备、袁术都曾逐鹿于徐州。在三国时，曹操军队在此决战陶谦军队，亦因刘备军队的帮助，曹操军大败徐州。

三国时，曹魏占据中原，划分12州，徐州为12州之一，治下邳。建安三年(198年)曹操迁徐州刺史部于彭城，这是彭城称为徐州的开始。徐州刺史部领郡国六。魏文帝黄初三年(222年)，文帝曹丕封其弟琚为彭城王。