据史料记载，夏商时，榆林市的部分地方(神木、府谷、佳县等地)在雍翟族境内，周代为雍州白翟的一部分，战国时为秦国上郡地。公元前221年秦统一六国，始皇分天下为三十六郡，上郡是其中一个。
三国时期，上郡、西河郡为匈奴占据，未设置郡县。东晋时期，匈奴王赫连勃勃在统万城(今靖边白城子)建立大夏国。公元427年，北魏灭大夏，设立统万镇，太和十二年(公元488年)改设夏州。
隋开皇三年(公元583年)，仍设夏(治统万)、长(治长泽，今靖边境内)、绥(治龙泉、今绥德县城)、银(治儒林，今横山境内)四州；大业元年(公元605年)将绥州改称上州，三年撤销州制，设立朔方、雕阴二郡。
随末唐初，本市为地方豪族梁师都占据， 自称梁国，潜皇帝位。贞观二年师都被灭，唐复设银、绥、夏三州，均属关内道管辖。开元十二年(公元724年)在本区东北部增设麟州(治所今神木杨城)。天宝元年(公元742年)撒州设上郡(今绥德)、银州郡(今党岔)、朔方郡(今白城子)、新秦郡(今、杨城)。乾元元年(公元758年)撤郡，复设绥、夏、银、四州。元和十五年(公元820年)宥州治所由内蒙鄂托克旗迁到今定边境内。后唐庄宗李存勖以府谷县升州(今之府谷)。
五代时期州县设有夏州(领朔方、德静、宁朔三县，均在今靖边境内)、银州(领真乡、开光、儒林三县，在今米脂、佳县境内)、麟州(领新秦、连谷、银城，在今神木境内)、府州(今府谷)、绥州(领绥德、龙泉、延福、城平、大斌五县，在今绥德、清涧、吴堡、子洲境内)。
北宋时，榆林市属永兴军路(初名陕西路)，绥州、宥州被西夏占据，未设郡县，熙宁三年(公元1070年)收复，元符十年(公元1096年)后，得失无常。宋高宗南渡后，又沦为金有，属鹿延路的一部分，设绥德州、晋宁军(佳芦砦)，大定二十二年(公元1182年)撤军设绥德州、晋宁州(二十四年改佳州)。元代绥德州、佳州属延安路，绥德州领清涧、米脂二县，佳州领神木、府谷二县。明成化七年(公元1471年)，在长城一带设置榆林卫，孝宗弘治十八年(公元1505年)九月设立东路神木道，领佳州、府谷、神木三州县，中路榆林道领绥德、米脂、清涧、吴堡四州县，西路靖边道领保安(今志丹)、安定(今子长)、安塞三县，包括榆林市的定、靖、横三县。
清雍正年间，设有榆林府和绥德直隶州两个省辖行政区。辛亥革命后，1913年废府州制度，设榆林道。后又废道，各县由省直辖。中央红军到达陕北，1937年陕甘宁边区政府成立，本市除榆阳区外，各县先后解放，在原苏维埃政权的基础上建立人民政府，设置绥德、三边两个分区，分别管辖绥德、米脂、佳县、横山、清涧、吴堡和靖边、定边、安边(后撤销)。1944年1月10日从绥德、米脂、清涧、横山及延属分区的子长五个县各划出一部分成立子洲县，属绥德分区。当时，神木、府谷之东区设神府特区，归晋绥边区管辖。1949年6月1日榆林城和平解放，撤销三边分区，设榆林分区，管辖榆林、定边、靖边、横山、神木、府谷六县。1950年5月成立绥德、榆林两个专区。1956年10月撤销绥德专区，将所辖绥德、米脂、佳县、吴堡、清涧
、子洲六县并入榆林专区，子长、延川并入延安分区。
1958年将十二县并为榆林(横山)、神木(府谷)、靖边、定边、绥德(吴堡、清涧、子洲)、米脂(佳县)六县。1961年所并各县恢复原制。1968年将榆林专员公署改为榆林地区革命委员会，为一级政权机构。1979年改为榆林地区行政公署，为省人民政府的派出机关。1988年9月2日，榆林县改为县级榆林市。2000年7月1日，榆林地区行政公署撤销、设立地级榆林市，原县级榆林市改为榆阳区。
