春秋戰(zhàn)國時期，今遵義縣地為夜郎東北小君長國鱉國地。秦始皇統(tǒng)一全國后，推行郡縣制，以鱉國地置鄨縣，今縣地屬鄨縣，隸巴郡。漢武帝建元六年（公元前135），唐蒙出使夜郎，置犍為郡，縣地隨鄨縣歸犍為郡，郡治初在鄨，在今遵義縣西境。元光五年（公元前130年），治所遷南廣（今云南省鹽津縣附近）。元鼎六年（公元前111年），置牂柯郡，鄨縣劃歸牂柯郡。三國時，鄨縣仍屬牂柯郡。晉永嘉五年（311），牂柯郡分為牂柯、夜郎、平夷三郡，今縣地隨鄨縣劃屬平夷郡。東晉咸安元年（371），改平夷郡為平蠻郡，今縣地歸屬依舊。隋開皇初年，以烏江北岸地置牂柯縣，今縣地歸屬其中。
唐武德三年（620），改牂柯縣為建安縣，領屬今縣地。唐貞觀九年（635），以隋代牂柯郡的延江（今烏江）北岸地置郞州，轄恭水、高山、貢山、柯盈、邪施、釋燕6縣。貞觀十一年（637），今縣地為恭水縣。十三年（639），以原郞州地置播州，復置恭水等六縣隸之。播州屬唐朝直接管理的經(jīng)制州，隸黔中采訪使，朝廷派流官治理。所轄6縣，境域相當于今遵義縣、紅花崗區(qū)、匯川區(qū)及綏陽縣、桐梓縣地。這是史書上第一次出現(xiàn)播州之名。播州境域后來大為擴展，一直存至明萬歷二十八年（1600），歷時961年，此后就消失了。
唐貞觀十四年（640），更名恭水為羅蒙，高山為舍月，貢山為湖江，柯盈為帶水，邪施為羅為，釋燕為胡刀。十六年（642），改羅蒙縣為遵義縣，遵義縣名由此始。遵義之名，一說出自《尚書·洪范》“無偏無陂，遵王之義”，言當遵循先王之正義，以治民也。一說源于東漢公孫述稱王于四川，牂柯郡大姓功曹謝暹反對，遣使遠道投奔中央漢光武帝，被封為義郞，有遵循“義郞”作為，擁護中央王朝之意。坊間多從前者說。天寶元年（742），改播州為播川郡。乾元元年（758），復置播州，領今遵義、帶水、芙蓉3縣。今遵義縣包含有唐帶水縣和當時遵義縣部分地域。唐大歷五年（770），羅榮入播。唐乾符三年，楊端入播，楊氏世據(jù)播州至明萬歷二十八年（1600）。
后唐長興元年（930），遵義縣地屬后蜀。后晉高祖時，遵義縣地屬楚。后周顯德六年（959），遵義縣地屬后周。大觀二年（1108），置遵義軍，時遵義縣屬之。宣和三年（1121），廢遵義縣，隸南平軍。端平三年（1236），今縣地設播川縣，隸南平軍。嘉熙三年（1239），設播州，以播川縣為州治。
宋大觀二年（1108），首領楊光榮、楊文貴各獻其地附宋，分別置播州和遵義軍，遵義縣屬遵義軍，同隸夔州路。宣和三年（1121）廢播州為城，隸南平軍；廢遵義為砦，隸珍州。嘉熙三年（1239）復設播州安撫司，以播川縣為州治。咸淳末，播州領播川、樂源、綏陽3縣，隸夔州路，今縣地時為播川縣。
元世祖忽必烈下詔招撫播州。至元十四年（1277），楊邦憲以播州、珍州、南平軍地降，仍置播州安撫司，以楊邦憲為紹慶、珍州、南平等處宣撫司充播州安撫使。楊邦憲卒，子漢英襲職，賜名楊賽因不花。二十八年（1291）升為播州宣撫司，隸屬于四川行省。次年，以赴京取道湖廣為便，改隸湖廣行省。宣撫司統(tǒng)轄黃平府、南平綦江、珍州思寧、舊州草塘等十九個長官司和諸峒寨。時屬今遵義縣境有播州下轄之播州軍民都鎮(zhèn)撫司及烏江、水煙、石粉羅家永安等處的全部或部分。
明洪武五年（1372）初，改播州軍民都鎮(zhèn)撫司為播州長官司，今縣地為播州長官司地。萬歷二十八年（1600）平楊應龍，播州改土歸流，分播州地為二，設平越軍民府屬貴州，轄余慶、甕安、湄潭3縣和黃平州；設遵義軍民府屬四川，轄遵義、桐梓、綏陽、仁懷4縣和真安州。今遵義縣境從此奠定。
清雍正六年（1728），遵義縣隨遵義府改隸貴州省。宣統(tǒng)三年（1911），遵義軍政分府成立。民國元年（1912），遵義府縣同城，留府去縣。民國2年（1913），遵義府改為遵義縣，屬黔中道。民國4年（1915），將所有遵屬大溪里第七、八、十三甲地，即后來仁懷所建的火石、學孔、林閣、平營、高坪、銀水、龍源、新田、榮華、團結、大壩11個鄉(xiāng)劃歸仁懷縣轄，以牛渡灘（今觀音寺河）為遵義縣、仁懷縣的天然邊界。民國9年（1920），廢黔中道，遵義縣直隸于省。1941年，實行新縣制，將縣轄巖孔及偏巖河以南地劃歸新建立的金沙縣。1949年11月21日，遵義解放。11月25日，建遵義縣人民政府。同日，原屬遵義城區(qū)的文化、洗馬、豐樂、丁字、朝陽、白農(nóng)6個鎮(zhèn)建為遵義市。1950年9月，甕安縣珠藏鎮(zhèn)、銅鑼鄉(xiāng)、高水鄉(xiāng)劃歸遵義縣轄，置二十一區(qū)，1951年7月交還甕安縣。
1951年2月，遵義市改置為遵義城關區(qū)，由遵義專員公署直轄。1952年7月，撤銷遵義城關區(qū)，恢復遵義市。遵義縣劃十六區(qū)、二十區(qū)和九區(qū)深溪鄉(xiāng)的鎮(zhèn)隆、長嶺兩村隸遵義市。遵義市高橋、顏村、涼水、河溪4個鄉(xiāng)劃歸遵義縣轄。1954年4月28日，遵義縣人民政府機關由遵義市遷駐南白鎮(zhèn)。1956年8月，遵義縣高坪區(qū)的海龍鄉(xiāng)、新場鄉(xiāng)，南白區(qū)的建平鄉(xiāng)，老蒲區(qū)的禮儀鄉(xiāng)劃歸遵義市轄。同年11月，遵義縣茅坡區(qū)的歐家灣、麻家壩、洪家灣等地劃歸綏陽縣轄。1958年11月12日，撤銷遵義縣建置并入遵義市。1961年8月16日，恢復遵義縣建置。1963年3月，遵義市忠莊、海龍、北關3個公社和南關公社的鎮(zhèn)隆、南山、長嶺、金華、長崗大隊，高橋公社的十字、八卦、巷口、第五、第六、第七、第八大隊，長征公社的平莊、新民、民主、禮儀、河溪、官廳、板山、涼水大隊劃歸遵義縣轄，建為桃溪區(qū)。1965年11月，桃溪區(qū)所轄地域劃回遵義市。1969年12月，息烽縣烏江公社劃歸遵義縣轄，與三合區(qū)刀靶公社組建為烏江區(qū)。
1992年，全縣轄17個區(qū)，1個區(qū)級鎮(zhèn)，轄123個鄉(xiāng)，16個鄉(xiāng)級鎮(zhèn)，2個鄉(xiāng)級辦事處（南白鎮(zhèn)城區(qū)和郊區(qū)），729個村民委員會，27個居民委員會，8545個村民小組。是年9月，遵義縣“建鎮(zhèn)并鄉(xiāng)撤區(qū)”，全縣建36個鎮(zhèn)，2個民族鄉(xiāng)。國土面積5088平方公里，總人口約127萬人。
1998年4月，遵義縣新蒲鎮(zhèn)、深溪鎮(zhèn)、金鼎山鎮(zhèn)劃歸紅花崗區(qū)管轄。2004年6月，遵義縣團澤鎮(zhèn)、高坪鎮(zhèn)、泗渡鎮(zhèn)、板橋鎮(zhèn)劃歸匯川區(qū)管轄。
2009年5月，遵義縣新舟鎮(zhèn)由新蒲新區(qū)托管。2013年7月，蝦子鎮(zhèn)、三渡鎮(zhèn)、永樂鎮(zhèn)由新蒲新區(qū)托管。2015年，全縣31個鎮(zhèn)（鄉(xiāng)）國土面積4093.77平方公里，人口124.6萬人。2016年1月，龍坑鎮(zhèn)由新成立的南部新區(qū)托管。托管不是行政區(qū)劃調整，只是由相關機構代為管理。
2016年3月20日，國務院對貴州省人民政府《關于調整遵義市部分行政區(qū)劃的請示》（黔府呈〔2015〕31號）作出批復。根據(jù)批復，貴州省將撤銷遵義縣，設立遵義市播州區(qū)。山盆鎮(zhèn)、芝麻鎮(zhèn)、沙灣鎮(zhèn)、毛石鎮(zhèn)、松林鎮(zhèn)劃歸匯川區(qū)轄管。新舟鎮(zhèn)、蝦子鎮(zhèn)、三渡鎮(zhèn)、永樂鎮(zhèn)、喇叭鎮(zhèn)劃歸紅花崗區(qū)管轄。播州區(qū)轄南白鎮(zhèn)等21個鎮(zhèn)（鄉(xiāng)），國土面積2490.94平方公里。2016年5月，上述鎮(zhèn)劃出。2016年6月6日，播州區(qū)掛牌儀式在南白影劇院舉行，標志著播州區(qū)正式成立。
