邗溝是中國古代最早有明確記載的運河，是春秋時吳王夫差在前486～484年間開鑿的。
在開鑿邗溝之前，江南地區與中原沒有自然的水道可直接連通。南船北上時，必須從長江出海，繞經黄海再從雲梯關溯淮河而上，到淮陰故城才能循泗水通往齊魯。
公元前506年，吳國接連對楚打了五次勝仗，粉碎楚國霸主的地位後，又攻破越國，迫使越王勾踐臣服。之後，為了北上中原與齊、晉爭霸，吳王夫差決定在長江與淮河間開鑿這條全長約150公里的運河。
開鑿邗溝時，吳人盡可能利用江淮間橫向的天然河道與湖泊，以人工渠道巧妙連接。邗溝開通後的第三年，吳國與齊大戰於艾陵（今山東泰安市南），齊軍幾乎全軍覆沒。打敗齊國後，吳國還想進一步與晉國爭雄。
邗溝南起今揚州近郊邗城南方的長江，並因而得名。河道北經樊梁湖（今高郵附近）折向東北，入射陽湖，再向西北經淮安入淮河，聯通了沂、沭、泗與淮河四個水系。
邗溝漕運在東漢時已漸顯現在經濟上的價值，可惜東漢末年地方割據，三國時江淮間又是吳魏兵爭之地，運道並不通暢。後來，中國的經濟中心逐漸移向東南，漕運日益繁重，因此在東晉時，邗溝開始出現渠化堰壩。當時引江水的方法是引江潮，潮漲時水從壩上溢流，或用單閘開門引潮，閉門蓄水。
隋大業年間修大運河時，曾發淮南民眾十餘萬人修建邗溝，自山陽至揚江，是在舊有基礎上一次大規模的整修，逐步形成後來運河的規模。
邗溝南端的水源最初只是疏浚塘陂，引水濟運，但時常發生淤塞。當時，邗溝運道自淮陰至邵伯350里，其中邵伯至瓜洲的90里水道是不流動的平水，只能靠堰壩控制，從淮安到揚州水路得走四五天。
邗溝北流河段的河床坡度比較陡，流速較大，夏季水大時逆水船不易上行，因而在北端修建了北神堰，靠堰閘調節湖水。605年修通濟渠，從洛陽西苑通到淮河邊的山陽（今江蘇淮安），同年疏通擴大了邗溝舊道，南起江都，北至山陽。608年再從通濟渠向北延伸。
唐朝時長江中的沙洲擴大，並與北岸相連。開元二十二（734）年，在揚子鎮以南接開伊婁河，經瓜洲入江。自後，瓜洲運口與儀征運口並用。隋唐以後，邗溝已成為供應北方朝廷米糧的生命線。
當時漕運非常艱苦，漕船容易失事，漕糧的損失量很大。官府不得不採重刑懲罰押糧的官員和船工，規定漕米從江南運至長安，損失十分之一即為死罪，但損失仍不時過半。遇到大災之年，沿途飢民甚至會設法從漕河中掏米吃。
北宋在邗溝上建了數十處閘、壩、涵等建物，並建了世界上最早出現的船閘──復閘。元朝開通京杭運河，邗溝成為其中一段，南口在瓜洲和儀征，北口仍在淮安北。
宋朝加速修治漕河，重點在解決淮河的風險問題，因而進入邗溝修築至運輸管理的鼎盛時期。當時，這段運河的堤身用巨石修了十個滾水堰，堤上植樹，還陸續在堤身開水閘及石涵洞，引水灌溉堤東農田。
北宋末年邗溝沿岸已普遍建有堤防，堤上大量修築漏池閘，用以控制水量的蓄洩，河堤上有斗門、水閘79座，數量不下於明清。南宋由於金人多次南侵，這段運河驟然衰落。到元朝，這段運河雖已殘破，但對後期拓展大運河仍具利用的價值。
