據考證，公元前十七世紀西域地區已出現基本的國家型態，與阿富汗一帶進行青金石貿易，于闐國生產的和闐玉也自商王武丁墓中掘出，顯示當地在公元前十三世紀已有人定居。
但在漢武帝打通西域前，匈奴一直是支配西域的主要勢力。漢武帝建元癸卯三（前138）年張騫出使西域，尋訪大月氏聯合抗擊匈奴。雖然出使未獲成功，卻溝通了中原與西域諸國的聯繫和交往。
據周偉洲《絲綢之路大辭典》，西域三十六國是西漢時期對西域內屬諸國及遊牧部落的總稱，這個稱呼最早出現在《漢書》。西域三十六國位在匈奴以西，烏孫以南之地，現一般稱之為古西域三十六國。
有說西域三十六國是對今玉門關以西地區的總稱，但所說的西域實指漢朝統轄領域之外的西北國。正式使用西域一詞，則自漢宣帝任命鄭吉為西域都護開始，西域都護管轄的地區即所謂的西域三十六國（最早為五十國）。
漢宣帝神爵二（前60）年設西域都護府，名烏壘城（前名輪台國），位於今巴音郭楞蒙古自治州輪台縣。西域都護由皇帝親自任命，三年一替。據《漢書》記載：西漢歷任都護共有十八人。
當時，輪台國是個城廓之國，由都護府直接統轄，有點類似現在的首府，權力似比其他綠洲城國和遊牧國稍大。輪台王曾多次受皇帝召見。漢朝另設置戍已校尉、戍部候等行政、軍事、機構，西域各國均受西域都護府管轄。
漢朝所說的西域，具體位置按《漢書》說是「在匈奴之西，烏孫之南，南北有大山，中央有河....東側接漢，隔以陽關、玉門，西側限于葱嶺」。
北魏太武帝派董琬通使西域歸來後，董琬將西域分為四域：一域自葱嶺以東，流沙以西，二域自葱嶺以西，河西以東，三域者舌以南，月氏以北，四域西海之間，水澤以南。後三域都在帕米爾高原東西，亦即中亞許多地區也納入了西域的範圍。
唐朝對西域也有廣義與狹義之分，廣義與董琬所說一致，範圍很大。狹義的西域並非指漢朝西域都護所轄的地區，而是指葱嶺以西到波斯（今阿拉伯半島）的中亞地區。因為漢朝行政轄地最遠到巴爾喀什湖及葱嶺一帶，唐朝最遠到達波斯。
許多嚴謹的學者認為，古西域三十六國中，許多國家已尋不到任何蛛絲馬跡，亦即已無法完全復原了。
據《漢書西域傳補註》考訂，西域三十六國是指：婼羌國、樓蘭國、且末國、小宛國、精絕國、戎盧國、扜彌國、渠勒國、于闐國、皮山國、烏稈國、西夜國、子合國、蒲犁國、依耐國、無雷國、難兜國、大宛國、桃槐國、休循國、捐毒國、莎車國、疏勒國、尉頭國、姑墨國、溫宿國、龜茲國、尉犁國、危須國、焉耆國、姑師國、墨山國、劫國、狐胡國、渠犁國、烏壘國。
也有學者認為，西域三十六國不是定數而是約數，因為諸國間不時有吞併及分裂。可以確定的是，三十六國中不包括烏孫和大宛，雖然這兩國也受西域都護府管轄。
