Les premiers peuples connus pour avoir parlé une langue mongole sont les Khitans. Mentionné dès le Ve siècle de notre ère, ce peuple, vivant dans les forêts de Mandchourie, avait des contacts avec les Turcs ainsi qu’avec les Ouïgours. En 924, leur chef, Abaoji, vainquit les Kirghizes et offrit aux Ouïgours la possibilité de se réinstaller dans leur ancien pays. Les Khitans conquirent le nord de la Chine, qu’ils gouvernèrent sous le nom dynastique de Liao (907-1125) jusqu’à ce qu’ils soient évincés par les Juchen, également originaires de Mandchourie, qui fondèrent la dynastie Jin (Juchen) (1115-1234) du nord de la Chine, qui fut à son tour remplacée par celle d’un autre peuple altaïque, les Mongols. Cathay, une ancienne dénomination occidentale de la Chine, dérive du nom Khitan (Khitai). La diffusion de ce nom, encore utilisé en russe pour désigner la Chine, n’est qu’un signe de l’extraordinaire impact des Khitans sur l’histoire.
Chassés de Chine par les Juchen, en 1124, certains Khitans se déplacèrent vers l’ouest sous la direction de Yelü Dashi et créèrent l’État Karakhitan (Khitai noir, ou Liao occidental). Son centre se trouvait dans le Semirechye et la vallée du Chu, où se trouvait la ville de Balāsaghūn. Fondée par les Sogdiens, Balāsaghūn était alors occupée par les Karakhanides (Qarakhanides) musulmans, un peuple turc étroitement apparenté aux Ouïgours et dont la maison régnante descendait probablement des Karluks. Les Karakhanides, devenus musulmans au milieu du Xe siècle, régnaient à la fois sur le Semirechye et sur le bassin du Tarim, au sud du Tien Shan. Si Balāsaghūn restait la résidence de leur principal souverain, Kashgar semble avoir servi de métropole religieuse et culturelle. En 992, ils occupèrent Boukhara, auparavant capitale de la dynastie iranienne des Sāmānides (819-1005), sous le règne bienveillant de laquelle les villes de Transoxiane étaient devenues des centres célèbres de culture et d’apprentissage islamiques.
Les Karakhanides maintinrent les traditions tribales du monde de la steppe dans une bien plus large mesure que ne le firent d’autres dynasties turques musulmanes, telles que les Ghaznavides ou les Seldjoukides, mais ils ne se révélèrent pas moins accomplis dans la combinaison de la culture turque native et de la culture irano-islamique. La plus ancienne œuvre de la littérature turque façonnée par les valeurs islamiques qui subsiste, le Kutudgu bilig ( » La connaissance qui mène au bonheur » ; traduction anglaise : The Wisdom of Royal Glory), a été écrite par Yusuf Khass Hajib de Balāsaghūn dans le style des » miroirs pour princes » irano-islamiques contemporains et a été achevée à Kashgar en 1069-1070. Presque contemporain de celui-ci, le Dīwān lughat al-Turk (1072-74 ; Compendium des dialectes turcs), un dictionnaire arabe du khakani, le dialecte moyen turc parlé par les Karakhanides et rédigé par Maḥmūd al-Kāshgarī.
Dès la fin du XIe siècle, les Karakhanides de Transoxiane devinrent vassaux des Seldjoukides, qui, à cette époque, étaient déjà maîtres d’une grande partie du Moyen-Orient. Néanmoins, les Karakhanides avaient à cœur d’acquérir les provinces orientales des Seldjoukides, vaguement contrôlées. En 1137, Yelü Dashi avait obtenu la soumission du souverain karakhanide Maḥmūd II, et en 1141, lors d’une bataille livrée près de Samarcande, il battit de façon décisive le dernier sultan « grand seldjoukide », Sanjar. Les territoires sous hégémonie karakhitaine s’étendaient désormais à travers l’Asie centrale jusqu’à la rive nord de l’Amou-Daria et menaçaient le Khwārezm, situé dans le delta de l’Amou-Daria. Cependant, leur emprise sur ce vaste domaine fut finalement brisée en 1211, grâce aux actions combinées du Khwārezm-Shah ʿAlāʾ al-Dīn Muḥammad (1200-20) et de Küchlüg Khan, un chef naiman fugitif en fuite des Mongols de Gengis Khan.