另一方面，刘曜为了缓和民族矛盾，也是费了不少心思。他竭力消除境内汉族与匈奴族的矛盾，也试图拉拢其他少数民族。在他的努力下，不少少数民族领袖前来投奔，其中最有名的两个莫过于氐族人首领蒲洪和羌族人首领姚弋仲。因为这两个酋长的后人在以后分别建立了前秦和后秦，先后成为北方的霸主。而蒲洪和姚弋仲的归降也带来了不少氐人和羌人士兵，刘曜一下子凭空多出来了近十万兵马。
就这样，在刘曜的努力下，前赵国开始朝着汉化王朝大步迈进，与之而来的也是国家实力的日益增强，很快便医治好了关中长年战争的创伤。作为一个胡人领袖，刘曜能想到推动自己国家的汉化改革，这是相当不容易的，这需要顶住难以想象的压力。或许这对于刘曜以及前赵来说只是一小步，可是对于日后入主中原的胡人王朝来说，却是一大步！因为他们由此找到了打开长久统治汉地智慧之门的金钥匙。
具备了充足的物质条件后，刘曜也有了想要统一北方的强烈欲望。当然，要想统一北方，必须击败石勒，而要想击败石勒，首先就得搞定后方的凉州。公元324年，刘曜集结了三十万大军，浩浩荡荡地杀向了凉州。此消息一传出，整个凉州为之震恐，张茂连忙派部队去黄河沿岸布防，可是这些军队根本无法抵挡刘曜的匈奴兵，稍一接触便被打得丢盔卸甲了。由此，刘曜得以从容地进入河东地带。