最早的单于出现于匈奴，后来鲜卑、羌族等也相继采用，从战国末年开始，直到五胡十六国时期依旧层出不穷，进入南北朝，则渐不闻。
单于作为国君的称呼，本来和皇帝、国王等没有尊卑之分，西汉时曾有人论单于“真汉劲敌”，足见其为敌体；但自公元前33年、西汉元帝竟宁元年匈奴呼韩邪单于朝汉称臣，以后南匈奴历代单于更由东汉册封，单于的地位渐渐被认为低于皇帝。五代的单于则逐渐成为统率少数民族部落和骑兵部队的最高职官的称呼，其任职者既有国君本人，如前秦蒲洪称大单于、三秦王，后赵石勒称大将军、大单于、领冀州牧、赵王，东晋封前燕慕容皝为使持节、大将军、都督河北诸军事、幽州牧、大单于、燕王等，也有国君的子弟，如石勒称大赵天王时，封其子石宏为骠骑大将军、都督中外诸军事、大单于、秦王等，可见，随着各族封建化的加深和汉胡杂居现象的普遍，大单于在相当程度上由对君主的称呼，演变成一种介乎君王和职官之间的身份的称号了。
在中国历史上还出现过绝无仅有的一位汉人大单于，即公元350年、东晋永和六年、冉魏永兴元年时，冉魏主冉闵封其子冉胤为大单于。其封职的背景是冉魏屠杀羯人引起非议，冉闵改行招抚政策，立大单于以统率降胡，可见，在五胡十六国时期，大单于不论是君主自兼还是由子弟担任，其职责都是统率胡人。
北魏兴起后北方各国先后衰落，大单于的称号也被逐渐冷落了，而北方新起、更为原始的游牧民族柔然，其首领社仑于公元402年、东晋元兴元年、北魏天兴五年自号豆代可汗，是为可汗出现之始，自此后可汗之号风行漠南漠北甚至传播到欧亚各地，直至清代，蒙古准格尔部首领，以及从伏尔加流域还牧伊犁的土尔扈特部首联，还都保留着可汗的称号。
值得注意的是可汗也曾经和单于一样，在某种程度上成为对统率少数民族部落的最高首领的尊称，如唐太宗就曾“以天子之尊，而下行可汗事”，唐代帝王也多被属国尊为天可汗，但由于称汗的民族分部甚广，且汉化程度远不及称单于的民族，使得这一现象较诸单于角色的变化，既不普遍，复不明显。
当然，单于和可汗的承继关系只是广义的说法，事实上并非可汗一出现，单于便就此绝踪。如在社仑称可汗后的五年，东晋义熙三年、北魏天赐二年，刘勃勃称大夏天王、大单于；八年之后的东晋义熙十一年、北魏神瑞二年，河西饥胡起事，推白亚栗斯为单于，是为史载的最后一位单于。但刘勃勃本人系匈奴铁弗部首领，称单于系匈奴本色，而河西深入中原腹地，受旧习惯影响相对大一些，在此之后，内地少数民族起事者渐稀，纵起事也直接称帝称王，而塞外的游牧各族则多数接受了可汗的称号，单于一词也终于如唐太宗所言，成了被可汗取代的历史术语。58xs8.com