清代赵翼《陔余丛考》认为十二生肖起于东汉，这说的是汉族地区。所以，其又有“此本起于北俗，至汉时呼韩邪款塞入居五原，与齐民相杂，遂流传入中国”之语。按赵翼的说法，十二生肖本为古代北方游牧民族的习俗。汉代宣帝的时候，匈奴族内部发生分裂，其中呼韩邪单于所率一部前来汉朝，于甘露二年（公元前52年）“款五原塞”，南徙至长城一带。呼韩邪单于后来到了长安，汉元帝以宫人王嫱嫁之，这便是著名的昭君出塞。此后，汉、匈民族文化交流逬一步发展，十二生肖在汉族地区流传开来。《陔余从考》还说：
陆深《春风堂随笔》谓，本起于北俗。此说较为得之。《唐书》：“黠戛斯国以十二物纪年，如岁在寅，则曰虎年。”《宋史•吐蕃传》:“仁宗遣刘涣使其国。厮罗延使者劳问，具道旧事，亦数十二辰属，曰兔年如此，马年如此。”《辍耕录》记，邱处机奏元太祖疏云：“龙儿年三月奏”，云云。顾宁人《山东考古录》亦载泰山有元碑二通，—泰定鼠儿年，一至正猴儿年。此其明证也。盖北俗初无所谓子丑寅卯之十二辰，但以鼠牛虎免之类分纪岁时，浸寻流传于中国，遂相沿不废耳。
这是以为，少数民族以动物纪年的方法与汉族十二支结合，是中原地区使用十二生肖的起点。
赵翼关于十二生肖起源于中国游牧民族的见解值得重视，尽管他未能提出确凿的立论依据。
自古以来，我国有不少少数民族使用十二生肖。
信奉伊斯兰教的新疆维吾尔族很早就使用阿拉伯历法，但也有以十二属配十二支的习惯。清代肖雄《西疆杂述诗》记：
回国纪元以三百六十日为一岁，岁分十二月，配以地支，不知天干。地支亦论所属，辰则属鱼，余与中国同。
维吾尔人的前身是突厥人。肖雄记录的材料说，维吾尔族以十二属相纪月。十二生肖中，辰的属相不是龙而是鱼。
以鱼代龙的生肖系统，在柯尔克孜族的十二生肖纪年中可以见到。新疆柯尔克孜族是历史上最古老的突厥民族之一，也是突厥民族中最早运用日、月、季、年历法的民族。柯尔克孜人以十二生肖纪年，十二生肖的排列顺序是：鼠、牛、虎、兔、鱼、蛇、马、羊、狐狸、鸡、狗、猪。这种十二生肖纪年法，柯尔克孜人至今仍在使用，他们以这种历法推算本民族的传统节日诺鲁孜节。柯尔克孜人用十二生肖为孩子计算年龄，为孩子取名也常表现生年属相。
徐珂《清稗类钞》第十册辑有一则有关藏历的材料：
藏历，向由红教喇嘛推算，凡是年所有各项吉凶，皆于历后绘图贴说，如内地《推背图》之式。藏人曾云：前红教喇嘛推定壬子鼠年藏中有刀兵之事……
所言“壬子鼠年”，可说是汉藏合璧的讲法。藏族采用十二生肖纪年，另有形式。
―般认为，西藏地区的生肖纪年法，是公元七世纪中叶唐朝文成公主出嫁松赞干布带去的。有关传说一直在当地流传。藏族的生肖纪年，六十年一甲子，称为“回登”。回登，藏语木鼠的意思，表示八十年的循环是从木鼠年开始的：农历甲子年时，藏历为木鼠年。
藏历纪年还具有阴阳、五行、肖兽二位一体的特点，因此有“阴火兔年”、“阳土龙年”之类叫法。比如，20世纪80年代第一年农历庚申年，邮电部发行生肖邮票以金猴为图案。这一年藏历为阳金猴年。转年，农历辛酉年，属鸡，藏历则叫阴金鸡年。
藏历纪年，鼠、牛、虎、兔等十二牛肖不仅依次配合木、火、金、水、土五行，还要同阴阳相结合。配合之法同十天干有对应关系，即以甲乙为木、丙丁为火、戊己为土、庚辛力金、壬癸为水。以上五对，每对中前者为阳，后者为阴。1980年和1981年均排为属金之年，分别称阳金猴年、阻击金鸡年，正应这两年农历天干庚和辛。藏历纪年虽没明确标示干支，但隐含着干支顺序。此外，阴阳又可以以男女称，比如阴金牛年也叫女金牛年，阳水虎年也叫作男水虎年，纪年生肖前边的阴阳五行可以调换前后，例如阴金牛年又作金阴牛年或金女牛年，阴水虎年又作水阳虎年或水男虎年。
藏族地区的生肖纪年，还曾成为寻访班禅转世灵童的的因素之一。《天津日报》1991年8月31日载文涉及这方面的情况，这篇题为《十世班禅转世灵童寻访记》的文草，介绍了十世班禅额尔德尼•确吉坚赞大师当年被认定为十世班禅的一些情况：
据史料记载，1937年九世班禅洛桑图丹却吉尼玛•硌勒南杰•贝桑布圆寂后，1941年班禅行辕的罗桑坚赞等人到达西宁，在青海各地寻访九世班禅的转世灵童。当时在青海各地共寻访到10个灵异儿童，其中有一名年龄只有4岁，名叫宫保慈丹的男童，就是后来成为登上扎什伦布寺法座的十世班禅大师。
当时曾将九世班禅用过的念珠、书籍等混在相似的物品中让10个孩子选取，当时大师拿了一枚戒指，正是九世班禅的物品，因此就在10个孩子中排了第一。到大师6岁时，经过反复辨认，灵童只剩下三个……设在青海塔尔寺的班禅堪布会议厅认为，在塔尔寺的辨认中大师是第一名；再加上以前在拉萨北面的拉莫木拉措湖查看湖中景象时，除显现的房子等景物与大师相符外，最后出现一只老虎，后面跟着几只兔子，而最后剩下的3名灵童中，除大师是虎年生以外，其余两名都是兔年生的……
据介绍，寻访班禅转世灵童是有着严格的宗教规定的，“班禅大师圆寂时的姿势是寻找转世灵童的大体方向，而观看神湖显影是确定寻找转世灵童的具体村庄”。上面引文“出现一只老虎，后面跟着几只兔子”，记述的就是观看神湖显影的情况。
再来说西夏王朝用生肖纪年的记载。历史上的西夏国为羌族一支党项族所建。从1038年李元昊正式称帝算起，西夏存在近200年。党项人早期居住地主要在川北、甘南及青海东部。西夏受西藏地区十二生肖纪年历法的影响，官府和民间都以生肖纪年。1974年第3期《考古》杂志载文，介绍甘肃武威发现的西夏文物，其中西夏文账单就记有“大庆虎年”字样。大庆，李元昊年号。大庆虎年即大庆三年，岁次戊寅，公元1038年。《中央民族学院》1978年第1期，载文介绍夏仁宗乾祐七年甘州黑水桥碑，碑体汉文纪年“岁次内申乾祐七年”，藏文纪年“阳火猴年”。这明显地反映出西夏的生肖纪年受到藏族纪年方法的影响。
十二生肖纪年，蒙古语称“阿尔本浩牙勒吉勒”。蒙古族纪年以虎年为首，顺序为虎、兔、龙、蛇、马、羊、猴、鸡、狗、猪、鼠、牛。蒙古族最的历史巨畜《蒙古秘史》（又称《元朝秘史》）即以生肖纪年《蒙古秘史》末尾记：“鼠儿年忽阑撒拉……书毕矣。”鼠儿年忽阑撒拉即公元1240年7月（忽阑撒拉为雨月，也称为马月）。
元代的生肖纪年，用虎儿年，鼠儿年之类称法。1219年，成吉思汗派遣侍臣传旨，敦请全真道教领袖邱处机，转年邱处机呈陈情表：“登州栖霞县志道邱处机，近奉宣皆，远召不才……优望圣裁。龙儿年三月奏。”邱处机是颇有造诣的道教人物，他不署庚辰年而写龙儿年，也可见当时的习惯在北京法源寺，如今仍能寻到镌有“蛇儿年二月十三日”落款的元代圣旨碑。
元代的十二生肖纪年，在《元史•五行志》中也有反映：
至正元在，淮楚间童谣云：“富汉莫起楼，穷汉莫起屋，但见羊儿年，便是吴家园。”
元朝末年，民众多怨，大大小小的农民起义接连不断。《元史》所录这首童谣，预言元王朝的统治将在1355年被推翻。童谣不说乙未年，而直称羊儿年。
蒙古文史籍《黄金史》记：“妥欢帖睦尔之子必力克图哈罕于同年即狗儿年，在名为应昌之都城即大位，迄马儿年崩。”这是讲明朝开国后，元昭宗爱猷识理达腊在塞北即位做皇帝的事。狗儿年即庚戌洪武三年（1370年），马儿年即戊午洪武十一年（1378年）。该书还记：“同年马儿年，乌萨哈尔合罕即大位。经十一年，龙儿年崩。”这是说，爱猷识理达腊死后，其弟脱古思帖木儿接着做皇帝，从马儿年开始，在位十一年，于戊辰洪武二十一年逝世。龙儿年即戊辰年。
清代梁章钜注意到古代北方少数民族政权的这种情况，其《浪迹三谈》说：
师颜《伪南迁录》谓鞑有诏与金国，称“龙虎九年”。按，孟珙《蒙鞑备录》云，鞑人称年曰兔儿年，曰龙儿年，其时尚未改年立号也。
著名历史学家陈坦《元秘史音译用字考》，谈到“鼠儿年”的汉译：
鼠，华夷译语译忽鲁合纳，秘史作忽鼸合纳，鼠儿年作忽鼸合纳真，鲁改为鼸，非偶然也。
后来，随着各民族间的文化交流，蒙古族开始十二生肖纪年与干支纪年并用，民间仍习惯于沿用十二属相纪年。喇嘛教在民间盛行之后，一些地方使用藏历纪年方法。一些地方则以蓝、红、黄、白、黑五色代表五行，同生肖配合纪年，例如火兔年称红兔年、金龙年称白龙年。
我国许多少数民族同生肖文化有关。新疆哈萨克族使用十二生肖纪年。东北朝鲜族有十二生肖之说，其岁时习俗，“捞龙卵”活动在辰（龙）日，“熏鼠火”活动在子（鼠）日。滇南哈尼族以十二生肖纪日。聚居于黔东南苗族布依族自治州和广西大苗山地区的苗族同胞，传统节日苗年多在卯（兔）、丑（牛）日。云南梁河县的阿昌族民间祭土主活动，在二月属马日举行。甘肃裕固族为孩子取名，选吉日良辰，时辰是按十二属相计算的。广西毛南族民间岁时风俗，分龙节选夏至后第一个属龙日。海南黎族十二生肖以鸡起首、猴煞尾，用来纪日。《海南黎族、苗族自治州概况》（广东人民出版社1986年版)记载：
黎族有本民族传统的历法。以十二天为一周期，每天都以一种动物的名称命名，类似汉族的十二地支，次序是：鸡、狗、猪、鼠、牛、虫、兔、龙、蛇、马、羊、猴日。但日子的名称、次序也因地而大同小异。
彝族的十二生肖，也因地域不同而有差异。居住于川黔滇一些地区的彝族同胞，使用与汉族相同的十二生肖。毛道彝族的十二生肖则是:鼠、牛、虫、兔、龙、鱼、肉、人、猴、鸡、狗、猪。嵌入了虫、鱼、肉、人，是这一生肖系统的特点。学者陈志良曾在广西工作两年多，从事少数民族资料的搜集和研究。他1940年在《说文月刊》上发表《僈俗札记》，其中有些弥足珍贵的材料，如桂西地区彝族的十二生肖是:龙、凤、马、蚁、人、鸡、狗、猪、雀、牛、虎、蛇。
当代民族学家刘尧汉，彝族人，出生于云南楚雄彝族自治州南华县哀牢山马街区。他提供的哀牢山彝族十二生肖如下:虎、兔、穿山甲、蛇、马、羊、猴、鸡、狗、猪、鼠、牛。
在这套生肖名单上，龙的位置上为穿山甲。这种情况并非孤例。川、滇凉山彝族以一种长一尺的红花蛇为龙；在滇南六诏山区峨山彝族自治县，以山壁虎即蜥踢为龙。
彝历法纪年与藏历有相似处，除用生肖外，也用阴阳五行，其五行为木、火、土、铁、水，铁代金，阴阳则称公、母。木分为木公、木母，火分为火公、火母，余类推，配成十个符号，依次同十二生肖相配合，形成类似六十甲子的周期。彝文《年算历》载，这种六十周期开端为鼠年木公、牛年木母、虎年火公、兔年火母、龙年土公、蛇年土母、马年铁公、羊年铁母、猴年水公、鸡年水母、狗年木公、猪年木母，这是十二生肖第一轮。五轮为一周期，其末轮为鼠年水公、牛年水母……狗年水公、猪年水母。水母之后接着木公，又逢鼠年，新的周期便开始了。
《僈俗札记》还记录了采自云南少数民族居住地区的情况，说那里“亦有十二生肖，其等次有二:一种与汉人相同；另一种同为十二名，而次序与名称略异”，依次是:象、牛、虎、鼠、龙、蛇、马、蚁、猿、鸡、狗、猪。
碧江地区的墨勒人是白族分支。其历法一年为十三个月，以十二肖兽纪日，新年在十三月下旬龙日或蛇日。
生活在云南怒江傈傈族自治州的傈傈族同胞有十几万人，至今仍以十二生肖纪年、纪日。1958年云南民族调查组怒江分组《泸水县四排拉底村倮傈族社会经济调查》报告有如下记述：
陈遵妫《中国天文学史》说，傈僳族“用十二属相纪日，以蛇日和龙日为吉，鼠日和牛日为凶”，与云南民族调查组的调查报告相吻合。该书说傈僳族一年分为十个“季节月”当是古有的历法。这在上述的调查报告中没有得到反映，是值得注意的。陈遵妫解释十月历法同十二生肖纪日的关系：
这样一年分为十个月，每月一定是三十六天，这和十二属相纪日相配合，也甚协调。当然一年是三百六十五天，那么多余的五天，很可能当倣“空日”，不计算在日期里面，也不配以十二属相名称。
此说同刘尧汉对云南哀牢山彝族历法的解释如出一辙，是可信的。
