“替罪羊”一说是怎么来的？据《孟子·梁惠王上》所记，有这么一种说法，有一次，梁惠王坐在大堂上，有人牵牛从堂前过去。梁惠王看见了，便问牵这牛做什么，被告知“将以衅钟”。
所谓“衅钟”，是新钟铸成，宰杀牲畜，取血涂钟的一种带有巫术性质的仪式。梁惠王听后便让人放了牛，说是不忍心看到牛可怜的样子，让无罪的牛去死。身边人说，那就废了“衅钟”仪式。梁惠王反问为什么要废除呢？指示“以羊易之”。
替罪羊产生的源头，应该始于上古时期的献祭仪式。献祭时使用的祭品称为“牺牲”，有“三牲”“五牲”的区别。三牲指猪、羊、牛三种家畜。羊是小牲口，用之祭祀为“少牢”，牛是大牲口，举行重要仪式才使用，称为“太牢”。
虽然羊是小牲口，但也不能随便使用，《礼制·王制》中称“大夫无故不杀羊”。只有必要时才杀羊献祭，让羊给人类“替罪”，但这仍不应是替罪羊的最早由来。
在殷商时期，有用奴隶献祭的恶俗，即所谓“人祭”，这在河南安阳殷墟考古中有大量发现。当年，特别是殷人的敌人——以羊为图腾的羌人，被殷人大量捕获用于杀祭。后来随着文明的进步、羌人的反抗，人祭被严格控制使用，便用羌人的图腾羊来替代，这也许才是“替罪羊”的真正开始。
先秦时，人们很喜欢用羊作祭。《诗经·周颂·我将》称，“我将我享，维羊维牛，维天其右之。”意思是将这肥羊肥牛献给上天，上天会保佑我们吉祥幸福。在上古周代，周王举行祭祀之礼并宴饮宾客的舞曲贵族们身穿洁白的祭服，头戴不同级别的礼冠。周王则从明亮的庙堂到祭祀的大门仔细检查排列的羊牛等祭品，巡视盛满精美食物的青铜炊器、酒器。这首诗既是对羊、牛等丰盛祭品的炫耀，又显示出祭祀的庄严、神圣。
除贵族以羊、牛祭祀外，周时耕田之人春秋两季也要以羊牛行祭，“社之日莅卜来岁之稼”。《诗经·豳风·七月》称：“二之日凿冰冲冲，三之日纳于凌阴，四之日其蚤，献羔祭韭。九月肃霜，十月涤场，朋酒斯飨， 曰杀羔羊。跻彼公堂，称彼兕觥，万寿无疆。”可见，羊是承载人民福祉的。
从考古发现来看，在殷商时期，羊是被使用最多的牺牲，确实是可怜的“替罪羊”。如在殷墟一座宫殿的置础仪式上，一次就埋了101只羊。而从殷墟出土的甲骨卜辞上看，用羊来祭祀的记载特别多，几乎是祭必用羊。需要补充的是，用羊献替罪并非中国独有，如古代犹太教祭礼上，便常用羊来替人承担罪过。
替罪羊现在看是一个贬义词汇，是羊的一种悲剧，实际当初并无此义，替人担罪的羊是神圣的。替罪羊是“代人受过”“代人赴死”，这种“奉献精神”是羊身上的又一闪光之处。或许正缘于此，董仲舒在《春秋繁露·执贽》中对羊在临死时的表现才大加赞叹：“执之不鸣，杀之不谛，类死义者。”