元朝开始，娼妓的丈夫要戴绿头巾，明清开始有了绿帽子的说法，并且将绿帽子的意思与“妻女淫行”联系在一起，从此绿帽子成了自己的伴侣和别人偷情的代称。

在古人少有的几处与“绿帽子”相关的记载里，绿巾、绿帻除去颜色，本身都是寻常百姓都可以佩戴的首服。《汉书·东方朔传》：“ 董君绿帻傅韝，随主前，伏殿下。” 颜师古注：“ 应劭曰：‘’宰人服也。’绿帻，贱人之服也。”除此以外，我们熟悉的关公也是戴绿头巾的形象。

可见古人是戴绿头巾的，至多觉得这个东西并非彰显身份之物，还不至于觉得戴了就有了别样的意思、会被人嘲笑。

而绿色无论是从很多人喜欢的五行和间色理论看，还是实际的染色角度来说，它都不是高贵的颜色。但是，这只能说明，指他人戴绿帽子对多有点贬低的意思，也不能用来专指女性伴侣红杏出墙的男性啊！

将这一切联系起来，恐怕要到了元朝、明朝时期了。

至元五年中书省札，娼妓穿皂衫，戴角巾儿，娼妓家长并亲属男子，裹青头巾。——《元典章》

按祖制，乐工俱戴青□字巾，系红绿搭膊，常服则绿头巾，以别于士庶，此《会典》所载也。——《万历野获》

这里绿头巾被单独划分出来，开始被赋予别样的意义，这或许才是绿帽子迈出的第一步。

明代中期的郎瑛编写《七修类稿》时就已经明确提到了与如今绿帽子极为相似的定义了。

吴人称人妻有淫者为绿头巾，今乐人朝制以碧绿之巾裹头，意人言拟之此也。原唐史李封为延陵令，吏人有罪，不加杖罚，但令裹碧绿巾以辱之，随所犯之重轻以定日数，吴人遂以着此服为耻意。今吴人骂人妻有淫行者曰绿头巾，及乐人朝制以碧绿之内裹头，皆此意从来。但又思当时李封何必欲用绿巾？及见春秋时有货妻女求食者，谓之娼夫，以绿巾裹头，以别贵贱。然后知从来已远，李封亦因是以辱之，今则深于乐人耳。——《七修类稿》

虽然他提到的几处缘由都不一定有根据，但是至少说明当时已有将绿头巾的意思与“妻女淫行”联系在一起了。

清代俞正燮写《俗骂案解》也对绿帽子做了一番考据，里面提到“青头巾”是元代的说法，而“绿帽”是明代的称呼，可见至少绿帽子这个提法清代就有了，而且清代人认为这是明代人叫出来的。

按照上面的文献，与淫行有关的绿帽子还能细分成三种：

1，身份为娼户，虽然和淫行有关，但是归根究底是身份低贱；

2，“货妻女求食者”，妻女所作虽然是淫行，却是被丈夫父亲所逼，所以不耻的乃是男子的行径；

3，管束不严，致使妻女有淫行，这里还包括被哄骗失贞的。

现代的“绿帽子”一般都指第三种意思。