相传远古时候，神荼与郁垒为一对兄弟，兄弟俩都擅长捉鬼，如有恶鬼出来骚扰百性，神荼与郁垒两便其擒伏，并将其捆绑喂老虎。后来人们为了驱凶，在门上画神荼、郁垒，亦有驱鬼避邪之效果，而流传至今。左扇门上叫神荼，右扇门上叫郁垒，中国古代民间称他们为门神。
传说故事
传说一
传说商末周初，度朔山上生有奇桃，肉甜味美，食之可延年益寿。桃下住着兄弟二人，哥哥叫神荼，弟弟叫郁垒，他们为人正直，力大无比，凶猛老虎为他们护林看桃，野牛岭上有个野大王，心狠手毒，喝人血，吃人心，残害百姓。
一天，野大王派人到度朔山上索取仙桃，被神荼、郁垒轰走，野大王气得七窍生烟，一个黑夜，野大王带领他的信徒装扮成恶鬼前去报复，被神荼、郁垒用桃条捆起来扔给了老虎，桃木辟邪说法由此而来，同时它也成为辟邪驱鬼的工具。
传说二
传说东海里有座风景秀丽的度朔山，又名桃都山。山上有一棵蟠曲三千里的大桃树，树顶有一只金鸡，日出报晓。这棵桃树的东北一端，有一概拱形的枝干，树梢一直弯下来，挨到地面，就像一扇天然的大门。朔山住着各种妖魔鬼怪，要出门就得经过这扇鬼门。每当清晨金鸡啼叫的时候，夜晚出去游荡的鬼魂就必须赶回鬼域。在鬼域的大门两边站着两个神人，名叫神荼、郁垒。如果鬼魂在夜间干了伤天害理的事情，神荼、郁垒就会立将它们捉住，用绳子捆起来，送去喂虎，因而所有的鬼魂都畏惧神荼、郁垒。这样在民间就流传开用降鬼大仙神荼、郁垒和桃木驱邪、避灾的风习。他们用桃木刻成神荼、郁垒的模样，或在桃木板上刻上神荼、郁垒的名字，挂在自家门口，用以避邪防害。这种桃木板被称做“桃符”。1
桃符，顾名思义，以桃木为材料。在古代，桃木有“鬼怖木”之称，桃木驱鬼辟邪的信仰由来已久，并且从来都关乎于门户。
文献记载
山海经海外经曰：东海中有山焉，名曰度索。上有大桃树，屈蟠三千里。东北有门，名曰鬼门，万鬼所聚也。天帝使神人守之，一名神荼，一名郁垒，主阅领万鬼。若害人之鬼，以苇索缚之，射以桃弧，投虎食也。
除山海经记载外，汉代诸书皆有记载。如重修纬书集成卷六河图括地象中即说：桃都山有颗大桃树，枝干盘曲三千里，树上有一只金鸡，太阳出来的时候就叫鸣。树下有二神，一个名叫郁，一个名叫垒，均拿着苇索，看守那些不祥之鬼，一旦捉住便杀之。应劭风俗通义卷八则称荼与垒是兄弟二人，生性能够捉鬼，他们常在度朔山上的桃树下，检查百鬼，凡发现有祸害人类的就逮之喂虎。于是县老爷常常在腊冬除夕，刻一个桃人拿着苇茭挂在门上，并在门上画一只虎，这都是仿效古人的做法。道教吸收了这种信仰，如晋葛洪枕中书即将郁垒列入道教神谱，称为东方鬼帝之一，其元始上真众仙记中亦云：“今人正朝，作两桃人立门旁，以雄鸡毛置索中，盖遣勇也。”此后，二神一直被人们所信仰，如南朝梁宗懔荆楚岁时记说：用桃木板做门，叫做仙木，画两位神贴在上面，左扇门上叫神荼，右扇门上叫郁垒，民间称他们为门神。隋朝杜台卿玉烛宝典引括地图称神蒂、郁垒于桃都山大桃树下，为门神。宋陈元靓岁时广记卷五引皇朝岁时杂记云：“桃符之制，以薄木版长二三尺。大四五寸，上画神像狻猊白泽之属，下书左郁垒右神荼。或写春词，或书祝祷之语，岁旦则更之。”北平风俗类征岁考亦称：元旦贵戚家悬神荼、郁垒，民间插芝梗、柏叶于户。民间新年神像图画展览会：“所谓神荼郁垒者，乃山海经神话中之人物。……上述最古门神之意，迄今尚未全部遗忘，盖今人仍有书其名于门上者，以代较流行之将军肖像。”可见二神信仰广泛深入民间，祭祀的方法大致为：画二神肖像张贴于门上，用桃木雕刻二神像，挂于门上，用朱砂笔在桃木板上写上二神尊名，挂在门上，并画上道符，不管用哪一种方法，人们都认为可以用来驱鬼辟耶。至于于二神的形象，三教源流搜神大全中有一幅画，画中即有二神的肖像。二神位于桃树下，坦胸露乳，黑髯虬须，眉发耸互，头生两角，手执桃木剑与苇索，一副凶神恶煞的样子，难怪鬼见了都害怕。
艺文类聚卷八十六引庄子佚文：“插桃枝于户，连灰其下，童子入不畏，而鬼畏之。”近年考古发现了证明这一古俗的宝贵史料，长沙马王堆汉墓出土的医书五十二病方有一条：“囗：禹步三，取桃东枝，中别为回回回之倡而门户上各一。”囗，小鬼。药方的内容是驱鬼，门上插桃枝。桃木驱鬼，也见于湖北云梦睡虎地秦简。
齐天大圣孙悟空说道酆都城城亦可写为丰都城，是旧时迷信传说中的阴司地府，人死后的去处。
后来，西游记、锺馗传等中也夸张渲染了酆都鬼城，使迷信几近成了文化，酆都也成了人们心目中真正的“鬼城”。西游记第六回：“魏徵又写书一封，与我王带到阴司，寄与酆都城判官崔珏。”清代洪升著长生殿冥追：“奸贼，俺奉阎王之命，特来拿你，还不快走……向小小的酆都城一座，教你去剑树刀山寻快活。”酆都城今为重庆市丰都县。
阴曹地府和十八层地狱，本来只是佛教典籍中所描述的死后世界，可是后来却被道教沿用，并为其说词寻得合理的根据。
在酆都城有一座山叫平都山，是道教七十二福地中的第四十五福地。根据东汉的列仙传和晋朝葛洪的神仙传书中所言，在汉代，曾有王方平和阴长生等人，弃官到此修道，最后终得道成仙，升天而去。