过了几天，李渊对左仆射裴寂说道:“秦王李世民这个孩子，长期在外面带领军队打仗，被那些穷秀才调教坏了，已经不是我昔日的儿子了。”

尹德妃的老爸尹阿鼠，骄傲蛮横，秦王李世民的助理官员杜如晦路过他家的大门口，尹阿鼠家里的好几个奴才冲了出去，把杜如晦拉下马背，痛加殴打，以致打断了一个手指，尹阿鼠咆哮说道:“你是什么东西？路过我的家门，敢不下马。”

尹阿鼠恐怕秦王李世民报告李渊，就先下手为强，叫女儿向唐王李渊哀求告诉说道:“秦王李世民手下的官员欺负霸凌我家。”

唐王李渊再次大怒，斥责秦王李世民说道:“我的妃嫔小老婆的家，还要被你的手下欺负霸凌，小老百姓的家更不得了。”

李世民多方分辨，李渊就是说什么也不相信。

李世民每次在皇宫中参与宴会，面对唐王李渊的妃嫔妻妾，就想起了自己的亲娘窦皇后，很早就逝世了，没有来得及看到老爸李渊当上皇帝，伤感百端，有时候忍不住伤心叹息，哭泣流泪，唐王李渊看在眼里，很不愉快。那些李渊的妃嫔妻妾就趁机陷害秦王李世民，向唐高祖诉苦说道:“四海之内，幸好一片升平，陛下年龄已大，唯一的养生之道是及时行乐。可是，秦王李世民却常常独自一个人哭泣，正是对我们讨厌憎恨。陛下百年之后，我们母子一定不会被秦王李世民包容，恐怕一个人也留不下了。”相对的哭泣，趁机请求说道:“皇太子李建成仁慈孝顺，陛下如果把我们母子托付给他，一定可以保全的。”

唐王李渊也感到悲伤，因此也就无意更换太子了，对秦王李世民也逐渐疏远；而李建成、齐王李元吉反而日益走近了。

武德七年（624年）夏季，6月24号，大唐政府庆州都督杨文干叛变。

最初，齐王李元吉鼓励太子李建成除掉秦王李世民，说道:“我为大哥，应当亲手动刀。”

李世民跟随着唐王李渊一起前往齐王李元吉的私人住宅串门。

齐王李元吉命令王府的护军，宇文宝埋伏在卧室里，打算行刺秦王李世民。太子李建成性情仁慈宽厚，临时制止了。齐王李元吉很生气地说道:“我是为你打算，杀掉李世民对我有什么好处！”

太子李建成擅自做主招募了都城长安以及，周围四方面县城的骁勇的武士2000多人，组成了太子宫卫队，分别驻守左右长林门，称为长林军。太子李建成又暗中命令太子宫右虞侯可达志向燕郡王罗艺征调幽州的突击骑兵队300人，配备到太子宫的，打算补充作为太子宫殿常备卫士，但是却被人向李渊告了密。李渊召见太子李建成责备，把可达志贬到雟州。