窦建德杀害后，他的主力的部队彻底被打败了，剩下的一些残兵败将，仍然逃窜到黄河以北一带。

武德四年（621年）七月，窦建德的手下的故将范愿、董康买、曹湛、高雅贤、王小胡等人不满意，大唐王朝征调他们去长安，秘密反抗，他们聚集到漳南城，想要拥立窦建德的故将军刘雅为主，正式起事。

刘雅拒绝说道：现如今，天下太平了，老百姓安居乐业，我只想在自己家的一亩三分地里，快乐的做个农民。结果被他们杀害了。他们又改而拥立窦建德另一位故将刘黑闼。

刘黑闼善长观察时局的变化，做战勇猛，足智多谋。但品德低下，喝大酒、好赌博、是个有奶便是娘的无赖。

大隋末年，参加义军，先后在郝孝德、李密、王世充手下干过，后逃跑了，投奔了少年好友窦建德，被加封为将军，汉东郡公。窦建德被打败后，刘黑闼化装成老百姓逃回漳南城老家，闭门不出。

刘黑闼得知：范愿、董康买、曹湛、高雅贤、王小胡等人找他的来意后，很高兴，马上杀牛宰羊摆上酒宴，款待众来宾。酒席间，众人商定好：起兵反叛大唐的大计。

酒席散后，众人分头行动，到处召集兵马，很快聚集了几百人，夜里偷袭，攻下了漳南县。杀了唐王李渊派的知县，举起的反唐德大旗。

刘黑闼作乱的消息传到长安。唐王李渊派下令在洺州设置山东道行台。