虬髯客武功高强，几可称得上天下第一，其时他又急着刺杀杨素，生怕李靖出声示警，惊动了杨素，不只杀不了杨素，只怕自己也无法脱身。是以出手之际，虬髯客使出了生平所学最厉害的绝招，满拟要将李靖一剑杀死。李靖虽然知道潜入越王府的刺客必定是一位了不起的大高手，却也没有料到虬髯客的武功已练至化境，两人一交上手，李靖心下惊骇，知道虬髯客生了误会。虽然他有心解释，可是虬髯客势如疯虎一般攻了上来，他只能全力与虬髯客周旋，压根没有机会开口说话。

李靖与虬髯客都是绝顶高手，又都是极富智计之辈，一旦交上了手，仓促之间谁都无法脱身。后来越王府的侍卫惊觉有人在杨素卧房的院子中激战，立时围了上来。虬髯客见势不妙，只得伺机逃走。其实李靖若要将他拦住，倒也并非难事，只是李靖原本就打算将虬髯客惊走，是以看到虬髯客接连使出虚招，知道他已有退意，不只没有阻拦，反倒暗使巧招，帮着虬髯客挡开了王府侍卫的围攻，助虬髯客平安逃离了越王府。

待到虬髯客逃走之后，李靖借口追杀虬髯客，便也追了出去。虬髯客虽然武功高强，极富智计，但是他毕竟初到京城，对于城内城外的道路并不熟悉，而且逃走之时还要躲避城内巡察的公差捕快和御林军，不得不东躲XZ，兜了好几个大圈子，总算逃到了城西，这才翻越城墙到了城外。而李靖自幼在京城之中长大，对于城里城外的地形和道路熟悉无比，即便闭着眼睛也不会走错路。是以虬髯客虽然先行逃出越王府，李靖随后追赶，过不多久便即看到虬髯客的踪迹。只是李靖生怕虬髯客以为自己前来追杀，不免又要苦战，是以并未追到虬髯客身边，只是远远地跟在他身后，打算一旦虬髯客遇险，自己立时出手相助。

后来李靖看出虬髯客想要从城西逃走，便即先行出城，在虬髯客必定要经过的道路上等候。虬髯客没有料到李靖竟然挡住了自己的去路，心下大惊，只道李靖预先埋伏于此处，要将自己赶尽杀绝，正要先下手为强，将李靖击杀，李靖急忙向虬髯客施礼，讲明了自己的来历。最后他对虬髯客说道，越王府内到处都是杀人机关，杨素的卧房更是龙潭虎穴，阁下虽然武功高强，若是强行闯入，只怕也很难全身而退，白白送了性命。若要除掉杨素，须得从长计议。