褚遂良所说的“太尉元舅”，是指长孙无忌；“司空功臣”是指李世绩。按照此种说法，则褚遂良认为李世绩同他们的态度相同，也是反对废除、另立皇后的。李世绩也确实有不赞成册封武则天为皇后的表示，他曾经和长孙无忌争着先去劝谏唐高宗李治，而褚遂良认为，太尉，国之元舅，脱事有不如意，使皇上有怒舅舅之名，不可。”而“司空，国之元勋，如有不如意，使皇上有罪功臣之名，不可。”即不同意二人先去，而是由他打头阵去劝谏。但是在实际上，李世绩是不愿意介入这一场废除、另立皇后之争的，正像他当年不愿意介入李世民与李建成、太子李承乾与魏王李泰那两次皇上家族内部的权力之争一样。因此他干脆称自己有病回府了，没有随进入内廷商议大事，他当时的态度可以概括为“表面上反对，实际上是中立”。

长孙无忌等三人来到了内殿，唐高宗李治直截了当地对他们说：“莫大之罪，无过绝嗣。皇后无子，今欲废之，立武士彟女，何如？”褚遂良当即回答道“皇后名家，先帝为陛下所娶。先帝临崩，执陛下手谓臣曰：朕佳儿佳妇，今以付卿。此陛下所闻，言犹在耳。皇后未闻有过，岂可轻废！臣不敢曲从陛下，上违先帝之命！”即以，“皇后名家”，“未闻有过”为由，抬出先帝遗命，摆出受托孤重臣的身份，坚决反对废黜王皇后。唐高宗李四听了很不高兴，协商不欢而散。

第2天，唐高宗李治再次召见他们4个人商议大事，李世绩仍然称自己有病不至。褚遂良完全置武则天在帘后面旁听于不顾，力争道:皇帝陛下必别立皇后，伏请妙择天下令族，何必要在武氏。且武昭仪经事先帝，众所共知，陛下岂可蔽天下耳目，使万世之后，何以称传此事。陛下倘亏人子之道，自己招不善之名，败乱之端，自此始也。臣上忤圣颜，罪合万死，倘得不负先帝，则甘从鼎镬。”说罢，便将手持的象笏放在金銮殿的台阶上，叩头流血说道，还陛下此笏，乞放归田里。”

他的这种以罢官相要挟的做法深深激怒了皇帝，唐高宗李治即令人将他架了出去。武则天更是怒不可遏，在帘后大声的叫道：“何不扑杀此獠！”

长孙无忌急忙争辩说道：“褚遂良受先朝顾命，有罪不可加刑。”方将褚遂良救下。于志宁见到这个状况竟然不敢说一句话。这次协商又未取得结果。

以后，侍中韩瑷、中书令来济亦为此分别上言上疏，劝谏唐高宗李治不要废立皇后。理由与褚遂良所言大致相同。唐高宗李治一概不予采纳。

总起来说，他们反对立武则天为皇后的公开理由，大致有以下两点:

第1点，武则天家族不是“天下令族”，即名门大族。

第2点武则天“经事先帝”，即曾为唐太宗的才人，“众所共知”。

这两点理由既没有说服唐高宗李治，也深深伤害了李世绩。因为李世绩出身于山东的庶族的地主家庭，与武则天的父亲差不多，长孙无忌等人如此轻视武氏，也自然会轻视于她同病相怜的李世绩。这就促使李世绩在感情上发生了变化，由过去漠不关心武则天而变为同情武则天了；进而又使他在废除另立皇后这件大事上的态度发生了变化，由过去的“表面反对，实际中立”改变为“表面中立，实际拥护”了。

两次公开商议废除、另立皇后，李世绩都推脱有病没有参加，这使得唐高宗李治很纳闷，也使他急于想知道李世绩的态度。于是在几天之后，唐高宗李治单独召见李世绩，径直问道：我想立武昭仪为皇后，褚遂良固执以为不可，他是顾命大臣，事情该怎么办呢？李世绩只是简单的回答道：

此陛下家事，何必更问外人！

这句话看起来好像没有表态，实际上却是暗示：唐高宗李治要把握废立皇后，当做自己的家事来处理，用不着去询问外人，即不必要去考虑褚遂良等顾命大臣的意见，尽可以按照自己的心意册封武则天为皇后。

李世绩身为元老重臣，当时任司空，在宰相中位居第二位，仅次于太尉长孙无忌。他的这一表态，给了唐高宗极大的鼓舞和力量，使他最终下定了废除王皇后，另立武则天为皇后的决心。