但是聪明如赵普，面对赵匡胤的再三质疑和刁难，不但没有丝毫收敛，甚至还有点自己找死的意思，比如说他利用空闲土地，私自换取皇家菜地来扩建自己的住宅，并且还经营着很多客店谋取私利。

卢多逊任翰林学士，趁着赵匡胤召见时多次攻击赵普的短处。还有一个叫雷有邻的，也告发堂后官胡赞、李可度受贿枉法，以及刘伟伪造代理官职文书而得官，王洞曾经收受李可度的贿赂，赵孚除授西川官却称病不到任，等等等等这些人，都受到了赵普的庇护。

宋太祖因此大怒，下令御史府审查讯问，并且还任命雷有邻为秘书省正字。赵匡胤对赵普的恩宠渐渐疏淡，开始下诏参知政事与赵普交替掌印、领班、奏事，以此来分夺赵普的权力。不久之后，赵匡胤更是把赵普调出京师，出任河阳三城节度、检校太傅、同平章事。

于是，赵匡胤就可以死了！开宝九年十月，通过一个叫做烛光斧影的事件，宋太祖赵匡胤驾崩，其弟赵匡义继位，是为宋太宗。

太平兴国二年三月，赵普自河阳入朝，迁太子少保留京城奉朝请。赵匡义召问，赵普表示希望在机要部门来观察事变，退朝后又上书宋太宗，自陈参预知道宋太祖、昭宪皇太后临终顾托之事，言辞非常恳切。太宗感动醒悟，召赵普加以慰谕。

不久之后，赵匡义任赵普为司徒兼侍中，封为梁国公。秦王赵廷美原先的位次在宰相之上，但是因为赵普是勋旧大臣，于是赵廷美上表请求位次在宰相赵普之下，宋太宗听从了。

太平兴国八年，赵普外调任武胜军节度、检校太尉兼侍中。宋太宗作诗给他饯别，赵普捧诗而哭道：“陛下赐臣诗，应当刻石，与臣朽骨一并葬在地下。”

宋太宗被赵普感动了，第二天就对宰相宋琪说：“赵普对国家有功，朕先前与他同游，现在牙齿头发都衰落了，不能用枢务政事烦扰他，选择善地来安置他，因此作诗篇来表达我的本意。赵普感激得哭泣流涕，朕也为之泪下。”

宋琪回答道：“昨天赵普到中书省，手拿御诗哭泣，对我说，此生余年，无法报答皇上，希望来世能为陛下效犬马之力。臣昨天听到赵普的话，今天又听到皇上的宣谕，君臣之间善始善终的情份，可以说是千金难买的君臣两全啊！”

因为赵普出身不显，比起一般文臣来，没人知道他的学问有多好有多深。所以就在赵普当上宰相以后，宋太祖曾经好心的劝他多读点书，于是赵普每次回家以后，就关起房门，从书箱里取书认真诵读。

并且自从这赵普开始夜来读书以后，第二天上朝处理政事，总是十分敏快。后来家里人发现，其实在赵普的书箱里面，只不过就只藏了一部《论语》罢了。于是当时的人们就流传出了一种说法，说赵普是靠“半部《论语》治天下”的。

赵匡义也听说了这个传闻，也很好奇，就在一次和赵普闲聊的时候，看似随便的问道：“有人说你只会读一部《论语》，这是真的吗？”

没想到赵普老老实实地回答说：“臣所知道的，确实不超出《论语》这部书。过去臣以半部《论语》辅助太祖平定天下，现在臣用半部《论语》辅助陛下，便天下太平。”

赵普话里话外都是他的这本《论语》，并且每次回家就关起房门，拿着这本论语认真诵读。可又有谁知道，赵普手里的这一本《论语》，却不是一本简简单单的《论语》，不是天下间任何一本其他的《论语》，而是一本独一无二的《论语》！