公元1128年正月，金将兀术率军从郑州抵达开封城西白沙，开封城触手可及。城内民众惶恐不安，宗泽部将、幕僚向他问计，宗泽正和部属下围棋，笑着反问：“多大的事，值得慌慌张张？刘衍等人统兵在外，一定能应付！”

宗泽说完，放下手中围棋，出帐点五千精锐，命他们绕到敌军之后，突然杀入，金人正和刘衍作战，前后受到夹击，金人败退。

兀术退回郑州，宗泽主动出击，派部将李景良、阎中立、郭俊民率军逼郑州，双方大战，结果很不理想，阎中立战死，郭俊民投降，李景良逃跑。

宗泽很快抓捕了李景良，骂道：“战败，还可赦免罪责，私自逃跑，你眼中还有主将吗？”将李景良斩首示众。

李景良头颅刚落地，郭俊民又和一金国将领以及燕京人何仲祖，持书信来开封，意图招降宗泽。宗泽数落郭俊民道：“你失败战死，尚且是朝廷忠义之鬼。如今反而为金人劝降，你还有脸来见我吗？”命属下将郭俊民斩首示众！

接着宗泽对来劝降的金将道：“我受命守开封，唯有一死而已，你作为将军，不能在战场和我厮杀，反而以儿女之情的话引诱我吗？”说完，也将他斩首，何仲祖被认为是协从，免于一死。两国相争，不斩来使。宗泽可不管这一套，斩使可示威！

宗泽高举砍刀，将懦弱的、畏敌的、劝降的、出使的，一概砍翻，士气不由大振！

部将刘衍从滑州返回开封后，金人再次入侵滑州，部将张伪请求前去救援，宗泽挑选兵士五千人给他，并告诫他不要轻易作战，等待支援。张伪到达滑州与敌人接战，金人兵马近五万，部下请求稍稍避一下敌人的锋芒，张伪道：“逃避偷生，有什么面目见宗公？”

张伪力战而死。宗泽得知张伪告急，派遣王宣领骑兵五千人救援。张伪死后两天，王宣才到达，与金人大战，将金人打败。宗泽迎回张伪尸骨安葬，抚恤他的家属，并以王宣知滑州，从此金人不再进犯开封。

王策本是辽将，后被金任命为将，往来于黄河边上。宗泽将他擒获，松开绳子让他坐在堂上，对他说：“契丹本是宋的兄弟之国，女真欺辱我们的皇上，又灭了你们的国家，从情义上讲我们应该协力合谋，报仇雪耻。”王策感动流泪，愿为宗泽效命。宗泽因势问金国的虚实，详细了解了金人的情况，于是决定大举进行讨伐，他召诸将对他们说：“你们有忠义之心，应当协力合谋，剿灭敌人，期望迎回徽、钦二帝，建立大功。”说罢落泪，诸将也都流下了泪，表示听从命令。金人因与宗泽战而不利，将军队全部撤去。

宗泽在开封声名日益显着，金人都知宗泽大名，非常忌惮他，对南朝人称呼宗泽，一定称“宗爷爷”！