众所周知，南宋宋高宗赵构无后（宋高宗亲生儿子只有一个，名字叫赵旉，母亲是赵构在康王府时服侍他的旧人潘贤妃。赵旉作为赵构第一个儿子，也是唯一的一个儿子，他排名老六，前面有五个姐姐，我们完全可以想象这个孩子出生的时候，赵构有多么的高兴。赵构将其封为元懿太子，元，《说文解字》中记：“元者，善之长也，故从一。”懿，意指美好，《说文解字》：“专久而美也。从壹，从恣省声。”，《康熙字典》释意美德。光从“元懿”两个字，就可以看出赵构对自己这个儿子的美好祝愿以及殷切的期盼，不过可惜的是元懿太子最终只活了三岁，便早夭而亡。他父亲的祝福与企盼，并没有将这个孩子留在人世。自此之后，元懿太子后来被追尊为宋简宗、正安帝。自此以后，赵构再无子嗣可以继承他的皇位。）

所以，他必须从宗族子弟中选取继承人来继承他的皇位。

据史书记载，当时大臣李回进谏说：“太祖不把皇位传给自己的儿子，而是传给了弟弟太宗，是因为兄弟二人手足情深，陛下如今要立嗣，不妨效法太祖。”

还有的大臣直接指出，太祖赵匡胤的后代如今默默无闻，如同凡夫俗子一样，于情于理都是说不过去的，为了大宋江山的千秋大业，应该从太祖一支中选嗣。

高宗赵构见没有别的办法，同时为了博得一个好的名声，便接受了群臣的建议，与宋太宗的后代不同，当时宋太祖的后代有上千人之多，宋高宗想在这一千多人之中选出合适的人选亦并非易事，经过一番仔细的搜寻，在太祖赵匡胤的后裔中选嗣，于是就按着辈分的大小，在“伯”字辈的皇族中挑选了七岁以下的男童十人，再经仔细查看后，最后留下了一胖一瘦两个小孩，胖的是伯玖，瘦的是伯琮。

刚开始，宋高宗对赵眘并没有太大的好感，而是中意胖点的小孩，按理说赵眘继承皇位的机会应当也就到此画上了句号，但是也许冥冥之中自有天意，正在他放弃做皇帝的梦想之时，发生了一件微小的事情，进而使整个局面发生了巨大的变动。

事情的经过是这样的：有一次，宋高宗将赵眘和胖小孩叫到一起，恰巧此时闯进了一只猫，赵眘正全神贯注地听宋高宗讲话，猫闯进来后连眼睛都没有眨一下;而胖小孩却不同，猫闯进来后他显得很惊慌，再也无心听宋高宗讲话，连忙伸脚去踢猫，动作极其粗鲁，胖小孩这一粗鲁的举动彻底葬送了高宗原本对他仅存的一丝好感，赵构看了很不高兴，说：“如此轻狂，怎能担当社稷重任!”

于是便留下了伯琮，将他以候选人的身份养育在宫中。

伯琮于建炎元年(1127年)生于秀州(今浙江嘉兴)，他的大世祖是太祖赵匡胤的第四个儿子八贤王赵德芳，伯琮入宫后，天资聪颖，博闻强记，异于常人，很受赵构的喜欢，受到后宫的重点培养，高宗派人以行宫新建书院为资善堂，作为伯琮读书的地方，并派学士富才赡作为赞读，伯琮也很争气，尊师重教，勤奋好学，随着年龄的增长，很快便成长起来。

按理说，伯琮被留在宫中之后，皇位继承人非他莫属了，但是他在宫中待了将近有20年，却没有被确立为太子，这让人匪夷所思。