班默原名皮埃尔·艾丽瑟（pierre-elise），生于十二世纪图卢兹公国的一户铁匠家庭，现今所在地是法国西南部的波尔多地区。

她的两个哥哥自打她记事以来，帮助父亲做铁匠活，而三姐受到父母和大哥二哥的照顾很多，所以从小娇生惯养。而她这个口吃妹妹的存在在他们看来有些多余，除了母亲还会关心一下她，家里其他的人都总是用嫌弃的眼光看她。

艾丽瑟从小喜欢晚独自一人在自家的屋顶仰望星空，口吃的嘴里还总是念念叨叨地不知嘀咕着什么。哥哥姐姐们把她当做怪物，时不时欺负欺负这个较异类的小妹妹，父亲也经常呵斥她帮不家里什么忙。而只有母亲偶尔会贴心地和她谈谈心里话，温柔地给她讲有关天星辰的民间故事，还给她买了一些神话传说的书籍，这让孩童时代的艾丽瑟在想象力的土壤种下了小小的种子。

在艾丽瑟十二岁那年，家里连续突生变故。首先母亲得了瘟疫不幸去世，不久大哥在一次盗匪打劫过程被弩箭『射』穿喉咙而亡，父亲在连续遭受亡妻丧子的打击后，半身瘫痪，无法再打铁养家，家庭的全部重担落在了二哥的身。

当时艾丽瑟的三姐虽然只有十五岁，但凭借着俏丽的容颜和身姿，已与本地的一家达官显贵的公子有染。在二哥打铁养家之外，三姐也能从姘头那里得到资助，供给家里开销。所以家里只有艾丽瑟没法做出任何贡献，这样更不受其他家庭成员的待见了。尤其已与二哥订婚的未婚妻，非常反感家里有这么个小姑子，时常在二哥耳边吹耳边风，要把小小年纪的艾丽瑟赶出家门，否则她不嫁进皮埃尔家的门。

最后，在父亲的默许之下，艾丽瑟的二哥、三姐下定决心，将艾丽瑟送到图卢兹的女修院，给了修道院院长一笔钱，让她把艾丽瑟作为最底层的修女对待即可，未来生老病死，任由天命。

那时的艾丽瑟心也明白，自己狠心的哥哥和姐姐这么做，一定是父亲默许的，于是她决心以后再和这个冷血的家庭老死不相往来，自己活出属于自己的人生。

自打十三岁起，年幼的艾丽瑟便开始学会照顾自己。在女修院除了被院长和修女头头呼来喝去地干杂活外，没事去女修院的藏书官里读书。藏书馆的看门人是个六十多岁的老男人，名叫伊凡，知道艾丽瑟可怜的身世，对她十分照顾，对她借阅藏书的要求也是尽量满足，而且还特意为她推荐不少对她这个年纪十分有用的书籍，如希腊神话、历史故事、地理知识、数学、学艺术等等。两人因此结下了深厚的友谊，可以称得是忘年之交。

艾丽瑟在女修院度过了五年时光，虽然没有学的机会，但在老伊凡的帮助之下，头脑储备的知识一点都不那些学的孩子少。

当然，她的女修课一样不会少，因为口吃严重，所以唱诗总是跟不其他修女的节奏，这让院长总对她发脾气，动不动饿她一顿以示惩罚。艾丽瑟倒也不记恨院长，明白是自己出的问题。但口吃是先天的，自己无法纠正，她倒是想了个办法，自己光张嘴不出声，让其他人的声音盖住她，不会拖后腿了。这在国叫做滥竽充数。

这个办法用了一段时间，效果不错，院长也发现了艾丽瑟的小伎俩，不过明白艾丽瑟是天生如此，也睁一眼闭一眼了。

但“滥竽充数”总归有『露』馅的一天。那是在艾丽瑟将近二十岁前夕，图卢兹当地的一位社会名流肖恩爵士（shawn-sir），为他的公子举行结婚典礼，修女院唱诗班应约在婚礼颂唱圣经。谁会想到肖恩爵士是个偏执狂，现在的说法叫做强迫症患者，而且听力极好。唱诗班一开口他便听出来艾丽瑟是在假唱，顿时心生疑窦，冲过去一把将艾丽瑟揪了出来，让她单独唱几句。自然是『露』了马脚。肖恩爵士勃然大怒，叫来几名随从，对艾丽瑟是一顿毒打，也不管这里是不是教堂圣地了。