1935年5月，罗斯顿做了一件不可思议的事情。他弃妻子与6岁的女儿于不顾，径自离家出走。奥黛丽对于父亲的失踪一直耿耿于怀，觉得这是“生命中最大的创伤”。她的母亲一夕之间黑发转白。奥黛丽回想起自己与母亲的反应时，仍然心有余悸：“看着母亲的脸庞布满泪痕，你会惊吓不已。心想‘接下来，我该怎么办?’你脚下站立的土地似乎离你而去……，父亲真的已经远走。他就这样走了出去，永远也不会回来。”虽然有着严重的失落感，奥黛丽内心里仍然藏着对父亲的爱，终其一生对父亲的失踪感到遗憾。
虽然失去父亲，奥黛丽还是度过一段快乐的童年时光。她成长于二次世界大战时的荷兰阿纳姆(Arnhem)，她一直很喜欢跳芭蕾舞，从11岁开始习舞。舞蹈给了奥黛丽一个情绪的出口，一种到达完美的方法，也让她得以在残酷的世界里找到美好的事物。在战事纷乱的那几年，她的芭蕾舞课始终维持不辍。芭蕾舞让她的世界找到了依赖的重心。事实上，她常常把邻居附近的小孩集合在一起，在她祖父的家中为小朋友们上芭蕾舞课；为此，她祖父还在家中铺着黑白大理石的大厅中特地装上跳舞用的把杆。“我的学生里各种年纪的人都有，”她回忆说，“每一节课收5分钱。”到了1944年，德军几乎横扫全欧，奥黛丽即使舞鞋损坏，没有新的舞鞋可穿，她仍然继续跳舞。最后，她只好穿上最令人痛苦的舞鞋——木制舞鞋。
即使芭蕾舞带给她一个美丽世界，仍旧抵挡不了残酷的现实世界。由于谣传她母亲希斯特家族有部分犹太血统，她最亲近的舅舅与表哥被视为是第三帝国的敌人而遭到处决。进占的军队扣押了奥黛丽外祖父家里的财产与银行账户。虽然，当时她只是个小孩，但她在战时便开始散发反纳粹的文章，更要逃避德军的追捕。
对于遭受纳粹统治的迫害，奥黛丽更是永生难忘。15岁时，她在荷兰经历了所谓的“饥馑之冬”(thehungerwinter)——这是战争的最后一个冬天，时值1945年。许多人因为饥饿丧生，加上缺乏棺木而爆发肺结核瘟疫，更是雪上加霜，造成更多的死亡。她曾经说过，当时她靠着吃郁金香球茎维生，还希望可以用草做成面包。许多时候只能靠喝水过日子，而且为了要有饱胀的感觉，她必须喝很多的水，到了下午便早早上床以保存体力。她曾经目睹母亲为了替母女两人打点食物的痛苦，奥黛丽下定决心这辈子不要再受到食物匮乏之苦，也养成了她这辈子只要身处压力之下便不进食的习惯。
在荷兰重获自由时，奥黛丽已经亭亭玉立，身高有1.68米，体重却只有41公斤，并患有贫血、气喘、黄疸症，以及因营养不良所引起的许多疾病。从11岁到16岁饱受营养不良之苦，奥黛丽的新陈代谢更因为悲惨童年的重创而受到严重影响。虽然，她后来又长高1英寸，达到1.70米，成人后的体重增加到50公斤，但她始终希望保持着这样的体重。她著名的“干扁”身材后来蔚为流行，深受世人喜欢。但事实上，这样的身材是来自于基因(她说她的身材跟她母亲一模一样)以及悲惨的生长背景。
在她的童年经验里，比物质匮乏所造成的更显著与深远的影响，可能是奥黛丽因此而饱受的心理创伤。1990年接受电视访问时，多纳休(PhilDonahue)曾问奥黛丽，生活在纳粹统治下是否造成她的不安全感。“那并不是造成我不安的原因，”她回答说。“父亲离我们而去，才是造成我缺乏安全感的原因。这使我对任何亲密关系都没有安全感。每次我谈恋爱结婚后，我便会活在害怕被遗弃的恐惧中……，无论你的最爱是什么，你都会很怕失去它。”
父亲不辞而别，纳粹的恐怖暴力以及战时物质的匮乏，这一切都是不容易复原的伤痛。如果说在塞西尔·比顿拍的那一帧著名的跳跃照片里，奥黛丽的明眸闪烁着喜悦，但也总是有那么一丝丝的阴影。奥黛丽一直都知道饥饿的滋味，身为男爵夫人的女儿，她却必须在严冬的土地上寻找食物。她也体验到失去一切的痛苦：她看着坚毅不挠的母亲因为恐惧而啜泣。奥黛丽的童年让她既坚强又脆弱，造成她两极化的个性——这一点当然使她与同年代的美国人大不相同。就像她的朋友罗杰·卡拉斯(RogerCaras)的观察：“有过那种经历的人，不是变得刚强，就是变得温和。她是变得温和。”曾和奥黛丽共事，为《哈泼时尚》拍照的波利·梅林(PollyMellen)同意这样的看法。“奥黛丽的个性真的很温和。在那样的行业里必须要真的很温和，所谓的外柔内刚——因为那是个狗咬狗的行业。我想她是一个很有原则的人，我觉得因为家庭背景，她对自己的了解很透彻。她的过去与背景对她助益很大。”
希特勒于1945年4月30日自杀。同年的5月4日是奥黛丽16岁的生日，当时荷兰已重获自由。她回忆说：“那一年生日，我得到了这一生最好的生日礼物。”几天之后，加拿大军队在镇上的广场安置了一个自动发电的放影机，奥黛丽与她的朋友在战后第一次看到好莱坞的电影，开心地在广场上大叫。因为，从外面的世界传来的信息显示未来必定充满希望，奥黛丽感觉到自己应该再做一些投资。内向害羞、没有任何野心，一心只想要养活自己与母亲的她，相当渴望成为一名芭蕾舞者(在她赢得奥斯卡奖之后，她坦言说，当个害羞的舞者，显然要比当个害羞的演员容易许多)。很快地，带着一百英镑，奥黛丽和她的母亲前往伦敦，男爵夫人觉得那是女儿最有发展机会的地方。
男爵夫人是个意志坚强的人，不管怎样，母女之间的感情都很稳固。当她们在伦敦生活的时候，爱拉倾全力帮助奥黛丽。她帮人修指甲，在花店上班，最后终于在梅费尔(Mayfair)拥有一栋公寓当起房东，以支付奥黛丽芭蕾舞课的学费，她把所有的希望都放在女儿瘦削的肩膀上。奥黛丽却达到更远，远远超过她们两人所能想像的成功境界。这一路走来，加诸于她身上的是异常沉重的担子。虽然当时她们母女想的只是维生，但奥黛丽却深深感激她母亲为她所做的牺牲。虽然，她们在外表上并不相似，但是对于奥黛丽独特风格的塑造，爱拉厥功甚伟。奥黛丽曾经有点半认真地说：“母亲总是教我要站直坐正，喝酒吃甜食要节制，一天只能抽6支烟。”
虽然她们十分亲密，但两人之间时常存着一些紧张。爱拉年轻时总希望自己很瘦，很漂亮，成为一名演员。“现在，不是很讽刺吗?”她有次曾对朋友说：“我的女儿却具备了这三个条件。”奥黛丽的母亲以女儿的成就为荣，她对这些成就并不惊讶——因为这是她长久以来的期待。但是和许多母亲一样，她很难开口表达自己对女儿的爱。她总是用别的方法表达她的情感—?