赵易铭走后，虞懿琳很长一段时间都陷入了消沉之中。只用“华兰”为笔名在成舍我创办的《世界日报》《世界晚报》之副刊上发表一些消闲性的小散文，甚少针砭时弊。
但虞懿琳的消沉并没有维持太长的时间。北平城西南角深夜的一阵枪声，打破了虞懿琳全家乃至北平城，乃至整个中华大地的平静。七月八日凌晨，日军发动炮击，驻守在北平的中华民国第二十九军奋力抵抗。在随后的将近一个月的时间里，包括在南苑受训的一千五百余名军事训练团学生在内的第二十九军第一三二师、三十七师、三十八师，与日军浴血奋战。第二十九军副军长佟麟阁、第一三二师师长赵登禹壮烈殉国。
数千烈士的热血并没有阻止日军侵略的脚步，七月二十九日，时任北平市市长和第二十九军军长的宋哲元从北平撤退，当天，北平沦陷。次日，与北平唇亡齿寒的天津也落入敌手。
日军占领北平后，要求北平城内的工商业全部正常营业。但虞绍义痛恨日军侵华暴行，将经营规模缩减了一大半，拟寻找合适的时机，逃离北平。
虞绍义的想法令虞家众人议论纷纷，柳氏认为，离开世代居住的北平城，背井离乡，实在是不值得。柳氏道：“这日本人来了，咱们好生做生意便是，日本人也不能随便杀无辜的老百姓啊。”
虞懿琳不觉插嘴道：“娘，这日本人狼子野心，他们是侵略者，是要让我们亡国灭种的！这可跟普通的改朝换代不同。”
柳氏狠狠瞪了女儿一眼，虞懿琳吐了吐舌头，不敢再说。谁想虞绍义却道：“琳儿说得对。覆巢之下，安有完卵？咱们还是早日离开北平为好。”
已出嫁了的虞嬿如听闻此事也回到家，对堂兄道：“可是离开了北平，能去哪儿呢？”
虞绍义道：“只要我虞绍义在，我瑞祥昇的金字招牌在，咱家就能东山再起，无论在哪里。”
但是话虽这样说，究竟要搬去哪里，虞绍义自己心里也没有明确的想法。
一九三七年年底发生的两件事令虞绍义下定了南迁的决心，也找到了南迁的方向。
一九三七年九月，北京大学奉南京国民政府令南迁至湖南长沙，与国立清华大学、天津私立南开大学组成了国立长沙联合大学。
十一月，南京国民政府决定迁都重庆，其政府机关先后移往武汉、重庆。
而日军自十二月十三日起在南京制造的惨绝人寰的大屠杀更令虞绍义认清了日本侵略者的禽兽面目。
虞绍义当即决定举家迁往重庆，即新国民政府的所在地。虞绍义决定南迁至重庆自有一番生意人的考虑。如今日军大举侵华，半壁国土都为战火所侵染，瑞祥昇做的是太平盛世的生意，若命都没了，饭都吃不上，谁还顾得上穿衣？因此，唯有国民政府的所在地，才会有大量达官显贵聚居，只有这样的人才买得起瑞祥昇的布料和衣服。
一九三七年十二月底，虞懿琳随家人迁往重庆定居，同行的还有虞嬿如、陈安和夫妇。重庆地处中国西南，在重庆的日子里，虞懿琳有时候会想，自己如今是不是离赵易铭又近了一步。