1943年对庞家来说是一个特殊的年份。这一年6月，庞莱臣八十大寿，一时间名流汇集，好不热闹。然而，年事已高的庞莱臣深感时日无多，虚斋的巨大庋藏如何分配、传承，国民政府已经开始征收的遗产税，这些都是要迫切解决的问题。
7月24日，庞莱臣由其侄婿樊伯炎记录，口述立下了《赠予契约》（即遗嘱）：“余家自先光禄公创业后，得承余荫垂五十年，兢兢自守，幸能保存。今检先光禄公遗产及余历年自置财物，尚属□细。丙子三月遭丧明之痛，心绪郁塞，曾拟将现存确实财产估计总额的定数目分赠予家属。但经数年之勾稽核算，未能全部竣事。人逢兵祸，浔苏杭沪四处产业损失甚巨。今余年届八十，亟应完成始愿。乘余生前余暇，自立赠与笔据，以昭慎重。兹将赠予各项列款于左。”
这是《赠予契约》开篇之言，文中“丙子三月遭丧明之痛”所指为庞莱臣的独子庞锡宝于1936年3月去世。文中的“家属”所指为养子庞秉礼与两个尚不满10岁的孙儿。
从《赠予契约》的第三条起，庞莱臣开始分配虚斋藏品：“三、书画各件余积五十年之收藏，原来为数甚伙，分置浔苏沪三地住宅之内。民国二十六年中日战事发生后，浔苏沦陷，劫后检查十去七八。综余一生心血精神所寄，遭此损失，思之痛心。虽于战后稍为陆续补购，然为数甚微。平日复为充慈善等事而估去者亦不在少数。今将所存各件悉数赠予秉礼、增和、增祥三人。唯此项物品为余生平酷嗜，并为娱老之计。在余生前应仍置余手头以供清玩。如在余生前再有购进者，则亦一起归入即系赠予之品，不再另外分置。四、瓷器古玩为数虽少，亦概赠予秉礼、增和、增祥三人。五、上述各项赠予财物在余生前一概须得余之同意始可处分，余有自动处分之权，房屋地产一概不予分割，书画古玩亦须听余处置，以后三人如何分存，则为余身后之事，由彼三人共同商决行之。”
从遗嘱上看，虚斋的藏品被分为3份，分别给他的嗣子庞秉礼及两个孙子庞增和与庞增祥。但事实上，后来包括书画在内的所有遗产均被分成了4份，另一份是共有财产，暂由老太太（庞莱臣的继配夫人贺明彤）监管。1949年3月庞莱臣去世后，由遗嘱执行人、庞莱臣的堂弟庞赞臣主持分家析产，此后虚斋藏品开始大规模流散。
海外博物馆
其实，早在庞莱臣生前，其藏品就已经开始外流，一部分流散到国内私人收藏家手中，还有一部分则流散到国外各公私收藏机构，其中以流入美国各大博物馆为多。
“以藏养藏”是鉴藏界的惯例，庞莱臣也不例外。抗战之前，庞莱臣通过外甥张静江与其兄弟以及大古董商卢芹斋，利用参加巴拿马博览会的契机，将一些虚斋藏画运送到了海外。
日军侵华后，庞莱臣尘心渐息，从此以书画自娱，不再操持实业。1937年8月，齐白石的“伯乐”陈师曾的父亲散原老人绝食而逝，齐白石在挽联末句中写道：“乍经离乱岂无愁。”庞、齐这两位同龄人虽一生没有交集，但他们历经世变，内心的愁苦是相同的。1937年11月，上海沦陷，沪上藏家遭此离乱，纷纷出售旧藏古物，庞莱臣也未能幸免。
近些年来，也有一些海外的虚斋旧藏通过拍卖回流国内，而且成交价逐年攀升。2010年北京保利5周年春季拍卖会上，从美国回流的虚斋旧藏王蒙《秋山萧寺图》以1.37亿元成交，创下当年古代书画拍卖纪录。由此可见虚斋旧藏在今日收藏家心目中的地位。
上海博物馆
新中国成立前夕，国内许多资本家和富商都迁居香港、台湾乃至海外，但庞氏后人拒绝了种种安排，基本都留在了内地，这就确保了虚斋藏品的主体部分留在了国内。新中国成立后，虚斋藏品不再具备向海外散佚的客观条件，而对于虚斋这样品位的收藏，无论是北京方面还是上海方面，都把其列为重点征集的对象。于是，一场南北争购虚斋藏品的“战役”上演了。
庞家的后人大多居于上海和苏州，上海有地利之便，1950年上海文管会便开始到庞家征集古画。当时上海文管会的人员中，除了主任徐森玉（南浔区菱湖镇人）与庞莱臣有交往外，其余只有谢稚柳曾由庞秉礼陪同在庞家看过董源的《夏山图》等名迹。于是征集庞莱臣遗藏的任务就落在了谢稚柳的身上。谢稚柳会同李亚农迅速行动，找到了当时庞家的当家人庞秉礼，先后三次到庞家看画，并连续征购了两批书画。
1951年1月13日收购的有：董其昌的《山水册》《西湖图卷》《依松图卷》，任仁发的《秋水凫棱图卷》，周臣的《长夏山林图卷》，倪瓒《溪山图轴》等。
1951年3月14日收购的有：钱选的《浮玉山居图》、仇英的《柳下眠禽图》、唐寅的《古槎鸲鹆图》、文徵明的《石湖清胜图》、柯九思的《双竹图》、倪瓒的《吴淞春水图》与《渔庄秋霁》、戴进的《仿燕文贵山水》、王冕的《墨梅图》等。
这两次购画主要是庞秉礼和庞增祥分得的部分，收购价格近7万元。
故宫博物院对虚斋藏画的征集工作开始于1953年。这一年，时任国家文物局局长的郑振铎给徐森玉接连写了两封言辞坚决的信件。第一封信说：
“庞氏画，我局在第二批单中，又挑选了 23 件，兹将目录附上：‘非要不可’单中，最主要者，且实际‘非要不可’者不过（一）沈周《落花诗图卷》，（二）文徵明《张灵鹤听琴田卷》，（三）仇英《梧竹草堂图轴》， （四）仇英《蓬莱佩弈图卷》，（五）仇英《江南水田卷》，（六）陆治《瑶岛接香图轴》等六件而已。因此间明清的画，至为缺少也……”
对于郑振铎这样“强行征集”，上海文管会觉得没有面子，有的委员甚至表示不满。这一消息传到北京，郑振铎又致信徐森玉说：“委员诸公大可不必‘小家气象’也，庞氏的画，上海方面究竟挑选多少，我们无甚成见。”因为这时有关方面正在酝酿成立上海图书馆和上海博物馆，所以郑振铎又在信中说：“像上海图书馆和博物馆的成立是必要的，且是全国性的，故必须大力帮助其发展也，将来拨分的东西会陆续不绝。”郑振铎的意思是现在庞氏藏画让北京收购，将来还是会拨给上海的。郑振铎和徐森玉虽然知交甚深，但郑振铎站在国家文物局的立场上，态度强硬，徐森玉不得不让步三分。
在国家文物局和郑振铎的强硬坚持下，故宫博物院也征集到了数量和质量相当可观的虚斋藏画，如赵孟的《秀石疏林图》、曹知白的《疏松幽岫》、柯九思的《清秘阁墨竹图轴》、姚绶的《秋江渔隐》、李士达的《三驼图》、董其昌的《赠稼轩山水图轴》、陈洪绶的《梅石蛱蝶图卷》、杨文聪的《仙人村坞》、王时敏的《为吴世睿绘山水册》、髡残的《层岩叠壑图》、龚贤的《清凉还翠图》、吴历的《拟吴镇夏山雨霁图》、文点的《为于藩作山水图轴》、石涛的《山水花卉册》等。
南京博物院
除了上海和北京外，南京博物院也征集到了苏州庞氏后人的部分藏品。
1956年，江苏方面通过贺明彤女士（庞莱臣遗孀）的表弟、时任江苏省文化局副局长的郑山尊（薄来）先生的关系与庞家接触。在得到正面回应后，南京博物院曾昭橘院长、姚迁副院长、徐V秋先生与庞莱臣之孙庞增和开始具体接洽捐献事宜。
据庞增和的女儿庞叔龄女士回忆：“记得当年省文化局长郑薄来来家做动员工作，讲的话很简单：‘新中国成立前夕，国民党拿走了南京博物院的国宝，尤其是大部分书画都被带去台湾了，现在院内已无好的藏品。我们很尊重庞莱臣先生的为人，现在国家有困难，你们庞家是否能鼎力相助？’曾祖母和父亲听后感到要以国家利益为重，庞家应义无反顾地走在前面，就这样没几天就决定了，没有向国家提出任何条件，没有拿一分钱的奖励。”
对于庞氏家族的捐献之举，江苏省政府和相关单位为庞增和先生颁发了奖状，《新华日报》也刊文予以表彰，充分肯定了庞增和先生的这一爱国行为。2003年，在南京博物院建院70周年之际，院方特意举办了庞增和捐献古代绘画特展，精心挑选出庞增和捐赠的50多件精品作品展出，并邀请庞家的后人参加，受到了广泛好评。
苏州博物馆
除了故宫博物院、上海博物馆和南京博物院，苏州博物馆也于1953年和1959年两次接受庞增和捐赠的文物39种，其中书画34件。这些书画作品以明清时期的为主，如唐寅《灌木丛游图》、王鉴《虞山十景》、王E《仿古山水图》等。
此外，还有一些博物馆通过其他途径也购藏了一些庞莱臣虚斋藏画，如中国国家博物馆藏有王E《仿卢鸿草堂图》，中国美术馆藏有陈容《云龙图》等。
乱世收藏，因乱而聚，也因乱而散。曾为海内私藏之冠的庞氏虚斋藏画，凡经著录者，如今大多藏于南京博物院、故宫博物院、上海博物馆、苏州博物馆以及美国弗利尔美术馆等海外文博艺术机构。
关于收藏，近代藏家丁福保曾说过这样的话：“与其收藏于一家，不如藏之于团体，因团体较一家为永久也。”庞氏的虚斋藏品，私收而公藏，还珠于民。庞氏家人的义举，为久经离乱的虚斋收藏找到了最好的归宿。
墨竹图
纸本墨笔
103×33cm
（元）吴镇
北京故宫博物院藏
渔父图 纸本墨笔 32.5×562.2cm （元）吴镇 美国弗利尔美术馆藏
青卞隐居图
纸本墨笔
（元）王蒙
上海博物馆藏
此画作于至正二十六年（1366），是王蒙的代表作。画面描绘卞山高峻巍峨的气势，渲染出山深林密的幽寂气氛。
雁岩八景图 册 （明）杨文骢
此册共八开，描绘的是浙江雁荡山的琼台双阙、弘济观音阁、石门潭、灵岩寺、大龙湫、天台石梁、谢公岭、塔头寺八处名胜，幽奇险峭，形态万变;用枯笔皴擦，淡墨渲染，表现了苍润险峻的风貌。