『虚斋』是庞莱臣的号，也是其收藏书画所在的斋名，主要分置在南浔、苏州、上海三地居所。『虚斋』收藏的历代名画不仅数量达几千件，且至精至美。唐、宋、元代的名迹约占其收藏总数的1/3，大多藏画流传有序，为历代鉴藏大家的庋藏旧珍。另还收有宫廷散佚藏画，如宋代宣和、政和遗珍，清代三希堂旧藏以及诸多《石渠宝笈》著录之物。至于明清诸家，更是不一而足，名家名作应有尽有。他以毕生精力收藏和保护了我国古代绘画的大量艺术珍品，为我国传统文化的保护做出了不可磨灭的贡献。
藏品来源
虚斋藏品来源首先是上海等地收藏家散出的旧藏，其中早期的很大一部分来自狄平子。狄平子名葆贤，江苏溧阳人，是上海著名的报业人兼书法家，家富收藏，精于鉴别，著有《平等阁笔记》。狄平子曾参与戊戌变法，变法失败后流亡日本，1900年回到上海，与庞莱臣交往密切。狄平子所藏的书画，除了清代的“四王”、吴镇、恽寿平外，还收藏了一些唐、宋、元三代的名迹，如尉迟乙僧的《天王像》、王齐翰的《挑耳图》、王蒙的《青卞隐居图》《葛稚川移居图》、董源的《山水》、赵孟的《龙神礼佛图》《簪花仕女图》、柯九思的《竹谱》、黄公望的《秋山无尽图》等赫赫有名的杰作。狄平子晚年事业没落，靠卖旧藏度日，而此时庞莱臣正如日中天，便斥巨资将狄平子收藏的书画大量购进。
虚斋藏品的另一来源是民间故家的藏品。据《虚斋名画录》自序所言，每遇名迹，庞莱臣都不惜重金购求，将南北收藏家的藏品根据自己的鉴别、爱好，收归己有。如他所言的吴门汪氏、锡山秦氏、中州李氏、莱阳孙氏、川沙沈氏、利津李氏、归安吴氏、同里顾氏诸旧家的藏品，他几乎都有购藏。收藏范围也由宋、元、明、清而渐至五代、李唐，经历了由近及远的收藏过程，庋藏了一大批绘画名迹。在成书于1909年的《虚斋名画录》中，著录有他收藏的历代名画共538件（以家藏为限，不藏不录），入录历代名迹近600卷（幅），不能不让人赞叹其搜罗之富、用力之勤。
“比年各直省故家名族因遭丧乱，避地来沪，往往出其藏……以余粗知画理兼嗜收藏，就舍求售者踵相接。余遂择其真而且精者，稍稍罗致，然披沙拣金，不过十之一二。因思古人所作，殚精竭思，原冀流传后世，历久勿佚……特令余裒集之以广流传耶。”
此书共收画迹92件，宋、元名迹32件，如李嵩的《西湖图卷》、郭熙的《秋山行旅图》、赵佶的《鸲鹆图》、郑思肖的《兰花卷》、赵孟坚的《水仙卷》以及王渊、赵孟、黄公望、王蒙、吴镇、倪瓒、柯九思、方从义等人的作品30件。这批作品均见诸前人著录，为庞氏所收藏的赫赫名迹。
对于自己收藏的名画，庞莱臣也很满意：“余自问生平无得意事，无胜人处，唯名迹之获，经余见虽属云烟过眼，而嗜痂成癖，所得在是，所胜似亦在是。”
庞莱臣酷爱画作，对待书法则热情稍逊。近代著名词人、书法家朱孝臧在为其《续录》作序时也感叹：“君早编名书录，合成两美，毋俾临池家，独形觖望，不更美哉！”其实庞莱臣也收藏过沈周、文徵明、祝允明、金农、奚冈等人的大量书法名迹，只是未被著录在册。
掌眼团队
和吴湖帆、张大千以职业画家身份而兼收藏家不同，庞莱臣是以一个实业家的身份兼收藏家的。在当时的上海，有很多实业家都投入到收藏古代书画的活动中，成为上海收藏家中的主力。庞莱臣是他们中最为杰出的代表。
陆恢在《虚斋名画录》的题跋中说：“（庞莱臣）浸润涵濡久，遂具此正法眼藏。故书画之来，虽糅杂纷纭，真赝歧出，一见能决其是非。”可吴湖帆在《丑m日记》中说：“今与竹荪谈前年庞虚斋欲购王叔明《乐志图卷》，被顾西津阻罢。《乐志图卷》画甚板滞，非真迹也，但题者如王百b、程穆倩等皆真迹。虚斋但知题跋，不明画理，于此可见。”“访庞虚斋，获见南田绢本大册……又见石田《马嵬八景》大册，有姚云东题字，非真迹也。虚翁乐此数十年，于石田仍不能深刻，故旧作伪品往往欣受之。”
两种说法显然不同，那么庞莱臣的鉴定水准究竟如何呢？其实，虚斋收藏有此成就，并非庞莱臣一人之功。为了对数千件收藏书画进行甄选、整理和归类，庞莱臣先后聘请了陆恢、张砚孙、张唯庭、张大壮、吴琴木、邱林南、樊少云、樊伯炎等卓有成就的画家，组成以其为核心的团队。
这一团队的主要工作，一是为庞莱臣掌眼，提供鉴定意见，作为购买藏品与否的参考建议;二是帮助其整理和归类数量庞大的虚斋藏画，为其考据著录，辨识画面的文字与印章;三是提供对虚斋藏画进行修复、装裱的建议等综合性工作。因此，对庞莱臣鉴赏水准的评价，应该是对以他为核心的团队整体鉴赏水平的评价。从虚斋存世画作的品质来看，虚斋鉴赏水准绝对是一流的。
在陆恢等人的帮助下，庞莱臣为虚斋藏画编印过5种图书，刊录其藏画精品九百余幅，琳琅满目，让人叹为观止。庞莱臣有众多鉴赏印章，如“虚斋”、“虚斋鉴藏”、“虚斋珍赏”等，均由著名篆刻家赵叔孺、王大浴⒑、吴昌硕、汤临泽等所刻。而今，虚斋的收藏鉴章已成为识别书画真伪的标志之一。
交友雅事
庞莱臣的收藏眼光和他交往的朋友有关。由于家中富有书画收藏，朋友圈中又颇多画家，这些画家时常往来庞莱臣府展玩书画，以资借鉴，庞莱臣对此十分慷慨。当时他和多位上海书画家交往频密，郑孝胥、张大千、吴湖帆、谢稚柳等都是他的座上客。 中年之后，他虽以实业为主，但依然笔耕不辍，常与吴湖帆、于右任、张大千、吴昌硕等名家探讨，还与书画家陆恢、张大壮、吴琴木、樊少云等观摩品赏、相互切磋，兴致酣畅之时不时合作一幅书画―如和陆廉夫仿倪云林《山水》立轴，和张大壮作《南山松寿，瓜瓞绵绵》成扇，和吴琴木合作书画合璧的成扇等。
目前，有关庞莱臣当时究竟如何购藏及鉴赏文物，仍知之甚少。幸运的是，在吴湖帆遗留下来的《丑m日记》残稿及题跋资料中记述了不少与庞莱臣相关的内容，从中我们即可看到吴、庞之间交易、购藏书画的经过。
吴湖帆在当时的海上画坛享有“三吴一冯”的美誉，加之出身于江南望族，并精于考据、辞章、鉴藏之事，家中所藏宋、元、明、清书画多为巨制佳构，仰慕者无不视吴为画坛领袖。吴湖帆与庞莱臣如何相识失于记载，但肯定是因为书画鉴藏之事，两人才得以相识。《丑m日记》有多处文字提到吴湖帆访虚斋观摩书画的轶事。如民国二十二年（1933）正月十九日记：“访庞虚斋，观渔山古木竹石册，凡八帧，廉州仿古册十帧，为孝翁作，后有梅、烟客二题，笔甚懒，恐系当时代笔。又见程孟阳册八页，不甚佳。戴文进《春山图》、仇十州《竹梧高士》，俱精绝。文衡山、休承二幅，不真。访叶遐庵，观黄山谷书卷，有吴文定、李西涯两跋，隔水绫有王觉斯一跋，极佳，惜前半失去耳。”
庞莱臣与吴湖帆交往长达20多年，两人经常酬应书画，共同探讨鉴藏之事;而庞莱臣有时也会央求吴湖帆从其收藏中割让某些珍品，如元代郑思肖的《兰花图》。
郑思肖是南宋末年著名诗人和画家，南宋灭亡后，隐居在苏州承天寺，以画无根兰花暗喻亡国文士之痛而闻名画史。此幅《兰花图》（又名《国香图》）乃郑思肖两幅传世画作之一（另一卷《墨兰图》现藏日本大阪市立美术馆），画上有郑思肖自题四言诗一首：“一国之香，一国之殇。怀彼怀王，于楚有光。”元、明两代苏州著名文人约有20位，先后为此画题写诗文或钤盖鉴印。明人都穆的《寓意编》、韩奕的《韩山人集》等书中也记有此画。而后，此画又为奸臣严嵩、严世蕃占有，嘉靖四十四年（1565），严家被皇帝下令抄查，记载抄家所得古代书画珍品的目录《天水冰山录》中，即记有此卷。负责查抄的文嘉写的《钤山堂书画记》和明人汪石可玉《珊瑚网・画录》中的《严氏画品手卷目》也都有著录。后来此卷又神秘失踪，入清亦未见皇宫《石渠宝笈》等著录。至光绪戊申（1907），由樊增祥从北京琉璃厂购得，张之洞、端方诸人有题记。
1931年4月13日，当此画从前藏家樊增祥手中释出时，吴湖帆即不惜倾囊以数千金相购。吴先生题曰：“所南翁画兰，千古绝调。此卷有宋遗民、元明贤题字，凡二十余家。七百年来，珍重备至，洵人间巨迹也。旧藏樊山方伯处，今归余所，固应与宋椠《梅花喜神谱》同珍之。”
《梅花喜神谱》乃宋人宋伯仁编绘，吴先生视作至宝，因名其斋为“梅景书屋”;得此画后，他又自称“宋梅郑兰之室”。他特制一匣，上题“宋郑所南国香图真迹神品，吴湖帆秘笈”;在卷首又题签：“宋遗民郑所南国香图卷真迹神品，吴湖帆宝藏”，可见珍爱之至。
松泉图
（元）吴镇
南京博物院藏
落花诗意图卷 （明）沈周 南京博物院藏
庞家花园：宜园、九曲桥湖心亭
仙源积翠图
（清）王鉴
南京博物院藏
仿梅道人山水图
131.7×48cm
（清）蔡嘉
上海博物馆藏
花卉山水册之二 （清）汤贻汾 上海博物馆藏
来禽栀子图 29.2×78.3cm （元）钱选 美国弗利尔美术馆藏
东庄图
纸本设色 28.6×33cm （明）沈周 南京博物院藏
此图册虽无年款，但用笔圆润劲健，设色明丽清雅，采取由细变粗、由繁趋简的过渡画法，画中的一丘一壑、一水一池、一花一木、一屋一桥都透出浓郁的生活气息，为沈周创作中期的代表作。
《东庄图》每幅对页均有祝允明岳丈李应祯的篆书题图名，李应祯篆书可谓煊赫一时，后附董其昌的跋文，时人称为“三绝”。东庄乃沈周好友吴宽的宅邸，是当年吴门文人士大夫曲水流觞、吟诗品茗的雅集之所。东庄的设计是典型的园林化村庄。明成化十一年（1475），礼部侍郎李东阳在游览东庄后，曾在《姑苏志》卷三十二详细记载了此地的景象：“苏之地多水，葑门之内，吴翁之东庄在焉。菱嗷闫涠西溪带，其西两港旁达，皆可舟而至也。由橙桥而入，则为稻畦，折而南，为桑园，又西为果园，又南为菜园，又东为振衣台，又南西为折桂桥。由艇子浜而入，则东为麦丘，由荷花湾入，则为竹田，区分络贯，其广六十亩，而作堂其中，曰续古之堂，庵曰拙修之庵，轩曰耕息之轩。又作亭于南池，曰知乐之亭。亭成而庄之事始备，总名之曰东庄……岁拓时葺，谨其封浚，课其耕艺，而时作息焉。”从上述描述中，可见这是一座集农趣与园艺为一体的桃花源式的庄园，因此，能成为沈周笔下颇具魅力的绘画题材也在情理之中。
古木丛篁图
（元）倪瓒 南京博物院藏
画中平坡上有一巨石，枯树矗立在侧，两旁幽篁细竹相对。画家以淡墨写枯树，干挺枝疏，无刻意的交错与盘曲，转折主次，左揖右让，上缀若干扁圆点子，或疏或密，呈现岁寒荒率之意境。竹子纯以中锋湿笔点画，细枝阔叶，浓淡相间，挺劲洒脱，为空寂萧瑟的气氛增添了一分活跃。巨石用干笔侧峰飞白勾皴，浓墨点醒，层次向背分明，坡陀呈折带皴，疏而不简，颇具质感。一切皆以简笔舒朗，自有一种空阔高旷的境界。
春山积翠图
纸本墨笔 141×53.4cm
（明）戴进 上海博物馆藏
此图是戴进现存画迹中有年款可考的仅存几幅之一，是研究其画风演变的一件重要代表作。画面布局取南宋院体图式，用对角线截断式构图表现近、中、远三个景物层次，明快简洁。近景以浓郁的松冠为主体，松下一高士曳杖缓行，一书童抱琴跟随，一前一后行进在高岭小径上;中景山岩上以浓墨点出树林;远景用淡墨稍示山形，施以苔点。近、中、远三个景物层次自然推出，颇具气势。山石用小斧劈皴画出，笔法轻快疏放。