徐家是昆山望族，宅第建得富丽堂皇。徐氏家族发迹于明初的徐良，最先取得功名的是徐申，随后在明清两代共考取了14名进士、36名举人。由于多人谋得高官，因此就有在家乡兴建豪宅的可能，并以官衔命名，威震一方。太史第、尚书第和大学士第说的就是昆山城里如雷贯耳的徐家豪宅，徐氏族人在宅第中做出了大作为。
太史第中杀青《牡丹亭》
徐应聘的父亲曾做过翰林院检讨，所以昆山片玉坊（今南街）建起的徐家宅第就称为“太史第”。徐应聘是昆山徐氏的七世孙。他考取进士后，官至太仆寺少卿。到他一代时，徐宅太史第中新建了拂石轩，景色更加迷人。
拂石轩中有一块大型园林石。当微风吹拂时，只要倾心观石，就有心旷神怡的美感，所以才有“拂石轩”的命名。其旁建有一座凉亭，由于亭边簇拥着争奇斗艳的牡丹花，因此就将该亭命名为“牡丹亭”。
昆山人徐应聘和临川人汤显祖为同科进士，在京城的共同相处中，汤显祖十分向往昆曲故土，趁候官间隙，就跟随徐应聘到了魂牵梦绕的昆山，好客的徐应聘把汤显祖安顿在自家的太史第中居住。
汤显祖当时已作《紫钗记》《还魂记》《南柯记》《邯郸记》，其中，《还魂记》还未最后杀青，汤显祖就在拂石轩中认真修改、争取定稿。
当汤显祖看到拂石轩旁秀美的牡丹亭后突发奇想，就将有些粗俗并带有迷信色彩的《还魂记》改名为《牡丹亭》。那些日子汤显祖与牡丹亭日夜相伴，触景生情，设计了杜丽娘病逝后葬于牡丹亭旁梅树下的情节，还写出了“牡丹虽好，他春归怎占的先”的著名唱句。
为此，当地县志中曾有这样的记载：“太史第，太仆少卿徐应聘所居。在片玉坊，内有拂石轩。注：应聘与汤显祖同万历癸未科，显祖客拂石轩作《牡丹亭》传奇。”这段文字中披露了片玉坊内建有拂石轩的史实，并在“注”后的短短24个字中，把昆〈奇《牡丹亭》的创作地点（太史第拂石轩）和汤显祖在昆山的原因（应聘与汤显祖同为万历癸未科进士）交代得一清二楚。
遗憾的是，太史第毁于清初兵火，至今没有复建。
尚书第中落成传是楼
清康熙年间，今西塘街原昆山中学的位置就是风景如画的尚书第，主人为清初大学者顾炎武的外甥、昆山“徐氏三鼎甲”的老大徐乾学，他在康熙九年（1670年）考中探花，官至刑部尚书，致仕还乡后建造豪宅，称为“尚书第”。
尚书第占地三十余亩，内有五步一楼十步一阁的建筑，古树名花应有尽有。东西两侧分别建有气势恢宏的石雕大牌楼，宅第后园还有一个景色旖旎的澹园，内有藏书万卷的传是楼，人称吴地第一。
徐乾学爱书如命，凭借他见识深广、人脉丰富、家境殷实的优势，广揽古籍珍本，按经、史、子、集分类珍藏。传是楼中贴有对联：教子有遗经，诗书易春秋礼记；传家无别业，解会状榜眼探花。短短24个字，将藏书之丰厚，建楼之初衷，表述得一清二楚。
经过楼主徐乾学多年的苦心经营，周围文人雅士都来传是楼一饱眼福，流连忘返。清初散文家汪琬莅临传是楼后，不禁感慨万千，留下了经典美文《传是楼记》，记述了徐乾学与众不同的家训和独领风骚的遗产――当传是楼落成后，徐乾学把五个儿子召至楼中，语重心长地对他们说：“吾徐先世，故以清白起家，吾耳目濡染久矣。盖尝慨夫为人之父祖者，每欲传其土田货财，而子孙未必能世富也；欲传其金玉珍玩、鼎彝尊兄物，而又未必能世宝也；欲传其园池台榭、舞歌舆马之具，而又未必能世享其娱乐也。吾方以此为鉴。然则吾何以传女曹哉？”然后指书而欣然笑日：“所传者惟是矣！”遂名其楼为“传是”。
传是楼除了吸引各地慕名而来的学者外，首先得益的当然是徐乾学自己。徐乾学还乡后，经常手不释卷地博览群书，成为少有的藏书者兼撰书者，一生成果卓著，著作等身。当时著名学者黄宗羲对他有很高评价，他认为能藏、能读、能写者，世所罕见，而徐乾学即是少有的能藏、能读、能写者。
其次得益的是他的五个儿子，他们先后登科成功，考中进士，都出人头地，光宗耀祖，成为科举史上少有的“五子登科”的范例。
雍正年间，尚书第不幸发生了一场火灾，传是楼不幸被烧毁。20世纪40年代，当地百姓在尚书第遗址上建起了祭祀顾炎武、归有光、朱柏庐的三贤堂，50年代初昆山的最高学府――“省昆中学”搬迁过去，改建为柏庐高级中学。
大学士第中发布指挥令
东塘街中段曾有一座古色古香的来复堂，门前有旗杆石、大牌楼，这就是“徐氏三鼎甲”祖上的老宅。徐氏三兄弟徐乾学、徐秉义、徐元文都在来复堂里长大，来复堂最后归文华殿大学士徐元文所有，因此就将宅第称为“大学士第”。内中除了有来复堂，还有省庆堂、含经堂等建筑。现传世的徐元文的《含经堂集》就写于此，以堂名来命名书名。来复堂后来经历了多次整修，房主也不断易人。其中，就有清末著名文人龚自珍买下部分徐宅的旧房，改建成私宅羽O山馆，并在那里写出了举世闻名的《己亥杂诗》。
抗战爆发时，来复堂里来过一位要人，他就是蒋介石。那年，发生在上海的“八一三”淞沪战争正处在十万火急之中，前方频频告急，蒋介石盼能力挽狂澜，转危为安，但是，前线已是血肉横飞的险境，如亲临现场将危机四伏，随行人员临时决定先在沪郊的昆山逗留，然后再见机行事。
1937年8月14日清早，蒋介石的座驾驶出南京，汽车进入昆山城后，经中山路的秀峰桥右拐，直接进入东塘街，昆山政界将蒋介石一行引入一座戒备森严的老宅中，这就是徐家祖居大学士第，只见庭院深深，布置典雅。
随后，他们就在大学士第内召开战事分析会议，作出了“先退守，再反攻”的决策。
时间已近黄昏，由于城内面临战乱，饭店都已关门，难有佳肴待客，只能用家宴将就了。为了能让贵客放心用餐，当地政府请出了昆山籍总参谋部徐祖诒中将的亲戚前来烹饪。当蒋介石得知是自己爱将的家人前来烹饪时，就放心用餐。
正当蒋介石一行享受美味时，日军飞机又来作乱了，地方军警吓出了一身冷汗。为安全起见，只得连夜撤出大学士第，开赴苏州住宿，就此结束了蒋介石匆匆来又匆匆去的昆山之行。
改革开放后，扩建东塘街时，大学士第被彻底拆除。
