该园艺清光绪年间任过湖北汉黄道台、江汉关监督（有资料还说他曾任清政府驻法国公使）何芷（舟刀）所造，俗称“何园”。因主人附庸风雅，从陶渊明“倚南窗以寄傲”、“登东皋以舒啸”取意，为“寄啸山庄”。
园分三部分，南部为住宅部分，前后三进，第一进为楠木大厅，
二、三进为二层楼房，每进皆为七开间。楠木厅为主人会客之用，此厅极富层次，顶部为单檐歇山，中间三间略高，两旁两间略低，形成中高边低的两个层次。而从下部看，中间三间向前伸出两米，旁边两间自然置于后部，立面上又形成中前边后的两个层次。厅内厅外装饰极其富丽，外檐柱之间镶嵌大型木雕月牙门九个，雕刻冰纹如意图案，雀替是牡丹花的花篮，屋内窗隔全部使用梅花，冰纹镶嵌而成。
除楠木厅外，后面两进皆为双层楼房，屋宇宽敞，规模宏大，每进之间皆列小院，小院中略置花台，配以树木，以少量山石花草点景，显得幽静又富有生气。总之南部建筑总体布局严整，基本是多进四合院式建筑，是研究清代扬州大型民宅的活标本。
园的北部即为花园，分东西两部分。一入东部，即感到构园者身手不凡，构园强调有山有水，园以山奇，山因水活，可此处一无山二无水，但是当你进园时，先见辅景，南面是一畦牡丹芍药圃，北面湖石贴壁山林，那山林皆为太湖石堆就，紧贴着墙壁，又高过墙头，山林延北壁逶迤西去，折向东壁，再西折向北，直通回廊复道，共有60余米，好似一石头的屏嶂，不仅将墙外诸多低矮民宅遮掩，而贴壁山林本身时起时伏，在东北接踵处的峰巅，有一山亭点缀其间，假山的窦穴、曲洞、石室、山房皆能上下沟通，给人以山外有山，楼外有楼的深远意境。此园中多处使用此种包镶之法，不仅用材节省，而且廓大了空间，使虚实结合，景有尽而意无穷，实为构园者处理特定地形的生花妙笔。
水的安排更为奇巧，何园为旱园，旱园水做常法都是挖一水塘，点缀些山石，沾点水气而已。而何园构园者从一开始就另辟蹊径，在进园处贴壁山林前，是一湾曲水，池旁湖石或如峭壁凌空，或如矶石俯瞰，池内碧水中游鱼怡然，山上葛藤倒悬，更有山色楼台倩影映水，你会不自觉地叹道：“活了！”更有趣者，前园的牡丹厅房安排船厅，看着这船形的厅堂，人们仿佛已到湖边，再看厅下，以鹅卵石和小瓦铺成的水的波浪纹，起伏有致，似见波光粼粼，似听裂岸涛声，此时你抬头看那楹联，“月作主人梅作客，花为四壁船为家”，大概你顿时会忘却这是一个旱园，而会疑为在湖滨漫步，舫内荡桨。定会惊叹构园者能在东园的山水楼阁中，居然使之无水而有水意，无山都有山情。
如果说东园是何园的序幕，当你到西园时才看到何园的主体，楼台的豪华，层次的深密，复道廊的逶迤曲折，山石的深遽空灵，在园林中确是独树一帜。西园楼台极富层次，低层有池中的水亭；中层有蝴蝶厅、桂花厅、望月楼；高层还有山石凌空。主体建筑蝴蝶厅是上下两层的七楹楼房，中间三间稍突，两侧两间稍敛，崇楼杰阁的歇山顶四角昂翘，如蝴蝶振翅起舞。一个个厅堂都装扮得极为富丽，可贵的是这些楼台虽为单体，但以立体复道廊周接。部分游廊为复廊（一条廊中间用墙分隔为二），把园巧妙地分成东西两部。构园者知道，此园外景虽不可借，但园内景可以互借，因此在廊的上部开漏窗，有的用水磨花窗作为分隔，有的直接开成空心窗洞，有折窗形、花瓶形、梅朵形、海棠形，廊壁间还镶嵌颜真卿《三表法帖》，王羲之《十七贴》等诗条石，使串廊本身就极富美感。更值得称道的以花窗为分隔，既可引进外景，又可泄出内景，自然加深了园林的层次，增加了园林内部环境气氛的曲折变化，在各景之间相互呼应，相互因借中创造出更美的景色画面和游览情趣来，这是“妙在因借”的活用。 西园的山峰是全园的最高处，主峰以太湖石堆就，造园者在湖池旁采用点石之法，绕湖池一周，高低错落，曲折有致地以湖石围岸，在水亭旁又以湖石构成的曲桥以通亭阁，而在西南角则堆石成峰，有险壁、有悬崖、有奇峰、有幽岩，或如一人，或似一物，或象群猴戏闹，或如雄鹰高踞。底部还有梅花三洞，互相串连、碧水贯穿其中，远远望去，显得幽深清冷。此处构山极为适宜，因此处是园的边缘，仅一墙之隔即为园外，而游赏者看着高耸的山石，定会产生“正人万山圈子里，一山过后一山拦”之感。这就增加了景深，开拓了意境。且山极空灵，上有盘山曲道，下有空谷勾连，既可沿山道仔细玩味山石奇趣，又可登山顶俯视全园美景，还可在山谷中纳凉品茗，叙谈话旧。
