烟雨楼是嘉兴南湖湖心岛上的主要建筑，现已成为岛上整个园林的泛称。此楼自南而北，前为门殿3间，后有楼两层，面阔5间，进深2间，回廊环抱。二层中间悬乾隆御书“烟雨楼”匾额。楼东为青杨书屋，西为对山斋，均3间。东北为八角轩一座，东南为四角方亭一座。西南垒石为山，山下洞穴迂回，可沿石蹬盘旋而上，山顶有六角敞亭，名翼亭。

此楼是澄湖视高点，凭栏远瞻，万树园、热河 泉、永佑寺诸处历历在目。每当夏秋之季，烟雨弥漫，不啻山水画卷。