桂林石屋位于灵谷寺景区内，原为国民政府主席林森的避暑别墅，由杨光煦设计、广州市政府捐款建造于1931年，因四周遍植桂花而得名。

建筑采用青龙山石砌筑，分正屋和地下室上下两层，七间正屋被隔作起居室、餐室和卧室等，地下室为厨房及仆人室，屋前设有170级石阶通往山下。抗日战争期间毁于战火，今仅存半壁框架。

近年有观点考证认为，在建造桂林石屋时利用了明故宫与明孝陵遗址上的部分石刻作为装饰，如石栏、石柱、角螭和碑额等。