戒珠寺据说原来是王羲之的故居，也叫做“戒珠讲寺”。寺院里面并不大，因为与王羲之有关的一段传说而出名。

相传王羲之有两大爱好，一是喜欢白鹅，第二是喜欢珠子。为了让十指灵活有力，增加书写的气势，他随身佩带一颗明珠，不时握在手掌中，来回摩挲。

一天，王羲之手搓明珠站在池畔观赏白鹅戏水，忽然一位僧人前来造访，王羲之随手将明珠放在桌上，与这位僧友聊天。其间，又有人来见王羲之，于是他请僧人稍候，出去会另一位客人。谁知，等他回来后桌上的珠子却不见了，王羲之就怀疑是这位僧人所为，虽然不便明说，脸上却流露出鄙夷之色。僧人无端遭此不白之冤，却有口难辩，没多久就以“坐化”为名，不吃东西饿死了。

没想到，王羲之家中的一只大白鹅也突然病怏怏的不吃不喝，没几天就死了。家人感到奇怪，剖开鹅的肚肠，竟发现了那颗明珠。原来那天大白鹅误把明珠当饲料吞进肚里了。

王羲之深感自己错怪了那位僧友，想到自己竟然为了一颗珠子，伤害了自己最真挚的朋友，非常难过，于是戒掉了玩珠子的癖好，把整座住宅捐给了佛门建寺庙，用来悼念僧人也告诫自己。

戒珠寺有一个特别之处，大部分寺庙，都在入口附近供奉着韦陀像，但戒珠寺供奉的却是王羲之像。