富义仓建于光绪六年（1880年），取名“以仁致富、和则义达”之意。当年杭州所用的米粮皆从运河漕运而来，储于富义仓，与北京的南新仓并称为“天下粮仓”。

粮仓共有13幢建筑，大门1号楼正对运河河埠头，门口用红色油漆书写“社会主义大寨”几个大字，这个门框是清末时建的，至今已有百年历史，字是上世纪60年代写的，全都原汁原味保留下来。

门框前有个雨棚，以前粮食从河埠头运来后，运粮的工人可以趁管事者称量入库的时间，在这里喝茶歇脚。

1号楼用砖铺地，以前可能是碓房，2号至10号楼都是储谷用的仓储式长房，地面用木板做了隔层，可以防潮，因为隔高了，所以要踩着木台阶上下。其中2号楼长31.215米，宽11.4米，中间打通，是富义仓中面积最大的储谷室，门口一溜排了七副木台阶。

12号楼已经烧毁，现在是块空地，空地上可以看到排列整齐的碗状石头，像棋盘上的棋子。这些石头就是原来的柱墩，有多少块石头，以前就有多少根柱子。