原名宝晋斋，为北宋著名书画家米芾知无为军时所建。米公祠历经兵火，曾于明、清两次重修。

祠内书藏晋唐以来历代名家碑刻150多方，于60年代被嵌于馆内走廊上，既珍藏了文化遗产，又丰富了游览和观赏米公祠的景致。祠内墨池、投砚亭、拜石等著名景观，诉说着一页页米芾刻苦习书、恃才傲物的传奇典故，意味隽永绵长。