徐州自古为华夏“九州之一”，是历史文化名城，有6000余年的文明史和2500余年的城建史。但是由于朝代的更迭、战争的摧残、洪水的侵袭和地震的发生，徐州城拆、迁、建次数频繁。现在，在徐州城区的地面上，已经很难再见到几处遗存的古代建筑了。这就是说，从建筑体貌而言，徐州城已失去了自己的记忆。失去记忆的城市让人多么遗憾。为了找回这种记忆，2000年4月1日，徐州市政府专门召开办公会议，以纪要的形式通过了筹建徐州古建馆的决定。2004年5月18日正式开馆。