纪念馆原为泰州西山白云寺。寺始建于南宋，明朝重建，清朝扩建。抗日战争时期，国民党鲁苏皖边区游击副总指挥部设于此寺。1939～1940年，共产党代表人在此协商团结抗日大计，成功争取了中间势力信守中立，使新四军顺利东进。