伪满洲国军事部的前身是设在沈阳的军政部筹备处，1932年4月移至长春。它积极配合日本侵略势力，强行征兵，1943年4月，由于日本帝国主义侵略战争每况愈下，改为军事部，管辖国防、兵事、军政，将警务司改为警察总局直属伪国务院领导。

伪军事部大楼建成后，便成为武力镇压抗日民众的中心，指挥东北各地军、警、宪、特镇压人民，残酷围剿抗日力量。

该建筑于1970年整体接建一层，并把顶部改为歇山式屋顶，屋顶及檐口的琉璃瓦都改成绿色，加上后加的尺度巨大的装饰浮雕图案，因此也更加剧了该建筑存在的既有矛盾。

砖木结构，高低错落,人口雨棚形式独特，三面都有圆拱形的洞门，并贴粗糙的石板镶边，顶部作两坡顶。屋顶为深褐色琉璃瓦，做出挑檐口进行自由排水。其他外墙饰面为水泥砂浆抹面拉毛，连三座烟囱也作为建筑构图的手段。