1872年，日本在北京开设公使馆，最初是利用在东四六条胡同购买的民宅。当时各国公使馆都设在东交民巷，为便于工作，日本公使向政府申请了购房费和改建费，购买了东交民巷的一处民房进行改建扩建。

初期使馆位于东交民巷21号，由日本近代建筑师片山东熊设计，于1885年开工，1886年建成，是东交民巷地区现存最早的建筑物，也是这一地区在19世纪建造并保留下来的唯一建筑。

后期营房位于东交民巷23号，共有五幢两层楼房，建于日本侵略军占领北京时期，都是合居式住宅，应该是当时日本下级军官的住所。其中南北沿街的一幢面积较大，曾经为日本宪兵总队细菌研究所使用。

《辛丑条约》签订后，东交民巷使馆区重新划定。日本公使馆迁入位于正义路2号的新馆，即现在的北京市人民政府大院内。政府机关不对外开放，感兴趣的话可以去看一看外观。