北窑清真寺始建于民国初期，由马鹏飞捐地，回民集资兴建，西临瀍河，北靠启明西路。1915年建大殿5间，为砖木结构，歇山式瓦房；1916年扩建，盖卷棚、讲堂、水房、南屋、大门、走马门楼、八字形照壁等。

1958年宗教改革，该寺是北窑、车站地区四座清真寺唯一保留的一座。文革时期先后被数家工厂占用，除大殿卷棚外，房屋均遭拆除。1989年重建。新建礼拜大殿为阿拉伯式双层建筑，上层为礼拜正殿，下层为男、女沐浴室、会客室、小礼拜殿。