古唐寺原名福先寺，始建于唐朝，原址在今洛阳瀍河区塔湾村西头“唐寺崖”处。明朝洛河泛滥，将寺冲毁。洪水过后，乡民将寺中留存的部分遗物北移数里，重建寺院。1922年，重修寺院后，军阀吴佩孚的参谋长张佐民为山门门额题“古唐寺”三字，保留至今。

寺内现存山门殿、观音殿、白衣殿、立佛殿，后大殿毁于十年动乱，另有碑石十余方。

相传，古唐寺原来在洛河边上，垂柳掩映，庙门前就是清波荡漾的洛河，风景十分宜人，吸引得游人如织，香火盛极。寺院门口，有座极高的佛塔，塔高得让人仰看时，脑瓜儿上挂不住帽子。每逢朝日初升，那塔长长的阴影能遮到现在的七里河；夕阳落山，塔影又拉到白马寺。因此，人们习惯上都把这福先寺称为“塔寺”。