清风楼原坐落于府衙前，为府衙的组成部分。清风楼始建年代不详，据《顺德府志》记载，清风楼“建自唐、宋”，后因战乱等故被毁坏。明朝宪宗成化三年（公元1467年），邢台知府黎光亨不惜巨资重新修建。重建后的清风楼具有典型的明代建筑风格，为重檐歇山式结构，楼高7丈余，下面砖石筑台，上面斗拱飞檐，气宇轩昂，庄严雄伟。

清风楼共分三层。一层为砖石筑台，中间有拱形圈门，门内既可通车，又能行人，还是夏日消暑纳凉的好地方。二层四周用青砖围成花栏，中间为正厅，前后两门对开。厅内西南角的墙壁上镶嵌有春夏秋冬四季诗画石刻一组，相传为唐代大诗人王维所作，具有一定的历史和艺术价值。可惜春景逸失，现只存夏、秋、冬三块。另有清风楼题记石刻十块存于室内。三层为木质结构，四面开门，顶檐下有一巨匾，上书“清风楼”三个大字，苍劲秀雅，细镌精剔，原为明代一宰相所书。如果登临其上，站在最高层，凭栏远眺，市肆鳞次栉比，太行远山青黛，邢州全景尽收眼底，故有“郡楼远眺”之称，为旧时“邢台八景”之一。

黎光亨修建此楼，旨在登临消遣，“政暇集客登其上，四牖洞辟，徘徊远眺”，或舞文弄墨，吟诗作赋。但他的政治目的很明确，“寓教于乐”，不忘忠君报国，他极力标榜：“皇风清穆，来自帝侧，我先宣之，播于八极”，“保我皇图，巩为磐石”。“清风楼” 一名即因此而得。如今屹立在市中心的清风楼，成为市区的一大文物景观，供游人浏览欣赏。