公元645年秋，唐王李世民率军东征高丽，在回朝途中经过滦河，李世民的宝马尘骑乘船时因渡船摇摆而惊跑，李世民是一个马上皇帝，常年征战与这匹宝马结下了深厚的情缘，遂因失宝马而郁闷染病，所以只能就此安营扎寨疗病。当时随唐王动症的兵部尚书，大将军李绩为保卫李世民的安全在此地设立军帐驻扎，因此叫做将军山。

公元1568年，明隆庆元年，戚继光被封为都督同知，总理昌平、蓟州、保定三镇军务，领军镇守北部边关，为首位北部滦河的航运安全，也曾驻守此山。 抗日战争时期，中国国民革命军第二十九军军长宋哲元也曾在此山率领所部抗击沿滦河入侵的日寇。