二祖庵位于少林寺常住院对面的钵盂峰顶。因庵与其北的初祖庵相对，故当地人称之为“南庵”。它是少林地区地势最高的一座古建筑。据旧志载，相传禅宗二祖慧可立雪断臂后到钵盂峰顶养伤修炼，后寺僧为纪念二祖慧可而建此庵。庵创建的年代大致和初祖庵同时，为北宋后期。

二祖庵坐北向南，它原是一座完整的四合院，前有山门，东西有配殿，北有正殿。山门内供韦驮，亦称韦驮殿；西配殿内供紧那罗，亦称紧那罗殿；东配殿内供菩萨，亦称菩萨殿。山门及东西配殿早已毁，仅存正殿。正殿名二祖殿，为硬山式建筑，面阔三间，前檐下有明柱两根。今存殿堂应为明嘉靖四十四年重修留下的殿堂。殿内供二祖慧可塑像。二祖庵在明嘉靖、万历、天启、崇祯及清康熙、道光时曾修。1988年，又重修二祖庵大殿，1990年又在原山门处建门庭式简易门一座，并重建了围墙。

在二祖庵殿东檐下有明代天顺六年（1462年）正月铸造的大铁钟一口，为二祖庵住持僧江耐化缘铸造。大钟周围铸有铭文，钟重一千斤，有八唇，刻八卦。此钟至今保存完好，钟声响亮。

近年庵周边恢复了围墙。庵内还保存明清古碑九通。二祖庵前有建于唐万岁登封元年（696年）的无名塔、元代泰定元年（1324年）的缘公庵主之塔以及明崇祯二年（1629年）的隐光璞公之塔等三座古塔。在二祖庵院内存有明嘉靖、万历、天启、崇祯及清康熙、道光石碑九通，都为记载重修二祖庵的碑刻。

二祖庵院内有古柏多株及古井四眼。四眼古井传说为二祖慧可卓锡而成，因名“卓锡井”或“卓锡泉”。据旧志载，四井水味各异，故当地群众称之为“苦、辣、酸、甜”四眼井，至今有700年的历史。庵南约500米处有一高突的山崖，晴天在台上举目可望伊河、洛河和黄河。