白衣庵依山而建，建于宋朝时期，距今将近900年的历史，由于庵堂里面一直供奉一座白色观音泥塑像而取名“白衣庵”。登数十级青石曲径，进入庵门，可以看到庵洞如穹窿，深约7米，宽约11米，高4米，洞顶有石乳石窝微微凸显。岩室宽大如厅，可容百人，堂上供佛像10多尊。这里，历来都有一些身世凄凉或逃祸避难的妇女来此削发为尼，修行苦度。
1992年，白衣庵前增建一座三世佛室，室门书有对联：“湖水漾清波，禅寺钟声敲镜月；岩云封古洞，狮峰林影弄烟霞”。
这幅对联诗意颇浓，道出了庵洞周围的优美景色。是游人寻幽静思的好地方。
