繁峙鼓楼位于该县繁城镇东城街村鼓楼巷1号，坐北朝南，总高23.22米，占地面积约796.23平方米。城台高9.65米、南北长23.79米、东西宽25.24米。马道南北长22.39米、东西宽3米。城楼南北长9.66米、东西宽14.6米。钟鼓楼长宽都是3.13米。

据重修鼓楼碑和《道光、光绪繁峙县志》记载，该鼓楼始建于明代万历十四年（1586），清康熙二十七年（1688）维修，清乾隆二十三年（1758）增设钟楼、鼓楼，光绪二年（1878）重修，现存建筑为明、清建筑。城台呈方形，条石筑基，青砖铺面，内为夯土。台基中设拱券门洞，南北贯通。城楼内供奉文昌神，又称为文昌阁，面宽五间，进深四椽，七檩前后廊构架，二层三檐歇山顶，上层斗拱一斗二升交麻叶，下层明间设拱券门，次间圆形窗，四角施通天柱，内设楼梯，可登二层。

鼓楼现存金大定十年（1170）铁钟1口，清重修及布施碑6通。该鼓楼历史记载清晰，建筑造型精巧、别致，用材适度，结构科学合理，梁架结构巧妙，展现了古代工匠深厚的文化底蕴和高深的艺术造诣，是力学与美学的产物，为后人研究当地文化和古建筑提供了可靠的例证，整体具有较高的历史、科学、艺术和人文价值。2004年由山西省文物技术中心进行了保护修缮。1985年4月15日，公布为繁峙县第一批县级文物保护单位；2022年5月11日，公布为我市第三批市级文物保护单位。