赵杲观位于代县新高乡洪寺村东北约3千米的天台山沟。相传春秋末期，赵襄子灭代，代君夫人自杀，其余姬妾由丞相赵杲引护外逃，隐居天台山，后人纪念其功德，建祠祀奉，称此为赵杲观。

据观内碑记载，赵杲观创建于北魏时期，明朝成化年间（1465年—1487年）、明朝万历年间（1573年—1620年）重修，清朝康熙年间（1662年—1722年）增修。观分南北两洞，占地面积2220平方米。现存北洞正殿为明代遗构，其余皆为清代建筑。南洞名“自在庵”，为天然石洞，外壁设木构窟檐；北洞依山势而建，共有三进院落，院落朝向各不相同。第三进院落坐北朝南，中轴线上建有韦驮殿和正殿，两侧为东西配殿、耳殿和朝圆洞。正殿石砌宽9米、深6.9米、高0.65米台基，面宽三间，进深四椽，单檐硬山顶，五檩前廊式构架，前檐明、次间施有四扇六抹格扇门。观外北洞北及东北半山腰依山筑有三座楼阁。观内现存明重修碑4通、清重修及功德碑碣14通（方）、民国时期重修功德碑5通、清旗杆1对。1996年公布为山西省文物保护单位。