招宝山山顶上有一座宝陀禅寺，建筑总面积达360平方米，有一座钟楼和屋子27间，一进门就能看到富丽堂皇的圆通宝殿，气势逼人的罗汉堂和分天王殿。有一座特殊的观音像叫“不肯去观音”供奉于此，原是从观音山迁移过来，这有趣的名字后有个小故事。普陀山开山祖师是日本的慧谔禅师，他想将五台山的观音像偷渡会日本，计划失败后留在中国招宝山，并为菩萨建造了不肯去观音院。