高山阵屋原是作为高山城主金森家的近郊宅邸之一，1692年作为德川幕府直辖领地，到明治维新之前，高山阵屋一直都是江户差遣的代官或郡代履行飞騨国政务的政府机构的办公所。高山阵屋的房顶全部运用了木板，宅邸内十分厚重的大门，风格古朴简洁。这里还有依据1830年图纸恢复的郡代住所、以及从高山城三之丸移建的米仓等，都颇值得一看。