蔡伦纪念馆位于耒阳市蔡侯祠内，原为东汉造纸发明家蔡伦故宅，后人就其宅基建祠，纪念蔡伦。《水经注》载：“（耒水）西北经蔡洲，洲西即蔡伦故宅，旁有蔡子池”。至元至元四年（1338年）耒阳知州陈宗义重修。后几经兴废，现存建筑为清代重修，古朴典雅，别具风格。其占地面积408平方米，座南朝北，砖木结构。分三进两院，游客们可以逐一参观前厅三间单坡小青瓦顶，两侧有走廓，中轴为甬道有屋盖与中厅相连；中、后厅三间悬山顶，亦有走道、甬道相连。