西溪古代的文人雅士有很多，他们也在这里留下了不少的文化遗产，而西溪水阁就是用来文人藏书、读书、会友所用。现在西溪总有“兰溪书屋”、“拥书阁”两个藏书楼，里面充满着浓厚的文化气息。旁边的西溪水阁街是一个繁华的水乡集市，这里河道狭小，两岸房屋林立，终日不见阳光，也是独特的景观。