据说，鸽子楼最早的主人是一位爱鸽子的文人，他在这座楼中养鸽子，为了给鸽子营造一个安逸的居住环境，他特别设计了一些楼檐、凉厅等周围设施，以供鸽子居住和活动。

后来，这座楼被周围的居民们称为“鸽子楼”，并且逐渐成为一个文人雅士的聚集地，因此得名。时至今日，虽然鸽子楼的主人已经换了几代，但是鸽子的活动区域和繁殖区域还是一直保留了下来，这座楼也成为了一个文化历史的见证，极具观赏价值。