其名字来历与明末刑部尚书李觉斯隐居于此有关。李觉斯出生在一个中国传统的儒式家庭，他的名字也是他父亲从《孟子》中“予将以斯道觉斯民也”中摘下来的。李觉斯为官数十载，一心为国，刚正不阿，晚年由于疏救正直的大臣黄道周而被削官，放逐回乡隐居。晚翠居李觉斯隐居于晚翠居，“晚翠”二字一是比喻日暮时山庄中苍翠的美丽景色，二是指经过冬天不凋的树木，象征人们坚持节义不屈不挠的品格和意志。如今，李觉斯故居已按原貌修复，并辟为“晚翠居”，晚翠居内陈列数量可观的李觉斯所用之物、所著之书，游客睹物思人，缅怀这位古代贤臣。