如果职工在去世之前已经缴纳了一定年限的社保，他的遗属可以通过以下途径退回职工缴纳的社保：

1. 经办单位处理：遗属可以联系缴纳社保的职工所在的单位，向单位提供相关身份证明和死亡证明等材料，由单位代理处理社保退款事宜。

2. 到社保机构办理：遗属也可以自行前往当地社保机构办理社保退款手续。需要提供相关的遗属身份证明、司法部门公证的继承人人数和份额、职工的社保缴费证明等材料。

总之，如果职工在去世之前已经缴纳了一定年限的社保，他的遗属可以通过多种途径退回职工缴纳的社保。遗属在办理退款时，需要提供相关证明材料，并按照当地社保规定的程序和流程进行操作。