客户退保公司扣回佣金是合理的。根据保险行业的规定，保险公司在客户退保时需要退还部分佣金。这是因为保险公司在客户购买保险时已经向销售人员支付了佣金，如果客户在犹豫期后退保，保险公司需要从已交保费中扣除佣金成本和其他费用，以弥补销售人员的佣金和保险公司的成本。

此外，保险公司也需要考虑到销售人员在推销保险时所付出的劳动和时间，以及销售人员在为客户提供售后服务时所产生的成本。因此，在客户退保时扣除佣金也是为了确保销售人员的权益得到保护。

当然，在某些情况下，客户可能会对退保时被扣除的佣金感到不满，这时客户可以与保险公司协商解决。如果客户认为保险公司扣除的佣金不合理，可以通过向相关部门投诉或寻求法律援助等方式来维护自己的权益。