建筑业的农民工多数为短期工，他们的残保金从哪里算起，主要取决于他们的工作时间和工资水平。

根据国家规定，建筑业的农民工每月应缴纳工资总额的1%作为残保金，单位也应当缴纳相应比例的费用。

例如，如果一个农民工每月的工资为2000元，那么他的残保金应当为20元。而如果他的工作时间不满一个月，那么他的残保金应按照相应比例计算。总之，残保金的计算主要以工资为基础，但也会根据工作时间和单位规定进行调整。