应该部分退还当初办理公积金贷款的保证金。具体的计算办法大体是：应退保证金数=原保证金*贷款剩余月数（提前还清贷款次月到按合同还清当月的月份数）/总贷款月数，有些地方还要再打个9折。可以向公积金管理中心咨询。