既然是女方提出的离婚，男方有要求退还彩礼的权力，女方也有主动做出利益让步的必要，不然是很难达成一致协议离婚的。

现在离婚也不是说随便的事，男方完全可以拒绝协议离婚，要求女方要离婚就去法院起诉离婚。

通过法院的调解，男方如果能有证据证明彩礼来源于借债，多少还是会挽回点经济损失的。