我家的一块私人地皮卖给别人建房签订了合同收了3万定金·签订合同将近两年没有实行 房子也没有盖起来·现在由于形势所逼地皮有可能划入征收地区·买家不能建房 要求我们把定金退回·我们如果不把定金退回给他 ·他起诉的话我们会输官司吗··有什么后果。