2007年我以朋友名义全额购买朋友单位集资房,双方没有签订书面协议,只是口头协商,2009年我装修完成后入住该房至今!现在他提出以2007年房价买回该住房,我们双方协商未果,他将房子交回单位,现在单位出面以我不是该单位职工无权购买该住房为由要求我必须限期退房,我该如何处理?谢谢。