我是二房东,把房子整套从房主那租下来后,单间出租,承租方交了300元的预定金,我写了收条,如下:“今收到xx交来房屋预定金300元整,约定17日前搬进来,逾期不退”,但是没有签房屋租赁合同,我也没有给承租方房屋钥匙,承租方也没有搬进来并且没有交租金,因与承租方意见不合,要退给承租方预定金,承租方说我是违约,要付双倍,这算违约吗?急需帮助。