请问这是否合法
你好，我想问一下，我自己有一辆私家车，大众帕萨特的，闲置在家里。
经朋友介绍，以每月4000元的租金 达成协议。经朋友介绍，以每月4000元的租金 达成协议租约半年。
这算是非法租赁吗？本来约定好每月10日交付租金，但因为签署协议的时候是16日，所以签的是16号，但是达成协议是说在10日交付。
但是其实每次都会延迟十几天，所以不想再继续租给他。
但是协议好是在3月份到期，他说我违约了。但是协议好是在3月份到期，他说我违约了这算吗？现在找不到他人，也拿不回车。
而且他还威胁我说要我拿5万元付违约金。而且他还威胁我说要我拿5万元付违约金或者说要告我非法租赁，要我罚款，花钱。
请问：这算是非法租赁吗？请各位专业人事告知一下，谢谢。
有点急。