我与公司签订了一份试用期合同,期限是3个月,试用期间公司派我去培训,双方签订了一份培训协议,协议规定必须为其服务满一年,否则要我退回全部培训费用及费用50%的违约金,现试用期未满,我发现公司很多地方不适合了,现已提出离职,公司也同意了,但要我赔偿协议规定的费用,请问我只能赔偿吗?