违约金是按照你们约定的数额来确定的，不是根据实际损失来确定的，法院的说法是错误的，你有权据理力争，要求支付10万元的违约金，法律依据是《合同法》第一百零七条规定：当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。
第一百一十四条规定：当事人可以约定一方违约时应当根据违约情况向对方支付一定数 额的违约金，也可以约定因违约产生的损失赔偿额的计算方法。
第一百一十四条规定：当事人可以约定一方违约时应当根据违约情况向对方支付一定数 额的违约金，也可以约定因违约产生的损失赔偿额的计算方法。
