定金是以设立合同为前提而设置的一个履行合同的保证金，对方按合同向你方支付定金，说明对方是在依约履行合同。

定金一般是在合同履行完毕以后才可以退，如果合同没有履行完毕，是不可以退给对方的，从你提问的内容里说，你想退回定金，这说明是你不想履行合同，如果你不想履行合同，这说明你是违约在先，你必须双倍返还。对方不接受退回去的定金不算违约。