退订金是否需要把合同还回去取决于具体情况。如果合同中明确约定退订金不予退还，那么退订时无需归还合同。如果合同中没有明确约定，则通常情况下退订时需要归还合同。因为合同是双方权利义务关系的书面凭证，退订时归还合同是履行合同义务的表现。