要追回短期保险的自动扣款，您可以采取以下步骤：

首先，联系保险公司，向他们说明情况，并提供相关证据。

然后，要求保险公司停止扣款，并要求他们退还已经扣款的金额。

如果保险公司不予合作，您可以向相关监管机构投诉，如保险监管部门或消费者保护机构。

此外，您还可以咨询法律专业人士，了解是否有法律途径来追回款项。记住保留所有相关文件和通信记录，以便在需要时提供证据。