食肉処理場だったという土地に関する重要事項説明と契約解除についてご相談です。

Q.ご相談内容

不動産購入の売買契約後に購入をキャンセルできるか、その際、払った手付金は取り返せるかという相談です。
つい最近、とある物件を気に入り、申し込みをして手付金を300万円振り込みました。
１週間後に、本契約ということで、重要事項説明を受けましたが、その際に、購入の前の説明にはなかった言葉を聞きました。

具体的に言うと、物件を案内してもらった時は、その物件が建つ前の土地は食肉処理場だったという簡単な説明で終わりましたが、重要事項説明書には屠殺場と書かれていました。

まさかそのような場所だったとはイメージがつきませんでした。（肉をミンチにしたり、ソーセージやハムにする加工場という認識でいました）
既に手付金も支払済で、その場で契約を待ってくれとも言い出せず、流れるまま契約をしてしまいました。

しかし、後になってやはり購入を取りやめたいと考えております。
そもそも、手付金を払うタイミングも早すぎますし（重説前）、不動産業者の説明不足も多少引っかかります。
自分の認識の齟齬という理由だけで手付金を取り返せるものなのでしょうか？