◇確定申告　質問受付　その１◇

私は去年人材派遣で働いていたのですが源泉徴収が勤務していた派遣会社2社から来ています。
月20万円を超える収入でした。確定申告のサイトで記入して調べてみると課税5600円追加になってしまいました。
払うのが馬鹿らしいので確定申告するつもりが無いのですが大丈夫ですかね？
源泉徴収分が戻るのなら申告しようと思ったのに辞めました。どうか教えてください。