税務調査に入られたことある人、体験談を教えて

開業4年目の個人事業者ですが、一昨日税務調査に入られました。
年間7000万程度の売上で500万程度の所得申告をしており、初年度より3000万以上の売上は申告してあります。
零細個人に2人もやってきて、過去3年分の売上・仕入の資料を持ち帰って行きました。
パソコンでの記帳で基本的には間違いはないと思うのですがチョット心配です。

調査対象になった理由をただすと、昨年分の消費税が未納の為調査対象になった
との事でした、過去の青色申告時に課税業者と判るはずなのにに消費税申告の用紙
が送付されず課税事業者届書が本年なって届いた為、今年からの課税と勘違い
したため未納となっています。税理士さんに頼む余裕がないため消費税の申告
期日・申告方法が判らなかったのです、ただ昨年末に消費税分40万は未払い計上し
てあるので申告して納入する予定です。
本年提出青色申告書を確認もせず税務署内のミスを一方的に納税者の責任にするのは
許せません。税務調査の結果は先になりますが延滞税其の他発生するのであれば
税務署の管理収税システムを追及して断固戦う覚悟です。
税務署を相手に逆らうのはどう思われます？