MS-IMEの削除といっても2とおりあります。
1.コントロールパネル→地域と言語〜の一覧にてMS-IME関係を削除
・これだけであればWindows内部にMS-IME関係は残っています。
問題が出たときは地域と言語〜の一覧にMS-IME関係を追加すればよいのです。
2.WindowsからMS-IMEを本当にアンインストール(関連するファイルもレジストリも削除)
またはWindowsのインストール時にMS-IMEを含めないようにする
・可能らしいですが、こちらはおすすめしません。
より詳しい情報は各自でお調べください。
何を削除するか、しないか、その判断は各自の自己責任にてお願いします。