自己レスですが、高音ノイズが取れました。
かなり色々試してみたんですが、結論として
どうやらVA1000Plusのライン出力信号かCMI8738のライン入力とAD変換回路の
相性問題みたいです。
普通の
VA1000Plusライン出力→CMI8738ライン入力
を、
VA1000Plusライン出力→ビデオのAV音声入力→ビデオのAV音声出力→CMI8738ライン入力
と接続変更すると、どのチャンネルでもクリアに録音できました。
推測ですが、キャプチャ中のVA1000Plusライン出力とCMI8738のAD変換回路の相性がわるいのかも。
つかれた・・・