affinity関連のレス読んでて、起動時フリーズ問題はクリティカルセクション関連が原因かと思って
コード色々読み返してみたら、やっぱAacDecFilter.cppが怪しいかなという感じになった。
とりあえず↓でこちらでは全く発生しなくなった。
ttp://www1.axfc.net/uploader/Sc/so/381174 こういう問題は凄く環境依存だと思うので的外してるかも。暇なときに試してみてほしいです。
まとめると倍速再生時のドロップ部分でのデッドロックや起動時フリーズに対しては
いまのところ上の改変TVTestが最善、設定キーRaiseMainThreadPriority=1が次善という今のところの結論