【IT】ウェブカムだけで顔の向き・表情を高速・高精度に追跡するアバターシステム

ウェブカムだけで顔の向き・表情を高速・高精度に追跡するアバターシステム

http://www.youtube.com/watch?v=g68DuWPRDk0&feature=player_embedded

慶應義塾大学 満倉靖恵准教授のグループは、一般的なPCとUSBカメラで、人間の顔の向きや表情の変化を
高速・高精度に計測する手法を開発しました。

"趣味でCGアニメーションを制作している方やWeb対話システムなどで自分の顔の代わりにこういったキャラクターを
提示して対話に使うといったもの、もしくはイベントなどでキャラクターをリアルタイムに動かしたりといったことも、パソコン
1台とカメラ1台用意するだけで簡単にできますので、そういったことに応用できると考えています。"

顔の検出・追跡には、時系列信号処理の手法を応用し、目や鼻、口などに配置された特徴点を高速・高精度に
追跡しています。画面上の白い点が顔の追跡に利用した特徴点、赤い線は顔の向きを表わしており、顔の向きや
口の動きに合わせて適切に顔を検出していることが分かります。

"人間の顔の動きに合わせて、アルゴリズムを逐次更新していくようなものを使用していますので、非常に高速・高
精度に顔を追いかけることができるというのが、このアバターシステムの基礎となっている技術です。"

さらに、表情の変形の仕方を解析することで、顔の向きだけでなく、眉や口の動き、笑い、怒り、驚きなどの表情を
表現することもできます。

また、アバターとしての活用の他、人間の顔の変化を読み取って動作するゲームなどへの応用も考えられています。

"顔にマーカを付けるモーションキャプチャを使ったりすると、一般の人では用意することができなかったりしますので、
そういった意味ではこういったモデルをリアルタイムに自在に動かすという技術は今まで無かったものだと思います。"

今後は、一般PC向けのモーション生成ソフトウェアの開発を目指すほか、さまざまな分野への応用や実装を進めて
いく予定です。

Don Kennedy and R.Osuga/Diginfo TV 11 June 2012
http://jp.diginfo.tv/v/12-0107-r-jp.php

顔の向き・表情をリアルタイムで操作可能なアバターシステム〜一般的なPCユーザ向けモーション生成ソフトウェア開発を目指す〜
慶應義塾大学プレスリリース　2012/05/23
http://www.keio.ac.jp/ja/press_release/2012/kr7a4300000amhl5.html
プレスリリース全文(PDF/707KB)PDF
http://www.keio.ac.jp/ja/press_release/2012/kr7a4300000amhl5-att/120523_1.pdf

エロゲメーカーが作ってた顔の向きでスカートの中が見えるシステム？これに表情を組み合わせて「何鼻の下のばしてんのよ」とか

GT5でやってるだろ。全く使い物にならないが。

ウェブカムの映像が
ウイルスによって自分の知らない間にネットに公開されてるかもしれないと思うと
怖くて怖くて使えない

>>3
これは同じ事を高精度にやる研究だろ

タイトルは忘れたがSF小説であったシーン（うるおぼえ）

〜
上司からテレビ電話があったが、自分は体調が悪くひどい顔をしています。
出ない訳にはいかないので電話にでるのですが、いつもの特別なスィッチを
ONにして電話にでます。

自分の健康な状態の映像・声をシミュレート・加工して相手に送信します。
声音や表情は今の自分の表現を反映しつつも、より健康的な印象を与える
形に加工するのです。

もちろん服装も寝巻き姿を加工して、スーツに変更してくれます。
上司は気にもとめません。なぜなら上司も同じ技術を利用していると知っているから。
暗黙の了解。
〜

「【IT】撮影していくうちにデジカメ画像から3Dに復元されていくシステム−東工大」
http://anago.2ch.net/test/read.cgi/scienceplus/1340169056/
のような技術も出来てきましたから、自分の姿を思うまま加工して逐次加工して
表示することも可能になるのではないでしょうか。