【IT】NEC、汎用PC1台で毎分150万件のセンサーデータ処理を実現［09/02/04］

　NECは、ユビキタス社会で増加するセンサーや端末、サーバーなどから連続的に発生する大量の
データを高速に収集、分析するデータストリーム処理技術を開発した。同社によると、実験運用して
いる渋滞情報提供システムに同技術を適用したところ、渋滞の状況を計算する時間を約1/6に短縮
できたという。また、さらに最適化することで、1台の汎用PCで毎分150万台を超える車両の走行
データを処理することが可能だという。NECは今後、同技術を取り込んだサービスの早期実現を目指す。

　同技術では、すべてのセンサーデータを一旦データベースへ蓄積してから分析する従来方式と異なり、
データの収集過程で流れ作業的に分析処理を行う「分散データストリーム処理方式」を開発した。
センターサーバーにデータを順次集束するようにサーバー群を構成し、センターサーバーにデータが
到着する前に中間層のサーバーで処理を分担することで、応答性を高めた。

　また、小サイズのデータの流れ作業的処理に特化したメモリ区画をメインメモリ内に用意することで、
処理モジュール（処理プロセス）間の高速なデータの受け渡しと、処理状況に応じた計算機リソースの
振り分けを可能にする「共有メモリ型フロー制御方式」を開発した。同方式により、流れ作業的に処理
する時のメモリ確保/解放の管理を自動化し、計算機リソースの利用効率を向上した。このため、汎用
PCで大量のセンサーデータを処理できるようになった。


▽ソース：Design News Japan　（2009/02/04）
http://www.designnewsjapan.com/content/l_news/2009/02/o14nbe000001ekua.html

べつにPICのマイコンチップでも出来る。

汎用PCってどの程度のスペックなの？

Pen�Vくらい？

パイプ処理でしょ？すごい技術なのか？

ユビキタスて久しぶりに聞いた

デカイメインメモリ積んで仮想データベースでおＫ

そんな小規模なもんじゃないだろ

>>4
共有メモリかオンメモリDBだと思われ。
あとは処理ステージを細かくパイプライン化して並列走行。同じデータに
触る瞬間しかブロックしないで全処理がフルスピードで走るようになる。

>>8
ふむ。更新処理も考慮されてるということ？それでもすごくないと思うけど

サーセンｗｗｗ

センサーデータ１つ１つがVGAサイズの画像だったらまあまあすごい

うちにあるPem�U266のバリュースターNXも再利用

＞ユビキタスて久しぶりに聞いた

まあ、もう死語だからな。

昔読んだ zip のソースでこういう処理をやってたような気がする。
入力ストリームを分散して各ブロックの圧縮処理を並列化するとか。
こういうの実装してると楽しいよねえ。

入力を分析するだけじゃなくて出力を返してるんじゃないの？
多チャンネルの処理は汎用機の得意技だったと思うけど、
150万件並行処理ならすごいと思う。

去年は似たようなシステムが9000台で3分半もかかってたからこれはすごいな。

軍事関係者なら驚嘆する数字だな
万単位の機械化歩兵全員を運用可能なわけだ。

イージスシステムもPC1台で運用可能か？

単に早くしようとすれば、PC程度の構成でもかなり速く出来るけど、問題は、方式設計、
つまりアーキテクチャだな。
アーキテクチャとしての頑丈さと処理速度は往々にして反比例するから、
この方式がどの程度優れているかは、処理速度だけでは判断出来ず、概念設計以下実装モデルまでの
方式を開示しないと評価出来ない。

NECのスレは直ぐ落ちていくな。。。

>>20
NECの株価のようなもんだ

昔、初めてNECの株価を見たとき2500円くらいだった。
徐々に下がって1700円あたりを彷徨っていたとき、
今が買い時だ!!と回りに言ったものだ。
しかしだ、その後じりじり下がり700円くらいにまでなった。
1700円で買わなくて良かった〜
とおもったけれど、その後ITバブルで1500円にまでなったので、
700円で買えばよかった〜と後悔した。
まぁ今の株価が幾らかは知ったこっちゃねーが。

蔵独活コンピューティングの需要をねらうべきだな。

IDCをアルプスの山中において、官公需を取り込むべきだな。