【ソフトウェア】東京理科大、「数値列データ」専用の圧縮ソフト開発−圧縮効率３倍以上

　東京理科大学の明石重男教授と児玉賢史博士課程学生は、温度の時間変化など連続的に並ぶ
「数値列データ」専用の圧縮ソフトを開発した。文書や数値列などに使う既存の汎用ファイル圧縮ソフトより
圧縮効率が３倍以上高い。温度センサーなどで計測したデータを圧縮すれば容量が減り、
データ伝送時間が短縮できる。受け取り側はデータの完全な復元が可能だ。
　圧縮できる対象は時系列の信号など一定の規則がある数値列データ。
数値列を近似する滑らかな曲線は多項式に近い関数になる。近似表現でデータ量を大幅に圧縮し、
最後に多項式とのズレを調整する手法を開発した。
　実験では、２３６字の数値列データを約６分の１の４０字に圧縮できた。
世界標準の「ＺＩＰ」圧縮方式では１８０字程度にしか圧縮できない。

日刊工業新聞
http://www.nikkan.co.jp/news/nkx0620090316aaab.html

4

これは惑星探査機からのデータ送信に使えるかも。

>受け取り側はデータの完全な復元が可能だ。
数値データが不可逆圧縮じゃ困るｗ

zipは標準規格だから、専用には負けるには決まってるだろｊｋ

>>3
なるほどー。判る人の発想だな。

＞圧縮できる対象は時系列の信号など一定の規則がある数値列データ。
＞数値列を近似する滑らかな曲線は多項式に近い関数になる。近似表現でデータ量を大幅に圧縮し、
＞最後に多項式とのズレを調整する手法を開発した。

どこかの企業が既に音楽の圧縮をこの技法で実現していた記事を数年前に見たぞ。
たしかデータ量が１００分の１になったとか

計測データを近似表現で送るのか。かなり使い道を選びそうだな。

震度計の波形を音楽的な圧縮で送るシステムは実在する

音楽データなら不可逆圧縮じゃないか？

>>10
音楽用の可逆圧縮ってのがあるよ

フラクラル関数がなんとかかんとか

組み込み系とかだと独自実装がいっぱいありそう
汎用でかつ性能が良ければいいかも

>>11
AppluロスレスとかFLAC

×Applu
○Apple

http://www.tus.ac.jp/fac/teacher/index.php?A04359
最近、非公開って流行なのか？

有限多項式近似できない部分なんてどうせ雑音とかだから完全復元なんて要らなくね？

>16
>（スパムボット対策のため、HTMLソース上で暗号化しています
こっちがツボった。単に実体参照してるだけじゃんよwwww

データによるだろ。
しかし圧縮アルゴリズムは定期的に出てくるね。でも標準的にならないような。

DCTとかウェーブレットとかよりもいいの？

>>17
その部分に有能な情報があるかもしれんだろ
というか「ノイズの量」も有用なデータだ

>>20
そういうのは特殊なデータ（たとえば音声）にしか性能を発揮できない

圧縮にかかる時間書いてないけど
ＫＧＢ並みに変換時間がかかってたら>>3のようなケースの利用に向かないけどね

LZH涙目
でも一般化しないとね

>>22
惑星探査機について、実は処理速度はそこまで問題ではありません。
現に20MHzのCPUで画像認識やったりしてますし。
ソフト処理がダメだったらFPGAで載せちゃいます。

>>24
そうだったのか・・知らなかった
ただ、処理時間転送時間が圧縮前の転送時間よりも長かったら本末転倒じゃない？

>>25
そうなれば本末転倒だけど、一度決めたらCPU処理速度は落ちないのに対して
通信速度は状況に応じて落ちるからなぁ。
未だに1Kbps以下の時もある。

ちなみに、こっちは来年打ち上げる金星探査機への採用が決まった。
高速なロスレス画像圧縮技術を開発
http://www.nec.co.jp/press/ja/0707/2502.html
この探査機は最速で32Kbps

超遠距離無線だと送信損失が大分あるからデータは少ない方がいい
でも宇宙局はそれなりの圧縮プロトコル使ってるだろうからどうなんだろうね
7zやcabみたいな立ち位置じゃね？

地球外生命の発するわけわからん圧縮をされまくったビット列を乗せた電磁波が
宇宙を行き交っているのを、人類は未だ知るよしもないのであった。

おいおいｗ　たった２３６字の圧縮効率ってｗｗｗｗ　意味ねーよｗｗ

近似？？？？

>>児玉賢史博士課程学生
博士過程ですごいな
大抵こういう場合って学生が全部やって担当教員が美味しいとこ全部持ってくんだよな
俺はこの学生を評価するぞ

10E-6 なんて表現があるとダメなんだろうか？

データを書き変えて圧縮するやり方は古い。

これからは記録したデータに合わせて宇宙の法則を変える圧縮方が
主流になる。これは書き換え出来ない記録メディアにノイズを記録
しておきそのノイズデータが記録したい内容になるように宇宙の法
則を書き換えるやり方。

この圧縮方なら記録したい圧縮データ量は不変で容量も無限。

一般的に新技術の所有権を主張するために、
研究者はまず簡易な実験結果だけであえてこのように技術を公開する。

だからこれから論文を書き、審査されるのだろう。
この記事が手法の新規性を証明しているわけではないことに注意。

>>7のことをこの研究者達は知っているのかどうか疑問。
学生の論文だと調査不足で研究が既存技術だったということはよくある話。

>>7
おっとJGSの圧縮詐欺の話題はそこまでだ。

まず最初に多項式近似して、その後実測値と近似値が異なるデータ点についての補正を
なんらかの形（誤差を記述するとか）で行う、って感じ？

>>7
それは日経だかが取り上げて、ガセ認定されてたニュースの事か？
ビズ板かここか、どっちかでスレが立ってた記憶が

バラバラな数値列だと圧縮性能が悪くなるんですね

>>38
そもそもいかなる圧縮ってそういうもの。
理論的にはものごとの情報量を減らすことなんて不可能なんだよ。
データには出現頻度に偏りがある、だからこそ圧縮できる。

オレ、ある特定の数値列に関する画期的な圧縮方法を思いついたよ。圧縮率は無限大。

圧縮前
　3.1415926535…

圧縮後
　π

僕の肛門も圧縮されそうです。

ADPCMと何が違うの？

>>7
あれはガセだよ

>>40
圧縮したはいいが展開できねーなｗ

>>44
一応展開するアルゴリズムがあるので圧縮できたと言える。

> 実験では、２３６字の数値列データを約６分の１の４０字に圧縮できた。
> 世界標準の「ＺＩＰ」圧縮方式では１８０字程度にしか圧縮できない。

なんで、こんな小さいデータで比較するんだろ？？
zipは小さいデータの圧縮では不利なのに。

２３,６００字の数値列の圧縮なら、zipでもコレでも、大差なさそうだけどねー

ってか、みんな詳しス・・・・

>>46
だよね・・携帯料金プランの固定料金部分と従量料金部分みたいなもんのはず。

隠れ朝鮮大学マンセー

>>1
>最後に多項式とのズレを調整する手法を開発した。
>実験では、２３６字の数値列データを約６分の１の４０字に圧縮できた。

圧縮詐欺はいくらでもあるけど、これもひどいね。

多項式からのずれがほとんどない数値列データを使ったってだけの、インチキじゃ
ねーか。

そんなに滑らかな数値列なら、サンプル間隔をもっと空けても問題ないから、そう
すればいいだけ。

どんだけニッチだよ。

子供に仕事を聞かれたとき、あまりに重箱のスミすぎて胸をはって答えられないレベル。

圧縮
　　　＿＿＿＿__
　 ／／／ 　 . ／|
　|￣／　￣￣|//!
　|／_,,..,,,,,..／ |//!
　| / ,'3 ／ヽｰ|っ:!
　| l　／⊃ ⌒:|つ|
　|／ｰ---‐''":|／
　￣￣￣￣￣
　　　↓
　　 ＿＿＿
　∠______／|
　|（：3ヽ:|／
　 ￣￣

二階か三階の差分とってLZWやれば、これ以上の性能は簡単に出るだろうな。

探査衛星ならば、むしろ大容量の画像や動画の圧縮技術が求められてるはずだが？
温度データの容量はたかが知れてるだろｗ

ハードが高機能化して容量を持て余してる時代なのに何の意味があるの？

光通信の光波長を可変にすれば、この技術で送れる情報量は爆発的に増えないか？

圧縮後のバイナリをパターンシート化して更に圧縮か？

1000進数を発明しますた

そもそも字ってなんだよ

>>55
送受信用っぽいからハードの性能が上がろうと必要らしいよ

この手の研究は眉唾が多すぎ

>>54
ハイゲインリンク取れない時間の方が長いんだし、
こういうデータの圧縮も必要だよ。

そもそも画像の圧縮は別にあるわけで。

>>52
Σ( ﾟДﾟ) ｽｯ､ｽｹﾞｰ!!

ちなみにbmpは7z形式で圧縮すると
rar等の1/2まで縮む
豆知識な

そう言えば、JPEG2000ってまったく普及しなかったなｗ

汎用のZIP形式と特化した圧縮形式じゃ、そりゃ差も出るだろ。

>>66
差がでなかったら存在意義がないｗ

今更ZIPと比較するなよ。7zやACEと比べてくれ。

温度変化は使えるとして
短周期で上下繰り返すシリンダ内圧力とかに使えるのかい？

特化してみましたってだけの話じゃん。

物理量とかのデータ通信だと、リアルタイム性が要求されたりするからなー。
データの保存用途には使えるかも、と楽観的・同情的に言っておく。

>>65
も、モーションjpeg・・・

>>69
バカか。
長周期の緩やかな変化しかないデータが、
短周期で激しい変化をもつデータと同じファイルサイズもつ事が無駄という、
ごくごくわかりやすい利用法じゃねーか。

０．９９９９９９９９９９９９９９９９９９９９
圧縮後
１

近似からはずれる極端な値はそぎ落とされるのか

>>3
は頭の切れる人だ

>>69>>72
短周期とか関係ないだろ

どうせ周期成分をスペクトル分解するなどして、
差分と組み合わせて表すんだろし

問題は非周期的なデータだ

圧縮中
「３っつが４っつで２つが７つの６っこが２つの１・・・」

まずは使ってみないことには分からんよ。配布しないの？

論文検索しても引っかからないし、どの学会に出したかも分からない
ニュースの意味ねー

>>76
>どうせ周期成分をスペクトル分解するなどして、
>差分と組み合わせて表すんだろし

博士課程学生の思いつきレベルだし、>>1にも滑らかさと多項式近似のことしか書いて
ないから、そこまでのことはやってないだろ。

多項式近似なんてやらなくても、単に差分とればいいだけなのにな。

>>80
差分に必要な桁数がもとの精度の桁数より少なく取れないと、
圧縮にならないのでは？だから、そこそこ近似できるベースが必要と

理想的な近似関数をベースにできれば差分は正規分布的な乱数になるはず
理想的なベースなんて背景状況が完璧に分かってないと出てこないだろうけど

>>81
>差分に必要な桁数がもとの精度の桁数より少なく取れないと、

>>1
>数値列を近似する滑らかな曲線は多項式に近い関数になる。近似表現でデータ量を大幅に圧縮し、

なので、大幅に少なくとれる。

差分がガタガタになるようじゃ「近似表現でデータ量を大幅に圧縮」できないからな。

>>1は、ど素人以下の思いつきだよ。

>>52
もしかして重量が一緒ではｗ

>>82
？

これって文章にも応用できるんじゃね？

たとえば時代物小説ならベースの近似関数として「水戸黄門」とか「大岡越前」とか「鬼兵犯科帳」
あとはベースとの差分を列記
これでおｋ

ライトノベルにおける圧縮率はかなりのものと予想されるがどうだろう？

>>85
辞書だのPPMだの既に色々とあってだな・・・

数値列のみ…。
01の2進数にすれば、何でもいけるってこと？

>>4
ワロタｗ
全くだな

マスコミってのは根っからの文系だからねぇ。
こないだは「高度100km、もう無重力空間です」とか言ってたし。

>>87

＞　圧縮できる対象は時系列の信号など一定の規則がある数値列データ。

場合によるんじゃない？

記事が不正確で
よくわからない

恐ろしい推定になるが、処理したデータは236字の数値列１つだけなんじゃ
沢山あれば平均やら分散やらで評価するはずだからね
そもそも236MBでも伝送や記録に何の支障もない技術水準の時代にこの程度のアイデアの圧縮の必要性があるかどうか疑問

>>92
探査衛星とのデータ送受信とかなら需要あると思うが？

>>93
衛星との通信のような場合には圧縮技法の需要があるかもしれないが、
圧縮よりも雑音に対する頑強さを高めるコード化のほうが重要だと思う
元データとしては物理量の時間変化を扱っているようだから、
スキャニングして観測したような形式上時間変化になっているデータに対しても有効かどうか分からない
圧縮可能性の根拠となるデータの冗長性に対する考察を欠いていては検討に値しない

>>85 あだち充は圧縮率高そうだな。

瀬尾公治とかもな

>>93
衛星との通信なんてシビアな分野で、素人の思いつきレベルの圧縮方法に、需要なんか
あるわけないだろ。

>>1
>実験では、２３６字の数値列データを約６分の１の４０字に圧縮できた。

数値列のはずなのに単位が「字」って、、、、、、、

>>97
ワードって普通に使う単位だと思うが。

>>98
「ワード」を「字」と訳すことはないのに、なんで「字」の話で、「ワード」なんて言葉が？

しかも、ワードは、16ビットだったり、32ビットだったり64ビットだったりするし。

東京理科大学の明石重男教授、必死だな。ってか、死ね。

>>99
＞「ワード」を「字」と訳すことはない
まずこれを証明してごらん。

>>100
>まずこれを証明してごらん。

証明もなにも、どんな辞書引いたって、「ワード」＝「語」だが？

それよりまず、東京理科大学の明石重男教授は、なんで唐突に「ワード」とか言い出した
んだ？

>>1-101
日本語でおｋ

>>46
いや、この場合逆に小さなデータで、これだけ圧縮効率が高いってほうが重要だろ。

アルゴリズムに、あるていど規則的なデータを効率よく圧縮する。という特徴から、
似たデータが長ーく続いているほど、どんどん圧縮効率が高くなる。
これだけ短いデータでも３０％に圧縮できるという事は、かなり有効な方法だよ。

あと「字」と言っているのは、たぶんwordの事だろうな。概ね、１字＝１数値とみていい。
わかんなかったら、１サンプリング。

>>103
これだけ短いデータなら、生で送った方が速いです。

>>97
頭大丈夫か？
素人の思いつきだろうが何だろうが完全に復元できるならデータ量は少ない方がいいに決まってるだろうが

>>105
プロが圧縮したら、素人の思いつきよりはるかにデータ量は小さくなるのだが？

連続性のあるデータで、

>実験では、２３６字の数値列データを約６分の１の４０字に圧縮できた。

って、結果は悪すぎ。

お前、頭、駄目だろ。www

>>99
何を言ってるんだお前は

次の数値との差が無いか少ない条件で圧縮率の高くなる特化品なんだろ
汎用のzipと技術的優劣があるわけじゃないと思う

>>108
>次の数値との差が無いか少ない条件で圧縮率の高くなる特化品なんだろ

それだけじゃなく、数個の数値の並びがほぼ滑らかって仮定がある。

その手の特化品なら、ちゃんと作れば、もっと遥かに性能高くなる。

おれのエロ動画はもっと圧縮できませんか

>>106
お前はまず日本語の読解力研こうな
全てはそれからだ

>85
少女漫画に適応された日には．．．

30%の圧縮率って全然圧縮率高くねぇじゃん。
>「ＺＩＰ」圧縮
ＺＩＰて圧縮率の成績が悪いソフトだってことすらしらないようだな。

この技術が使えるかどうかは適用対象によるだろうな
なぜか、適用対象を考えずに「良い」「駄目」って書いてあるレスが散見されるが…

博士課程の学生を素人扱いか・・・

数値の羅列をあらかじめ定義しとけば

たった一文字で圧縮できるではないか

値が連続曲線に従って変化すると仮定しての圧縮か
既存研究でなんかありそうだけど
そこら辺はアルゴリズムなんかで差をつけてるんだろうな

＞数値列を近似する滑らかな曲線は多項式に近い関数になる。近似表現でデータ量を大幅に圧縮し、
＞最後に多項式とのズレを調整する手法を開発した。

これって、要は可逆SBRだよね？ HE-AACに採用されるヤツ。
対象データを簡略化して、細かい差分データをあとから追加するって、ADPCMとかにも近い感じがするな。

>>106
実際にはエラー訂正コードが乗るんだから問題ないかと思うが。
あと、通信で欠損しやすいかどうかはデータそのものじゃなくて、エラー訂正方法、通信速度、欠損率とか複合的な要因によるから、素人が作ったかどうかで性能は決まらない。
実際のあらゆるデータに対して性能が良ければそれでOK。

>>113
ZIPの圧縮率は確かに悪いけど、完全にランダムでも6割の圧縮率。
RARやGCAでも5割しか行かないものを可逆で2割程度まで落としてるんだからすごい。

>>116
その1文字は何バイトなのかｗ

>>115
素人未満だな。

教授からして素人未満じゃないと、こんな恥ずかしい結果で記者発表なんかできん。

>>118
>実際のあらゆるデータに対して性能が良ければそれでOK。

>ZIPの圧縮率は確かに悪いけど、完全にランダムでも6割の圧縮率。

ここにも、素人未満のやつが。

偶然かな。www

完全なランダムデータを６割に圧縮できるらしいzipには敬意を払うべき

>>118
クマー

旧石器遺跡発掘の神の手も記者会見だけやって発掘の報告書は出していなかった
理科大のニュースを見ると詳しくは日刊工業新聞の記事参照となっているだけだ
いかがわしすぎる

>>120
>>122
正確には「完全なランダムに近い」かな。
冗長性が全くない最低限しか無い場合はほとんど圧縮できないから、
冗長したデータ(法則性を持つデータ)と冗長してない(法則性を持たないデータ)が
適度に散在している状態で6割の圧縮率だと思ってくれ。

>冗長性が全くない最低限しか無い場合はほとんど圧縮できない

>冗長性が全くない最低限しか無い場合はほとんど圧縮できない

>冗長性が全くない最低限しか無い場合はほとんど圧縮できない

>>118
完全にランダムで6割の圧縮率なら
ZIPで圧縮→そのデータをZIPで圧縮→またそのデータをZIPで圧縮→・・・
革命だな。

この程度で記事になるのか、大学はおき楽でいいな

圧縮関連は特許とかで金とれそうだけどな

アルゴリズムを作ったのかソフト（ツール）を作ったのかどっちだ

アルゴリズム自体なら
音声の可逆圧縮とかで使われてるようなのが普通に使えると思うが