DGCA総合スレ 4

>>542
ふと思いついたんですけど、一部が違うだけの複数のBMPを圧縮するときに、
BMPの画像部分を複数ブロック（64×64〜128×128ぐらい？）に分割して圧縮し、
他の画像のまったく同じブロックは同じ物を使えば、非ソリッドより圧縮率を上げられ、
どの画像に対してもソリッドより速く、ほぼ同じ速度で展開できるのではないでしょうか？

DGCAはソリッド固定だけど、他の形式のような問題は少ないから意味ないでしょうか？
圧縮率は今より下がりそうだし、展開速度もあんまり上がらないかもしれないし・・・・
なにより、ブロックで圧縮するかどうかをどうやって決めるのか・・・
ユーザで設定するってのはDGCAのポリシーに反するような。

使い道はエロゲぐらいしかないですから駄目ですね、やっぱり（；´Д｀）ｱｧ〜

>>545
補足します。
（64×64〜128×128ぐらい？）ってのはピクセル数です。

ニュースがキモイと思うならproxomitronでフィルタでも書け

ニュースが嫌なら見るなヴォケ

Dgcaのページをブックマーク入れとけヴォケ

おめーはtop.htmlしかブックマーク出来ない池沼かよヴォケ

top.htmlは無いみたいなんだけど。
まさかindexと間違ったなんてことはないよね

まぁ、正直に書くと、自作PCでは壊れることがある。
Athlon系のマザーだとメモリ周りが悪いものがあるからな。
最大80MBくらいメモリを確保するDGCAだと、メモリの不良部分にアクセスしたりする確率が高くなるのだろう。

サイトにまでケチつけるのはいかがなものかと

なんでも噛み付けばいいってもんじゃなかろうに

SYNﾀﾝの中の人も大変だな

>>549
DGCAよりOSがババ引きそう（；´Д｀）

>>550
久しぶりに更新チェックしたら不気味なことになってたんでね。
なんつーか公○ブラウザのような感じ。

まあ無理にアーカイバコンプする必要も無いからもういいや

デジコ

人格とソフトの出来は関係あるまいと思うが

狂犬みたいにいちいち噛みついてる方が２ちゃんねらっぽい
本人に直接言わないところも

サイト内容は別にどうでもいいけど
「イースはWinnyで落とせ」ってのはいかがなものか

>>543
チェックありがとうございます。
UPXを使っているのは、UPXを使って少しでも小さくして欲しいという要望があったからです。
それ以前は大きいままでした(笑)。
>>544
いや、だからこそ「どうでもいいニュース」なんですよ。
関係の無い人にはなんでもない只のノイズでしょうし、反応してしまうのは何かしら関係があるからだと思います。
普通の国は右でも左でも基本的に愛国家なんですけどね。まぁ、私は反日を見ると悲しくなるだけで、右でも左でもどっちでもいいです。
>>545
BMPに限定すれば、そういう方法もいいのですが、
フォーマットごとに対処するとなるときりが無いのが辛い所です。
ソリッドの方についてですが、DGCの場合、ソリッドといっても実はちょっと違っていまして、
ファイル単位とソリッドの中間みたいな感じです。

>>555
まぁ、言われる方も悪いので仕方が無いですねぇ。
ここで言っている分には直接言っているのと同じと思ってもいいかなと思いますけどね。
>>556
そのように誤解されるような書き方をしてしまったのは本当に申し訳ないと思っています。
全く逆のことを言いたかったのですが、拙い文章力でご迷惑をおかけしました。すみません。

SYNが実は47氏だという事はこの山田花子がまるっと全てお見通しだ！

(´∀｀)９ ﾋﾞｼｯ!

上田〜ファルコム社員追っ払え

>>549
最大で80Mか・・・ちと多いな
SYNﾀﾝ、最大消費メモリをせめて20〜40Mぐらいまで落とせないっすかね？



先に言っておくが
今時メモリは1G〜3Gが普通だろ、とか頭悪い擁護の仕方するバカは氏ねよ？
そんなもん人それぞれ。消費メモリは少ない方が何かといいから。

>>560
メモリ使用量を減らすと、処理時間が増大するか、
圧縮率が下がると思われるが、それでもいいのか？

>>561
少し古めのマシンだと128Mとかだから、その環境で80Mも
DGCAに使われるとかなりつらくなると思う。
そういう環境でなら、多少の処理時間の増大や圧縮率の
低下なら受け入れてもいいと思うんだが。
ま、一番いいのは環境に合わせて切り替えられるようになることだと思うけどね。

>>562
>>510

何処の馬鹿が８０M固定でメモリ確保するんだよ・・・
そんなコトするプログラマなんているわけ無いって


でもこれからの時代そういう人生まれてきそうだな・・・

>>560
メモリが128M以上あると贅沢モードになります(笑)。
それ以下の場合は、それぐらいになるはずです。
>>564
64KB以上を連続で確保するなんてとんでもなかったころを思い出しました(笑)。

DGCAの作者様
正確には昨日のことですが、lhazでASTERという衛星データの圧縮をしたら
どれくらいのサイズになるかと思い、各種方式を試してみました。
最初LHAZでできる圧縮だけやってみたら、
TBZ、BZ2がZIPやLHAの15%減ぐらいで「おおこれはすごい」と思ってました。
（ほとんどLHAかZIPしか使ったことなかったので・・・）
いろいろサイトを調べていたらDGCAというのがあるのを知って、
実際に圧縮してみたら、TBZやBZ2よりもさらに10%減になり、びっくりしました。
衛星データのような巨大なデータの場合、10%違うというのはすごいことです。
リモセンやっている人にPRしたら興味を示すかもしれませんよ。
では、今後ともがんばって開発してください。期待しています。

>>566
RARとの比較ｷﾎﾞﾝﾇ

そもそも、「衛星データ」とやらが何なのか気になる。
ただのテキストかな。

せっかくなので、詳細を書いたほうが参考になるかと。
圧縮前がどのくらいのサイズだったとか。

>>568
衛星写真

ASTERはIGS（北朝鮮監視衛星）のご先祖。
地上を走査した超細密な画像を撮れる。
ファイルサイズがバカでかい。

>>570
256画素くらいでつか！？

A1サイズのポスターにしても画素が見えないくらい。
地上局で再構成してるんだったかな？

>>566
>>567に加え、7-Zipとの比較もｷﾎﾞﾝﾇ

CABもきぼん

"ASTER画像"で検索すると引っかかります。
むしろSYN氏に比較素材として使ってみてもらいたい。

検索したがよく分からん…独自の画像形式なの？

>560
おまいも市ね

どうもどこいっても入手するにはユーザー登録か連絡が必要みたいだな。＞ＡＳＴＥＲ画像
ファイルさえ手に入れば比較圧縮ぐらいするんだがな…。
でもまぁ未圧縮の超高解像度画像って事はbmpの圧縮と同じような比率をとるのだろうか…

bmp(風景写真)64個 合計300MB

圧縮　　　　　　　　　　　　解凍
DGCA　123MB　434秒　　97秒
7z　　　 125MB　571秒　　28秒
RAR　　131MB　239秒　　15秒
CAB　　154MB　356秒　　 9秒
ACE　　168MB　187秒　　12秒

ASTER画像じゃないが圧縮比較。全て最高圧縮、rr無し。

bmp（aviをフレームごとに分割保存）23ファイル

1,921,162 RAR
2,477,056 DGCA
3,287,467 7z/LZMA
3,392,688 CBT
3,884,612 CAB
5,300,442 圧縮前

MS-DOS(起動ディスク上など)でDGCAが使えると嬉しいんですが、やっぱり無理ですか？

>>581
64KBの壁が（；´Д｀）

BMPだと、中身によって圧縮率の変動が大きいような気がする。
DGCAがもっとも縮む場合もあるし、RARや7zの方が縮むときもある。
どの圧縮方式がもっとも縮むかわからないのが難しいところ。

ttp://www.itmedia.co.jp/lifestyle/articles/0403/03/news031.html
こんな記事もあるくらいだ。

>>582
技術的に無理ぽなんですね。
LHA.EXEで我慢しときます。

ASTER=アスター＝あすたー＝あすた＝あした＝明日

可逆圧縮方式の可変wma、VBR Quality100より、
非可逆圧縮方式の可変wma、VBR Quality98以下の方がDGCAで圧縮率が高いのは、
元のファイルがVBRQ100の方が圧縮されてるため？

俺は昔、ZIPファイルで圧縮した1ヶ月分のメールが中身だけまるまる消えてた事が有った。
圧縮出来てなかったのか、圧縮後に消えたか壊れたのかは分からんが。
保護機能付加や圧縮後の照合や検査やってくれるDGCAは、ありがたいと思うよ。

>>584
たしかDOS上でLZHより高圧縮なCABが使えたような気がするのは
気のせいか…。

>>SYN氏
いろいろ問題出てるUPXだけど、設定でUPX使うか使わないか決めれるようにしたらどうかな？
チェックボックスでもつけて、デフォルトは使わない設定。とか。

>>588

>>588　よく分からんのに首突っ込むな

>>588
ｳﾝｺｸｴ!（ ・∀・）つ●）`Д´（●ヽ（・∀・ ）ｿｳﾀﾞｸｴ !

そういや、XP SP2でメモリの実行保護とやらが導入されるらしいけど、
問題ないのかな？
UPXが対応すれば大丈夫？

数日前にASTERデータ圧縮のことを書き込んだものですが、
実際のテスト結果はこんなところでした。RARは持ってないので試せません。
124,512,075 元のファイル
51,955,139 testLZH.lzh
51,484,233 testGZ.gz
51,484,222 testTGZ.tgz
51,481,460 testZIP.zip
51,208,853 testCAB.cab
44,285,449 test7zip.7z
42,287,414 testBZ2.bz2
42,286,803 testTBZ.tbz
38,364,512 testDGC.dgc
まあ今の時代では巨大というのは大げさかも・・・
衛星データは普通の写真画像と違って真っ黒けの領域が多かったり、
バンド（波長帯）によってはヒストグラムが極端に暗いほうに
偏っていたりとかして、圧縮が効きやすいのだと思います。

>>588
そうすることにします。
>>592
今回SP2を切り抜けれても、今後問題が発生する可能性があるので、UPXはオプションにします。
>>593
ありがとうございます。ASTERのデータは見たことが無いので、
まだDGCが最適パラメータにはなっていないと思います。DGCのエンジンに学習させたいので、
ASTERのデータを無料でDL出来る場所があったら教えていただけると幸いです。
無いということなら購入するつもりですが、無料でDLできるのに買っていたら無駄なので。





ハッシュとか書くとまた叩かれそう(笑)。

http://www.ersdac.or.jp/Others/Image_j.html
とかかな？

欲しいのはオリジナルのファイルだと思う。
そこ、というか大半のサイトはJPGに圧縮されてる。

>>SYNさん
SYNさんの言う事が理解できてきたのでMTFするのを止めました。
そして大体Zzipと同等の圧縮率になってきました。
alice29.txtがヘッダなしで41,798にbible.txtが756,286です。
DGCAはファイルによってかなり圧縮率が違いますね。
ファイル解析をしているのだと思いますが。
意外な事にDGCAは今のところ日本語テキストの圧縮率が悪いようです。
例えば青空文庫にある宮沢賢治の銀河鉄道の夜を圧縮すると
圧縮前 78,668
GCA 25,927
DGCA 34,912
7zipPPM 24,029
漏れ 24,645+@(ヘッダ部: ファイル名、頻度表、その他)
でした。
傾向で言うとDGCAは、サイズが小さく、シンボルの種類が多いファイルの圧縮率が悪いようです。
出現数の多いパターンを別シンボルに置き換えたりしてますか？

>>597
GCAより圧縮率が悪いのはおかしいと思い、自分も銀河鉄道の夜で圧縮して調べてみたところ、
解析部の判断ミスでマルチメディア扱いになっていました。MM圧縮を無効化したところ、
http://www.digiko.jp/dgca/gin.dgc
のサイズになりました。元ファイルが若干違いますが、GCAより小さくなっています。
パラメータ調整まではしていませんが、頑張ればもう少しいけそうです。

DGCの場合、サイズが小さいと圧縮率が悪くなる理由は二つあります。
一つは、解析部に十分なサンプルを送ることが出来ず、最適な判定がされないことです。
もう一つは、いろいろなデータを圧縮し、トータルのサイズを小さくするパラメータに重点が置かれるため、
パラメータ決定に動画や音声が優先されやすいということです。
テキストで10%余分に小さくするより動画を1%小さくする方に評価関数が良い点をつけてしまいますので。
あと、シンボルの置き換え等は一切行っていません。

>>598
なるほど、ミスでしたか。
自分もGCAより圧縮率が下回るのはおかしいなと思っていました。

シンボルの置き換えはしていないのですか。
自分は更なる圧縮率を目指して置き換えも検討しているのですが。
実を言うとcanterbury corpusのkennedy.xlsの成績がMTFの時よりかなり悪くて、
どうしても200kb弱になるんですね。
ところでRLEはしていますか？
してなさそうな感じですが。
自分は2進に置き換えるRLEをやっています。

ちなみにhttp://www.digiko.jp/dgca/gin.dgc
を解凍して自分のソフトで圧縮したところ26,660+@でした。

>>SYNさん
残念ながらASTERのデータは有料です。約１万円です。
「ASTER GDS Web Site」をごらんください。
http://www.gds.aster.ersdac.or.jp/gds_www2002/index_j.html

ASTER画像を探すには上のサイトからはもちろんですが、
「ASTER画像公開システム」が便利です。
http://imageweb.aster.ersdac.or.jp/

ところで、GDCでは圧縮対象を学習（識別？）しているんですね。
次のバージョンを楽しみにしています。

>600
なんとなく探してみたらいくつか出てきたんでこれがasterデータか鑑定してくれ

ttp://ivanova.gsfc.nasa.gov/outreach/Terra_CD-01/meta/aster/
ttp://sevilleta.unm.edu/data/archive/imagery/satellite/aster/source/2002/20020531/
ttp://sevilleta.unm.edu/data/archive/imagery/satellite/aster/source/2002/20020515/

>>598
以前、複数のhtmlを圧縮したらGCAより圧縮率が悪かったと報告したものですが、
これも解析のミスだったかも知れませんね。

susieプラグ印はまだですか？

DGCAで圧縮したファイルのパスワードを解析（総当り可）するソフトってまだ出回ってないですよね…？
自分でつけたパスワードを忘れてしまった…＿|￣|○

>>599
7z級の圧縮率をもう出されているのですね。すごいです。頑張ってください。
でもkennedy.xlsは変態的なデータなので、通常のアプローチをしない方がいいです。
これに振り回されるとドツボにハマリかねません。局所最適解という意味でもドツボです(笑)。
このデータは13バイトという周期で見ると全く違う世界が見えてきます。
RLEはパラメータで選択できるようになっていますが、ほとんど使われていないと思います。
>>600,>>601
ありがとうございます。改良の参考にします。
>>604
6,7文字を超えるパスワードを解析するのは絶望的ですが、
そういうツールはあった方がいいでしょうか。本家が作ったらダメな気もしますけど(笑)。

たった1文字、「0」とだけ書いた1バイトのテキストファイルを用意し、
ファイル名とパスワードを変えて圧縮してみる。

自分が試しにやってみた例。
C:\WINDOWS\ﾃﾞｽｸﾄｯﾌﾟ\1.txt　パスは「0123456789」
C:\WINDOWS\ﾃﾞｽｸﾄｯﾌﾟ\2.txt　パスは「1234567890」

できたdgcファイルをバイナリエディタで開いてみる。
C:\WINDOWS\ﾃﾞｽｸﾄｯﾌﾟ\1.txt.dgc　サイズ496バイト
C:\WINDOWS\ﾃﾞｽｸﾄｯﾌﾟ\2.txt.dgc　サイズ496バイト

・・・
2つの違いを見てみようと思っても、さっぱりわけがわからない。
別に解析の知識があるわけでもないので、しかたないか。

しまった。パスとパスワードを混同してしまった。

漏れも606と同じことやってみたけど同じ結果に・・・

>601
これはたぶんASTERだろうと思います。
自分でデータを確認するならフリーソフトのMultispecを使うといいですよ。
ただし使い方はちょっとややこしいかもしれません。
http://dynamo.ecn.purdue.edu/~biehl/MultiSpec/
（アングラなデータのように思えるのでちょっと引いた書き方ですいません）

作者様へ
次のバージョンでは、力のないパソコン用のオプションをお願い。
圧縮時に今の3倍かかっていいから、展開は半分の時間になるような。
・展開するというのはそのファイルが必要な時だから速いほうがいい。
・圧縮は空いてる時間や、夜寝てる間にさせてもいい。
今のバージョンでは展開にも時間がかかるから、低パワーのPCユーザーは
使ってくれないと思う。

>>610

BPEベースかなあ。
SYNさんはBPEの事どう思ってます？
あんまり資料ないんすけど

>>610
それはもう、オプションのレベルでは無いような…

>>610
っつか、素直にzipとか使えばえーやん。