MXの次はなんなんだ?Part69

このエントリーをはてなブックマークに追加
231ナナシサソ:03/01/20 02:20 ID:zhJW1Uso
(´-`).。oO(イーデス・ハンソン……)


;y=ー( ゚д゚)・∵. ターン
232ナナシサソ:03/01/20 02:24 ID:+luaUvxD
イーデス・ハンソン≒半村 良
233ナナシサソ:03/01/20 02:25 ID:mpuMJNvA
>>230
一通り要望も出たみたいだし、バージョン来てから考える
いやならネタを振ってくれ
俺は寝るけどな(w
234ナナシサソ:03/01/20 02:33 ID:hdGYZvFv


    ∧ ∧                     ∧ ∧
   (#゚Д゚ ) ゴルァ!                ( ´_ゝ`)フーン
─┬∪┬∪┬─┬─┬─┬─┬─┬─┬─┬─┬─┬─┬─┬─┬─┬─┬─┬─┬─
┬┴┬┴┬┴┬┴┬┴┬┏━━━━━━━━━━━━━━━━━━━━━━━━━━┓
┴┬┴┬┴┬┴┬┴┬┴┃ # ここは本スレ #                             ┃
┬┴┬┴┬┴┬┴┬┴┬┃                                        .┃
┴┬┴┬┴┬┴┬┴┬┴┃ # テスター以外は失せろ #                   .┃
┬┴┬┴┬┴┬┴┬┴┬                                          ┃
┴┬┴┬┴┬┴┬┴┬   ぴしっ☆       ━━━━━━━━━━━━━━━━━━┛
┬┴┬┴┬┴┬┴┬┴   ∧∧ /.) ☆   ┴┬┴┬┴┬┴┬┴┬┴┬┴┬┴┬┴┬┴┬
┴┬┴┬┴┬┴┬┴┬ (゚   ) ) (   ぴしっ ┴┬┴┬┴┬┴┬┴┬┴┬┴┬┴┬┴┬┴
┬┴┬┴┬┴┬┴┬┴   (|   ,ノ  )       ┬┴┬┴┬┴┬┴┬┴┬┴┬┴┬┴┬┴┬
┴┬┴┬┴┬┴┬┴┬  〜'  |        .┴┬┴┬┴┬┴┬┴┬┴┬┴┬┴┬┴┬┴┬┴
─┴─┴─┴─┴─┴    U U  .┴─┴─┴─┴─┴─┴─┴─┴─┴─┴─┴─┴─
235ナナシサソ:03/01/20 02:44 ID:AV2CtYVe
>>135
ファイル名の最大256文字は取りすぎだと思う。
最大128文字にすれば、10000個のキーで10MBも減らせる。
ほとんどのファイル名が128文字以下にもかかわらず256byteを固定長で確保しているだろうから、
メモリの無駄が多すぎる。
デフォルト128文字、128文字を超えた分は、リファレンス入れて別バッファで管理しる。

というか、ファイル名なんて、
[アニメ][DVD]ほにゃらら 第01話、・・第02話、・・・第xx話みたいに
冗長度がむちゃくちゃ高いんだから、動的に辞書圧縮しる。

01:[アニメ]
02:[DVD]
03:ほにゃらら
04:第01話
05:第02話

01020304
01020305

平均32byte以下に抑えられると思うぞ。
ついでにキーワードによる検索に辞書を活用すれば、さらに高速になってウマー。
236ナナシサソ:03/01/20 02:45 ID:+luaUvxD
>>235
131乙
237ナナシサソ:03/01/20 02:46 ID:BeJdBRoK
☆バグ報告用テンプレ v2.21(゚д゚)
☆--------------------------------------------------
☆【  OS/CPU/メモリ 】 WinXP SP1 / Athlon1800+ / 512 MBytes
☆【    使用回線     】 DSL8M
☆【    使用NIC     】  Realtek RTL8139
☆【    DDNS名     】  ---
☆【    回線速度     】 80 kBytes
☆【 Acceptポート番号 】 非7743
☆【  保持キャッシュサイズ   】 70 GBytes
☆【キャッシュドライブ空き容量】 4 GBytes
☆【ダウンドライブ空き容量 】 4 GBytes
☆【外部から接続不可能 】 未チェック
☆【検索リンク数/port0割合 】 6/0〜2
☆【仮想キー最大個数 】  20000
☆【     備考      】 回線の上下干渉が強い為、例のDLL(○○2 32.dll)使用
もちろんUP0パッチ等は使用しとりません (w
☆--------------------------------------------------
☆【   バグ症状   】 稀に空のUP転送リンクが切れなくなる(つまりDOM状態になる)

☆【 バグ発生方法 】 放置中に起きる。v1.05.01とv1.05.03で各1回の再現を確認。 
☆--------------------------------------------------
スクリーンショット
ttp://winny.info/fileboard/files/img20030120024319.jpg
238ナナシサソ:03/01/20 02:49 ID:AV2CtYVe
>>236
おいおい、ちょっと頭いいこと書くとすぐ131扱いかよ。
239ナナシサソ:03/01/20 02:49 ID:vjKY4AZA
そのうち
2ちゃんねらー向けOS作るから
ちょっとまってなー
とかいう人も出てきそうな勢いでしたね
240ナナシサソ:03/01/20 02:50 ID:b00d06cN
>235
システム情報のキーバッファサイズの動き見てると
ファイル名の配列は動的に取ってると思うけどな・・・・。
キー数とサイズが正比例しないもん。

動的辞書圧縮は手だね。
241ナナシサソ:03/01/20 02:50 ID:+luaUvxD
>>238
すでに関心の薄れた内容を長々書くのが131風
242寝る前にもいっぺん来てみたら…:03/01/20 02:51 ID:mpuMJNvA
>>236
そうか、隔離スレdat落ちだったっけ
243ナナシサソ:03/01/20 02:56 ID:6XiPX7D6
おかしい。
ダウンロードが終わってもリストから消えない。
何でだ。
244ナナシサソ:03/01/20 02:56 ID:6XiPX7D6
既に131と言う数字は47の対極として扱われているな。
245ナナシサソ:03/01/20 02:57 ID:F4Zag+/l
>>235
キーのファイル名はポインタ
246ナナシサソ:03/01/20 03:02 ID:AV2CtYVe
ていうか、
計算しなおしたら最大128文字にしたって、10000個のキーで1.2MBしかへらねーじゃねーか。
一桁まちがってた。
でもさ、キー辺り6KBとか食ってる計算になるんだけど、何がそんなにメモリを食ってるんだ。

やっぱ検索系?
247ナナシサソ:03/01/20 03:05 ID:HLG0WT1G
>>243
ダウン完了したらキー削除、ちゃんとチェックしてあるん?
手動で登録したやつで、チェックし忘れてたとかじゃないのか?
248ナナシサソ:03/01/20 03:06 ID:XYhxWl3x
>>81>>81>>81>>81>>81>>81>>81>>81>>81>>81>>81>>81>>81>>81>>81

あれだろ?グロ画像だろ?アドレスにcgi-binって入ってるとたいていグロ画像なんだよな。もう騙されない。
249眠い頭で気持ちつっこんでみる:03/01/20 03:09 ID:mpuMJNvA
>>ID:AV2CtYVe
あにめとか流れてるってのは47氏は想定してない。(ことになっている)
おや、自己完結してるな。

じゃ、このネタ
===========糸冬了=============?
250ナナシサソ:03/01/20 03:16 ID:JU1FHMxD
当店ではマジックマッシュルームを研究用として販売しております。
誤って食べてしまった場合に責任を取ることは出来ません。ご了承ください。
251ナナシサソ:03/01/20 03:16 ID:nJXvx/3F
漏れの知ってるcgi-binって入ってるURLは大抵エロ画像だ
252ナナシサソ:03/01/20 03:16 ID:odM/n8Q5
中身はともかく
動的辞書圧縮導入はキーの流通面では面白いアプローチだね。
各クラスタごとの協力が別個で必要だけど
253ナナシサソ:03/01/20 03:19 ID:AV2CtYVe
>>249
そんなつれないこと言うなや。
ま、どうでもいいけどな。でもメモリ食いすぎ、異常。以上。
===========糸冬了=============。
254ナナシサソ:03/01/20 03:19 ID:b00d06cN
>252
流通までやれるかな?
内部的になら、それほど大変じゃないけど・・・・。
255ナナシサソ:03/01/20 03:22 ID:QGPWa7Rf
キーの処理って重いんじゃなかったっけ?
さらに圧縮までかけちゃって大丈夫なん?
256ナナシサソ:03/01/20 03:23 ID:b00d06cN
>255
圧縮って言っても、ハフマンとかやるわけじゃなくて
出現頻度の高いキーワードを辞書化するだけだから。
235の言うように、検索なんかはむしろ速くなるよ。
257ナナシサソ:03/01/20 03:26 ID:AV2CtYVe
>>252
終了しといてなんだけど、俺もキー1個1個送るんじゃなくて、
最大256種類ぐらいのミニ辞書と、そのインデックスで構成されたキーを
まとめて送ったら結構帯域が節約できるんじゃないかと思ってる。

で、受け取った側は、ミニ辞書を内部辞書に加えて、インデックスを置換する。

でまた送る時は、内部辞書から送るキーに必要な最小限のミニ辞書を作って・・・・みたいな。

所詮は妄想だけど。
258ナナシサソ:03/01/20 03:31 ID:nJXvx/3F
静的な辞書を組み込む、というアプローチはいくら効果的でも実装されないと思う。
259ナナシサソ:03/01/20 03:36 ID:b00d06cN
>258
そりゃそうだ。動的でないといかん。色んな意味で。
260ナナシサソ:03/01/20 03:38 ID:AV2CtYVe
>>258
辞書はユーザーが自分で登録する。
後は、他の相手と辞書を送りあって、勝手に辞書が膨らんでいくみたいなのはどう?

自動で作るのもありだけど、負荷がかかるし、あまり綺麗な辞書はできなさそうだし。
261ナナシサソ:03/01/20 03:43 ID:3DthXC/j
現在使用メモリ120Mか。今の倍使ってくれても全然かまわんが。
262ナナシサソ:03/01/20 03:46 ID:Y05aGgDD
辞書とかそういった各ノードの傾向が明らかに出るものを
プロトコル上でやりとりするのは危険だと思われ。

というか、これだけキーがばしばし入れ替わるWinnyで辞書による変換をやるのは
ちょっと辛いんじゃないだろうか。
263ナナシサソ:03/01/20 03:52 ID:b00d06cN
>260
それはよくない。
無駄な辞書ができる可能性もある。

>261
俺もそう。あと200MBくらい盛大に使われても平気。

>262
どの程度の効果/負荷なのかは神(47氏)のみぞ知る。だな。
264ナナシサソ:03/01/20 03:54 ID:Y05aGgDD
(´ー`).。oO(そういえば大昔2GBまで頑張ったことがあったなぁ(w)
265ナナシサソ:03/01/20 03:56 ID:AJ1dvjgK
そんなメモリ使われるといまのユーザーの何割かが弾かれるよ。
512MBくらいのせてろってことでしょ。
266ナナシサソ:03/01/20 03:58 ID:AV2CtYVe
>>262
辞書+圧縮したキーを送ろうが、似たキーワードいっぱいのキーを送ろうがかわらねーとは思うけどね。

それに辞書の動的最適化とかをやらん限り、辞書変換の負荷なんてたいしたことねーでしょ。
ま、でも256byteが32byteに減ったところで、数MB減るか減らないかなんで意味ねーわな。
でも、もし検索のためにメモリを大量に使ってるんだったら、辞書使えば結構効果はあるかもね。
ぐらいだね。

ま、結局最大128MBしかつめない俺のノートを買い換えたほうが早かったりするのだが。
267ナナシサソ:03/01/20 03:59 ID:fwmZev4h
64Mで、がんがってまつ
ノートなので増やせません
268ナナシサソ:03/01/20 04:03 ID:b00d06cN
>266
いや、故意に無意味な文字列を登録して流されると・・・・
一文字をどんどん登録するとかってのはあらかじめ弾けるとしても。

ま、確かに焼け石に水な気がするけどね>圧縮
269ナナシサソ:03/01/20 04:08 ID:AV2CtYVe
>>268
どっちにしろ、キーに使われていない文字列は送れないんで
ゴミ辞書で溢れるということにはならないと思うけど。
いや、でもゴミキーとゴミ辞書をペアで・・・・。
いや、でも使われてない辞書を消すようにすれば、ゴミキーを消したら同時に消えてくれるか・・・。

ま、現状のNYでは、焼け石に水なのは同意。
270ナナシサソ:03/01/20 04:12 ID:Y05aGgDD
キャッシュが保持しているブロックマップをすべてのキー分持ってるとすると、
32768ブロック/8bitで4KBだから、計算が合うかも。
271ナナシサソ:03/01/20 04:17 ID:Q4udi6Cr
>>219
WinnyはRedMagicだったのか!

と遅すぎるレス。
272ナナシサソ:03/01/20 04:17 ID:AV2CtYVe
>>270
それだ!
RLE,RLE,RLE,RLE,RLE,RLE,RLE,RLE,RLE,RLE
RLE,RLE,RLE,RLE,RLE,RLE,RLE,RLE,RLE,RLE
RLE,RLE,RLE,RLE,RLE,RLE,RLE,RLE,RLE,RLE
RLE,RLE,RLE,RLE,RLE,RLE,RLE,RLE,RLE,RLE
RLE,RLE,RLE,RLE,RLE,RLE,RLE,RLE,RLE,RLE
RLE,RLE,RLE,RLE,RLE,RLE,RLE,RLE,RLE,RLE
と47氏が圧縮してくれるまで唱えてみる。
273ナナシサソ:03/01/20 04:21 ID:Y05aGgDD
まぁ、処理を軽くするためにあらゆるフィールドを固定長にしてるんだろうな。

全くキャッシュに無いファイルは例外処理してほしいところだけど、
どれくらいオーバヘッド出るかなぁ。
ダウンが始まったら結局ブロックマックを確保しないといけなくなるわけだし。
274ナナシサソ:03/01/20 04:32 ID:AV2CtYVe
>>273
もし仮にブロックマップをベタに保持しているのであれば、
それは処理を軽くするどころか、逆効果だと思う。(スワップで死にそう)
RLEで圧縮すれば、256byteでも十分すぎるのではないかと思うし、
もし仮に256byteを溢れるようなことがあったら、そのキャッシュを消して一からやりなおせば良いだけ。
ブロックマップなんて転送時ぐらいしか参照しないだろうから、動的にRLEで圧縮展開を繰り返してもゴミみたいな負荷だろうし。
RLEなら逆にブロック表示の速度も上がるだろうし。

てか、それだけで今のメモリ使用量が4分の1になるってのは夢みたい。
ぜひ考えてみてください>47氏
275ナナシサソ:03/01/20 05:19 ID:fa5YCpAI
>>271
すべてがFになったら・・・
276ナナシサソ:03/01/20 05:28 ID:0AnXGo1n
☆バグ報告用テンプレ簡略版 v2.22(゚д゚)
☆--------------------------------------------------
☆【     OS      】 XPsp1
☆【外部から接続不可能 】 可能
☆【     備考      】 
☆--------------------------------------------------
☆【   バグ症状   】 スレッドの発言数が実際の発言数と不一致

☆【 バグ発生方法 】 v1.05.03で掲示板を表示
☆--------------------------------------------------

>正式版1.05.01 → 正式版1.05.02
>・ 捏造警報を参照量の方に表示するようにした
たぶん、この修正のときからスレッドに警報表示が無くなってるので、
警報(無視)スレッドの発言数の表示変更を忘れてると思います。
277ナナシサソ:03/01/20 05:29 ID:b00d06cN
>274
いかに展開しないかがポイントやね。
RLEとはいえ、フロントエンドに持ってきたらやっぱ負荷上がるし。
圧縮する方は、データが更新されるたびにやるしかないんだろうなぁ・・・・。
278ナナシサソ:03/01/20 06:00 ID:pUIC1u8C
>>247
ダウン完了したらキー削除はチェックしてありまつ。
消えるときと消えないときがあります。
何か仕様が変わったのか、それともバグか。
手動で消すのは面倒過ぎる。
279ナナシサソ:03/01/20 07:31 ID:/MHc8Lgp
>>278
ダウンロード完了→キャッシュから変換完了、この一連の作業でリストから消える
ダウンロード完了後キャッシュから変換が終わらないうちにnyが終了した場合
ny再起動してキャッシュから変換してもリストから消えない
280ナナシサソ
既出かな?
★--------------------------------------------------
★【 要望 】スクロールバーを右クリックしたときに
★      スクロールバー用のメニューが出るようにしてほしい
★【 メリット 】いや、なんとなく気持ち悪くて。
★【デメリット】使う人があまりいなそう。
★--------------------------------------------------

ついでにもうひとつ
★--------------------------------------------------
★【 要望 】ファイル検索時やキャッシュ変換時に
★      文字列の置換を適用できるようにしてほしい
★      a -> A 、( -> [ 、test -> テスト みたいに
★      (ただし、キー情報は変更せずに)
★【 メリット 】検索、管理がしやすくなる。
★【デメリット】処理が重そう。
★       意図しなかった変なファイル名ができるかも。
★       ファイル名に対する意識が低くなる。
★--------------------------------------------------