datファイルを共有するP2Pソフト o2on 15dat
>>k-u氏
とても分かりやすい説明をありがとう。
ソースが読めないので o2on の挙動が理解できずにいましたが
DB再構築のプロセスがよく理解できました
今まで私がのたまっていた事を解り易くするために
先日行ったテスト結果をまとめて視覚化しました。
http://o2on.net/up/src/up0061.zip o2on の「DB再構築」を開始から3時間ほど追ったものです。
テストには721氏の「0044自家ビルド版」を使用。
スマートな方法ではありませんがスクリーンキャプチャで
メモリ使用量、dat.db のサイズを30秒間隔でサンプリング。
k-u氏の説明ではキューの処理が間に合わず、ある程度バッファ
されたキューはまとめて「1000件ずつ処理される」とあります。
これで「1000件(レコード)分のデータ」は
MEM → dat.db-journal → dat.db と渡るものと理解しました。
1000件(レコード)分の情報量というと dat.db のファイルサイズ
に置き換えると ≒450KB になります。
でも、450KB相当のデータが dat.db へ移動する様子がテスト結果から読み取れない。
これは「特異な環境による結果」でしょうか?
要望:
前スレ996でもレポがありましたが・・・。
DB構築時に表示されるインジケータのデータソースを
走査プロセスではなくキューの処理を対象としてほしい。
「走査(インジケータ)の終了」=「DB再構築の完了」
と認識して o2on の「P2P起動」あるいは o2on を「終了」
してしまうユーザも少なくないと思います。
落ちました。 O2KeyDB.cppのO2KeyDB::MakeKeyElementから暗黙的に呼び出されている STLのbasic_stringのnewで失敗。 if (cond.mask & KEY_XMLELM_HASH) { key.hash.to_string(tmpstr); xml += L" <hash>"; xml += tmpstr; xml += L"</hash>"EOL; ←ここ } なぜかxmlの中身が空です。 うーん、呼び出しの前後を追ってみましたが、なんでメモリの確保なんかに 失敗してしまうのか、さっぱりです。
メモリ確保で落ちるケースは まず間違いなくヒープの管理ブロックをぶっ壊してるよ。 獲得したサイズ以上に書き込んでる場合が多いけど 他にも、複数回freeしたりnewしてないポインタをdeleteしたりとか。
2〜3日前からグローバルIP確率できなくなったんですがバグでしょうか? ポート解放セキュリティ解放ともに行ってた状態で今まで問題はありませんでした。 ver42/43/44にて使用ポート変更しても結果は同じでした。
他Verでもだったら44固有のバグでもないんじゃない?
>>6 詳細なレポートありがとうございます。
journalファイルに関するところはSQLite内部の話で、
これはトランザクションのログファイルなんですが、サイズがどんどん増えていくと言うことは
トランザクション処理が正常にcommitされていないと言うことでしょうか
> これは「特異な環境による結果」でしょうか?
こちらでは再現しませんがバグには違いないかと・・・
> 要望
前スレで説明不足がありましたが、DB更新スレッド自体はP2P停止、起動にかかわらず
常にキューを監視しています。
キューには他ノードやプロキシから受け取ったデータも登録されていきますので。
通常時はキューにはほとんどたまらないので問題は起きないのですが、
再構築で多量に登録されるとバグが表面化するのでしょう。
またo2on終了時は当然キュー内容を全部処理するようになってますので問題はない"はず"です。
>>11 > これはトランザクションのログファイルなんですが、サイズがどんどん増えていくと言うことは
前スレ
>>965 にある
「dat.db-journal のサイズが不気味に増え続けてる」 は主観的な表現でした。
サンプリングしたデータが表す通り、際限なく増加するのではなく微妙な増減を終始繰り返すのみ。
ほとんど変化のない dat.db に対して、時間はかかってもジワジワとサイズが増加する dat.db-journal
を見てこの様な表現となりました。
> トランザクション処理が正常にcommitされていないと言うことでしょうか
commit とはトランザクション処理の結果を dat.db に反映することを指すのですか?
だとしたら、そのように見えます。(違ってたらゴメソ…)
あのグラフ中にあるように、開始直後 dat.db のサイズが順調に増加しているのに対して
23分あたりからその増加率が著しく減少している様子がその答となりますでしょうか。
「要望」へのレスレスです
問題は再構築のプロセスに関する事ではなく 「インジケータ」 にあります。
「インジケータが消えた時点では、まだ再構築のプロセスは継続しているので o2on を終了できない」
常駐ユーザレベルの人が、この挙動を踏まえた上で o2on を使えばそう問題はないと思いますが
*それでも* いつ終わるか分からないプロセスを終了するまで待ち続けるのはチョット辛いです。
この処理がどの程度進行しているのかが分かれば
- 今回は再構築をあきらめて o2on を強制終了しようとか
- 次回はこのタイミングで再構築しようとか
- 再構築完了までの残り時間を予測してこのまま待とうとか
ユーザが選択する判断材料にもなると思うのです。
管理画面がリアルタイムで更新できたら見てても楽しいかも。 再表示の度にCPU使用率が上がることを考えると結構重くなっちゃうのかな?
linuxで動くならレンタル鯖で動かすんだけどね
>>14 すぐにディスク領域が無くなりそうな希ガス
2006年の12月だっけ?実質プロジェクトが動き出した頃から入れてるがまだ20G前後だよ。 常時稼働じゃないからそこまで参考にはならないかもだけど。 最近のレンタル鯖って320とか容量あるんじゃないっけか? と言うかレン鯖なら是非BOINCを回して欲しい。
17 :
初音の人 :2008/06/05(木) 19:19:05
Ubuntu8.04、o2on44bにてついに管理画面の表示に成功。 Profile.xmlの保存についても何故か普通に出きるようになってる。 しかしながら他タブは問題ないのに管理タブに移行するとo2onがほぼ90%近くで落ちる。 ノードの追加は手動で(ローカルからのファイルコピー)済ませた後にグローバル確定まで確認。 通信自体はまだ確認していないけど、もしかすると管理タブを開かなければ常用が可能かもしれん。
18 :
初音の人 :2008/06/05(木) 19:44:25
>>18 156 初音の人 r-- 62dfb2ba 54320 O2/0.2 (o2on/0.02.0044; Win32) 20,069 23,062 1,803 1,785 2008/06/05 19:55:17 ・・・・
そのままコピペ
20 :
初音の人 :2008/06/05(木) 20:04:55
>>19 さっそくありがとう。
やっぱりWindowsエミュレートしてるわけだからWin32になるわけか。
パーミッションみたいなflg項目の詳細がわからないけど、通信自体はできてそうだね。
でもまだ保管が0件orz
管理タブ以外でもソートをしたら落ちた
UIはこれだけ使えれば全然余裕だと思うけど、保管ができなかったら実用までは今一歩か。
それにしても043からは設定の保存、UIの表示が出きるようになっただけでももの凄い進化だと思える。
開発陣様型の努力と苦労の賜物だと思います。
本当にお疲れさまです。
ところでメッセンジャー機能って前までログが表示されてた気がするのだけどいつからか表示されなくなった気がする。 ログと言うか正確には最新の投稿みたいな感じで。 これって家だけの不具合?
>>20 パーミッションみたいなフラグは
r ・・・ オプションの「稼動状態を公開する」にチェックが入っている
t ・・・ オプションの「スレ閲覧の履歴を公開する」にチェックが入っている
D ・・・ 管理画面の「dat収集」でチェックがひとつでも入っている
だと思う。
一個も補完されないのはDが入ってないからでは?
>>21 うちでは残ってる。(build 0044)
異常終了したときにすっ飛んだとかでは?
23 :
初音の人 :2008/06/05(木) 21:53:35
俺本当にバカ…
結果から言うと保管はできました。
http://www.dotup.org/uploda/www.dotup.org2914.png 前回のノリもあって保管スレに1個もチェック入れないで確認してたわorz
これでGUI利用した場合では正常に保管が確認されました。
ただし専ブラとの連携(V2C20080420)はやはり上手く行かない様です。
Windowsのアプリじゃないからか?と言うことでJaneStyleをWineじゃ×(Jane特有っぽい)
GUI版起動中に別マシンからのアクセスで管理は可能。
しかしながらやはり管理タブ表示をすると落ちます。
別マシンからプロクシ設定をした場合にはスレッド検索としての登録も可能
また、dat取得済みスレッドに関しては閲覧も可能でした。
この時点でLinuxのX入り鯖を運営している場合は十分に運営が可能な状態です。
またDebian etchのCUIのみでもテストしてみましたが
予想はできていましたがやはりこちらは無理でした。
WineがGUIとして表示しようとするために?描画でアウト。
個人的にはコンソールのみでの起動ができるようになれば100点満点です。
しかしながら既存のX利用ユーザとしてはデスクトップ用途マシンならば
問題なく利用が可能な為にかなり利用幅が広がったと思います。
今後もお体に気をつけて開発頑張って下さい。
>>16 Winのレンタルサバとかなかったっけ?
まあo2onのためにサバ借りるのは、何か違うと思うがw
うちは2chのクローラーも走らせてるから38G越えてしまった。
linuxでうごくとなるとi-monaとも組み合わせたくなるな
つまり携帯から過去ログを取得できるかもってことか
>>6 >>11-12 "database is locked" が発生していて、正常に commit されていない
可能性が非常に高いです。
というか、自分の環境でも試してみたら同様の症状が発生してかなり涙目なんですが。
以前 BRANCH_0043 で実験していたときは無問題だったので
そのまま駆け込みチェックインしちまったのですが、
datname のインデックスを作るようにした変更が影響を与えているようで、
それを除去すればおおむね良好です。
ひとまず、細かい原因と改善策をなんとかひねりだしたいです。
>>12 後半部分
ずれた回答してしまってすいません
手短に言いますと、データベース更新作業はファイルを読み込む動作に比べて
ほとんど時間がかからない前提になっているので、プログレスバーをどうこうするより
まずそのバグと思われる動作を直したいと言うことです
> 初音の人
特に努力と苦労をした覚えはないですが、IMultiLanguage2に変えたのが効いたのでしょうか・・・
>>27 失礼、私が追加したコードですね (´・ω・`)
そのインデックスは、dat一覧を出すときにdatnameでのソートが速くなるので入れました
insert時にパフォーマンスが落ちることは分かっていたのですが、検証不足だったようです。
とりあえず抜いてもらっても結構です。
が、
根本的に、データベースが使用中ならば待つような仕組みをo2on側で用意してはどうかと思います。
現在は適当に5秒待ちになってますが、DBのロックをちゃんと把握して待つようにした方がいいかなあと
もしくはタイムアウト後にリトライするかですね
いまのままですと、不具合がユーザ環境に激しく依存するので好ましくないでしょう
>>28 > ほとんど時間がかからない前提になっているので、プログレスバーをどうこうするより
なるほど、そういう経緯でしたか。
これは「要望」なのですが (開発の優先度は低くても構いません)
フィックス後も 「走査終了→構築終了」 の間に大きな遅延が存在しうる場合
どのような形であれ 【構築中】 【構築完了】 のステータスは欲しいところです。
DBの再構築を目的とするユーザにとっては、構築プロセスの一つである
「走査の進捗状況」のみを知ってもあまり利益はないと思いますので。
これって管理画面のdat収集で特定の板だけ設定できないのですか? チェックをはずしても元に戻ってしまうんですが。
確定ボタン
アップデートするときに上書きするファイルってo2on.exeだけで良いですか?
>>33 良い場合とダメな場合がある。
自分で判断できないなら「全て上書き」にすべき。
確か以前.exeとadmin上書きだったような気が
sourceforgeのサイトって変わった? 乙です
>>28 > そのインデックスは、dat一覧を出すときにdatnameでのソートが速くなるので入れました
> insert時にパフォーマンスが落ちることは分かっていたのですが、検証不足だったようです。
なるほど、思わぬ弊害ということですね。自分の検証不足でもあります。
> 根本的に、データベースが使用中ならば待つような仕組みをo2on側で用意してはどうかと思います。
> 現在は適当に5秒待ちになってますが、DBのロックをちゃんと把握して待つようにした方がいいかなあと
> もしくはタイムアウト後にリトライするかですね
激しく同意です。
いきなり
if (err != SQLITE_OK) goto error;
しないで、
err == SQLITE_BUSY 時に適当に待って何度かリトライする感じですかね。
とりあえず SQLITE_BUSY とリトライについて調べてみます。
それと、あまりにもエラーが続くようだったら、あるいはキューが溜まりすぎたら
dat 走査を一時停止するという仕組みも必要だと思われます。
メモリ使用量的な意味でも。
0043と0044はどっちの方が安定していますか? ちょっと不安
0044bは結構安定してる ような気がする
0044b安定中
0044にしたら何もしてないのにアプリケーションエラーで落ちることがちょくちょくあったけど 0044bは一度もない。安定している。
43で最近ちょくちょくDBを開くのに失敗する
44b圧勝
DB再構築をするときに、datテーブルの中ってクリアしないんでしょうか? (それらしいコードは見つからなかった) なぜかというと、現在0044bを使用しているのですが、管理画面のdat収集のページを 表示しようとすると、o2onが落ちるようになってしまいました。 ソースを追いかけてみたら…(長くなったので自主規制)…dat.dbに異常なレコードが 含まれており、これが消えない限り解決しないという結論になりました。 SQLite Database Browserなどを使って手動でdat.dbから異常なレコードを消せば 良いのでしょうけど。 DBrebuilder v1.1ではdat.dbを一から作り出すから大丈夫なんでしょうね。 ちなみに、異常なレコードが作られた原因は不明です。 異常なレコードのlastupdateは1212450516(2008/06/03 08:48:36)でしたが、 この時間は何もしてないかスレを見てたか、どちらかなんですけどね。 テーブルに制約とか入れると、また重くなってしまいますよね…。
>>45 > なぜかというと、現在0044bを使用しているのですが、管理画面のdat収集のページを
> 表示しようとすると、o2onが落ちるようになってしまいました。
この時は0044bで正常に構築を完了したdat.dbを使ったの?
うちの場合、既存のdat.dbをそのまま流用してるんだけど
dat収集のページを開いても落ちることはないなあ
> DBrebuilder v1.1ではdat.dbを一から作り出すから大丈夫なんでしょうね。
o2onは既存のdat.dbのあった場合、その差分とかを参照しながら構築してるんですか?
>>46 dat.dbは0044bで正常に完了した物を使いました。
>>45 の省略した部分に原因があったので、かいつまんで書くと
o2onのDB再構築は読み込んだファイルからハッシュを生成して、
それをdat.dbに対してinsert or replace into〜を使って更新をかけています。
o2onはDB再構築の前に delete from dat や truncate table dat を実行していません。
なので、キーとなるhashが一致しない限り、異常なレコードが生成されたときに消える機会が無くなります。
んで、問題のあったレコードは、datテーブルのhashに何か入っていて、
それ以外が空文字か0、lastupdateとlastpublishは1212450516付近の値。
そしてdat収集タブを開くときに、O2Boards::MakeBBSMenuXML()から呼ばれる
O2DatDB::select_datcount()で"ドメイン:掲示板名"のmapを返してくるのですが、
":"というドメイン名と掲示板名が空のものがかえってきます。そのためMakeBBSMenuXML()のなかの
for (nmit = nummap.begin(); nmit != nummap.end(); nmit++) {
wsplit(nmit->first.c_str(), L":", token);
xml += L"<board>"EOL;
xml_AddElement(xml, L"bbsname", NULL, token[1].c_str()); ← ここ
で存在しない添え字を参照して落ちてしまいます。
49 :
初音の人 :2008/06/09(月) 02:58:13
以前LinuxのV2Cからスレッド検索に登録ができないと書きましたが 今確認した所きちんと登録が可能でした。 しかしながら不安定?な様で登録ができる場合とできない場合があるように思えます。 こちらに関してはポップアップが表示できないために確認作業が大変ですが、 デスクトップとして使用する分にはほぼWindowsと変わらない環境で使用できそうです。 あと初めてメッセージを頂きましたw 送ってくれた方ありがとうございました。
50 :
初音の人 :2008/06/09(月) 03:22:36
あ、取得済みのdatに関しても閲覧に関してはV2Cからの読み込みはできないようです。 なのでWindows同様にとはいきませんね。 Javaでのマルチプラットフォームを実現しているV2C(Windowsと同様の動作をしてくれるかなと)が 無理なので、他の専ブラも希望は薄そうです。 こちらも余裕があれば動作の検証をしてみます。
bbs2chreaderの開発が終了しました。。。
>>48 自分の場合はIEの右クリックメニューに"リンクを2chブラウザで開く"メニューをつけてあるので、リンクを片っ端から2chブラウザに送ってしまえば過去ログになってるものは全て登録されます
>>48 バーボン食らわない?
後開くのがとても重いし
54 :
53 :2008/06/09(月) 14:07:23
バーボンって連投規制とかじゃないっけ? 読み込みは大丈夫だろう。
過剰リロードでもバーボンに引っかかる 同一サーバーでスレを読むときは10秒ほど間隔をあける必要がある
それは知らなかった。
どれくらい開くとなるんだろうか。
同一板のスレを10個くらい開いてJaneで全てのタブの新着チェックしても問題ないしな。
ちなみに
>>2 のスレを選択→選択範囲のURLを全て開くも問題無し(14個)
ブラウザからってのが問題?
Greasemonkey使ってo2onの検索に直接放り込むスクリプト使ってるけど、 時折o2on側からの返答がなくなって止まったりする。 あと生きてるスレッドも検索登録されることになったりとか。
>>47 > o2onはDB再構築の前に delete from dat や truncate table dat を実行していません。
> なので、キーとなるhashが一致しない限り、異常なレコードが生成されたときに消える機会が無くなります。
この問題は構築後にanalizeによって解決しないのですか?
analyzeってのは統計情報を更新するコマンド。 異常なレコードが登録されてるならば、truncateなりdeleteなりして、レコードを削除しない限り 勝手に消える事は無い。
>>61 ありがとう
でreindexってのはなに?analyzeとはまた違うんだよね
いまいちこの違いがわからない…。
どちらもデータベースを整理整頓して読み込みや書き出汁の効率を上げるためと
理解して気が向いたときに実行してるんだけど
>>62 reindexは、インデックスを再作成します。
analyzeは、テーブル内のレコード分布を調べて、検索クエリーが実行されたときの
インデックスの使われ方を決めます。
ほんとに0044b安定してるな
>>61 >>63 重ねてありがとう
どんな機能なのか分からないまま使っていくのが、なーんとなく気持ち悪かったもんで聞いてみました
で、なんか狂ったと思ってo2on終了させたら Proxyを終了してますで止まった Ver 0044b
むしゃくしゃしてやった。 のかと思ったよ。
過去ログ取れねーと喚いてた者ですが URLの"kako/"を削ったら落ちてきますた。 お騒がせしてすんまそん
75 :
69 :2008/06/11(水) 18:25:40
>>75 本当にありがとうございます。
ありがたく使わせていただきます。
>>75 ( ⌒) ∩_ _ グッジョブ!!
/,. ノ i .,,E)
/ /" / /"
_n グッジョブ!! / / _、_ ,/ ノ'
( l _、 _ / / ,_ノ` )/ / _、_ グッジョブ!!
\ \ ( <_,` )( / ( ,_ノ` ) n
ヽ___ ̄ ̄ ノ ヽ |  ̄ \ ( E)
kako2chspiderを長時間(40時間くらい?)動かしてると、 途中から取得datの容量が0バイトになっちゃうんですけど…
>>78 それだけ動かしてると、どんなもんのdat数を取得できるの?
DB 再構築周辺のメモ。 O2DatDB::update() が dat の数だけ O2DatDB::select(O2DatRec &out, hashT hash) を呼び出すのだが、これは無駄極まりなくて、 特に呼び出した分だけ sqlite3_prepare16_v2() するのが激しく無駄。 sqlite3_stmt は一回用意したら使いまわそう。場合によっては SQLITE_BUSY を返すし。 O2DatDB::update() 内で select するコードをべったり書くか、 それか sqlite3_stmt* を受け取って、それを使う関数を作るかだな。 datname のインデックスはとりあえず残す。
>>78 連続で取りすぎでバーボンくらってるとか?
こちらは生きてるスレを取得してるけど、1秒1スレにしておかないとバーボンに引っかかってしまう。
オレ使うだけの人なんだけど、Ver 0044bって dat落ちurlをクリックした時に「検索に追加しました」ってバルーン表示しないの? 管理画面・スレッド検索を開くと追加されてるからまぁ良いんだけど、o2onオプションの バルーン通知で「検索登録時」にチェックしててもバルーン表示してくれないです。 「P2P起動・停止」、「補完時」はバルーン出るです。 「メッセージ受信時」は、受信したこと無いから知らんです。
83 :
78 :2008/06/12(木) 14:57:56
>>79 取得間隔が長いので、まだ4000ちょいですわ。
ログ集める板も限られてるし
>>81 1秒でも大丈夫なんですか?
今まで●焼きが怖くて20秒間隔に設定してました…
>>83 間隔を短くするつもりなら、やめとけ
613: 704 [sage] : 2008/03/28(金) 20:37:14
>>612 ●はHTTPヘッダで判定できるのでその方がいいかも
ところで、o2on側で●ログインしてdatを持ってきて他ノードに配るって言うのを
自動化した場合規約違反になるんでしょうかね?
あるいはアクセス過多で焼かれることってあるんでしょうか
614: デフォルトの名無しさん [sage] : 2008/03/28(金) 20:55:08
FOXに聞いてみたら?
615: デフォルトの名無しさん [sage] : 2008/03/28(金) 20:57:58
やり過ぎるとバーボン行きにはなりそうだな
30秒感覚くらいなら大丈夫じゃね
616: デフォルトの名無しさん [sage] : 2008/03/28(金) 21:00:00
おれは2秒おきに取りにいってるけど、大丈夫。
間髪入れずにいくと流石にバーボンだな
617: デフォルトの名無しさん [sage] : 2008/03/28(金) 21:04:29
>>613 自動化はアウトじゃね
あと他人に配らなくても過剰にアクセスした段階で焼かれる
大体30秒に一回取得のスクリプトを一日回したら焼かれた
>>80 ここのselectってinsertするかupdateするか判定してるだけですよね?
とりあえずupdateしてみて更新件数が0件ならばinsertってロジックにしたらいいだけでは無いでしょうか。
SQLiteでも更新件数って取得出来ますよね?
86 :
78 :2008/06/12(木) 17:31:13
>>84 どうもです。
もっと延ばさなきゃ駄目なのか…
>>85 ですよね。先に INSERT するって方法もありますね。
そこで、よくソースを読んだらひどすぎるバグを発見したよ。
bind(db, stmt_update, 6, it->hash) してないので、結局何も更新されないの。
癒された。
データベース周りはもっといじった方がいいみたいですね。 ネットワーク関係は安定してるんですけどね。 引き続きバグフィックスはBRANCH_0043でよろしいでしょうか バージョンごとに分けていった方がいいですか? 分けすぎても面倒かなと思いますが trunkは放置になっていますがバグフィックスをマージして プラットフォーム依存のコードを減らす作業でもできたらなあと思っています。(妄想)
>>85 、
>>87 selectせずにinsert or replaceだけで充分な希ガス。
update or replaceを使って意味があるのは
UNIQUE項目(datテーブルの場合はhash)をupdateする場合だけでしょ?
“or replace”なんていう非標準SQLを使いたくないって理由なら
プログラム側で分岐するしかないけど。
>>89 > 引き続きバグフィックスはBRANCH_0043でよろしいでしょうか
> バージョンごとに分けていった方がいいですか?
> 分けすぎても面倒かなと思いますが
BRANCH_0043 のままでいいと思います。
隠れていたo2onのブレーンたちがこんなにいたのか。 実は静かにソースを眺めていたのね o2onはまだまだ進化しそう。。。心強いなあ
>>90 一からまるごと再構築という観点ではそんな気もするんですが、
現在は既存の DB をベースに最新の状態に更新する形での再構築という仕様で、
UPDATE すべき場合は lastpublish というカラムはそのままにしておきたいという
仕様がある感じなので、INSERT OR REPLACE だけで済ますのは微妙。
あくまでも現状の仕様を維持するのであればの話ですが。
逆に、今が絶好のチャンスなのでその辺の仕様を覆すような案も歓迎。
いろいろな話がちょっと前にも出ているわけですし。
他にも DB 周辺の指摘やアドバイス歓迎。
むしろいい具合に書き直してくれる人歓迎。
94 :
78 :2008/06/13(金) 18:08:09
取得間隔を2秒にしてやり直したら、 1000番代以降の最古スレまで完走したものの、 歯抜けが続出… 間隔延ばしても 一定時間クロールし続けると 弾かれる様だし… どうすればいいんだ('A`)
(自分の中での)データベース関係検討事項
詳しい人の突っ込みが欲しいです
・テーブル構造
datテーブル一つの方がパフォーマンス的にはよろしいのでしょうか?
(現状リレーショナルになってません。エクセル表みたいな感じ)
datnameは文字列じゃなくてスレ立てtimeを数値型で持った方が速いのでは→ただし汎用性低下
・再構築プロセス
なんかスレッド生成しまくってるのが気に入らない
I/Oとりあってそう
・update
どこが重いのかちゃんと調べる
ただしいSQLの使い方を調べる
軽量化・簡素化
>>87 のような間違いが起こるのもなんか関数が長すぎる希ガス→コード整理
・DBロックエラーの処理
>>28 ロック時間は数百ms程度に抑えた方がいいのではないだろうか 根拠無い数字だけど
>>93 o2onを手掛けた原作者の設計構想はともかく
実際にソースを見た人は、1からのDB再構築と
既存のDBを活用しての再構築では
どちらにメリットがあると考えますか?
今のo2onに限って言えば、同じDBが生成されるのなら
どちらの方法であれ、再構築に掛かる時間の短い方が
ユーザ側にはメリットがありますが
将来的な機能の拡張を考慮すると、また別の話になるんでしょうね
>逆に、今が絶好のチャンスなのでその辺の仕様を覆すような案も歓迎。
確かにいいチャンスなんでしょう・・・
# コードが読めない、書けない人間には歯がゆいところです
こんな機能はコードを大きく書き換えることなく追加できたりするものなんでしょうか。
・P2Pを実行しながらDBの再構築ができたりとか
・何某かのフラグを格納するフィールドを後から追加したりとか
>>95 氏の
> ・DBロックエラーの処理
> ・テーブル構造
にも絡んでくる話ですね。
Linuxでも完全に動くように期待してるよ♪ dat保有量がエロ動画の量を超えててなんか悲しくなった…
>>95 C++は読めないんですが、読めないなりにO2DatDB.cppを眺めてみた感じでは
以下の2文が遅いように思えます。
・where句なしのorder by random()
・select sum(disksize) from dat;
前者はたぶん全件ソートがかかると思われます。
(limitがかかっているとしても、それ以前に全件ソートがかかると思われます。)
というか、そもそもDBMSはランダム処理が得意ではないので
どっちにしろプログラム側で処理すべきです。
後者に関しては、このSQLを発行するならdisksizeにindexがあるべきです。
ただ、そんなに頻繁に使用するSQLではない(管理画面→状態と、
他ノードからのプロフィール参照でしか使わない?)と思うので
あまり気にしなくても良いかもしれません。
それ以外はSQL単品で遅いものはないように見えるので、
呼び出す回数を減らすことを考えたほうが良いと思います。
ちなみに、テーブル構造をいじる必要は感じません。
正規化の観点では若干違反していますが
パフォーマンス上は現状のほうが有利と思います。
>>95 ロックを回避するにはトランザクションを短くするしか無い気がします。
現状キューにたまった場合1000件ずつ処理されてるのを設定で可変にするとか。
件数減らせば更新のパフォーマンスは落ちますが、ロックが起きて更新されないよりはマシって事で。
>>98 全件sumるんだからindex関係無くないですか?
where句で何か条件が指定されてるんならわかるんですが。
100 :
98 :2008/06/14(土) 11:15:35
>>99 テーブル全体を舐めるかインデックス全体を舐めるだけかの違いで
I/O量が変わります。
とはいえ、テーブル全体でもせいぜい数百MBだと思うので
あまり変わらないかもしれません。
いまwikiから最新版をDLしようとしたら404なんだけどどういうこと?
>>98 >>100 ・where句なしのorder by random()
は確かほとんど呼ばれない仕様になっていたような
他ノードにdatを拡散する場合に使われます
・select sum(disksize) from dat;
これは遅いという報告があり、こちらでも再現します。
2回目以降はキャッシュするのか速くなるようです。
インデックス入れてテストしてみます。
>>96 違う人が答えますが
正直現状のDB再構築の意図がよく分からないです
手元にdatファイルが無く、スレタイ等のデータは持っている場合に、
そのデータが消えないということはあるんですが、そのような事態が起こる条件、消してしまった場合の弊害等未調査。
(dat.dbファイルごと削除して再構築は何回かやっていますが、目立つ不具合はなかったように思います。)
変なデータが登録されていた場合に、それが削除できないという問題もあります。
lastpublishをそのままにしておきたい意図があるとのことですが、これはクリアしてしまってもいいのではないでしょうか
どちらかというと一時変数的な役割だと思うし、スレタイ(title)のように恒久的なものではないので
> ・P2Pを実行しながらDBの再構築ができたりとか
現状のまま同時実行できるようにすると・・・
DBロックエラーが多数出ると思います
またdatファイルの読み書きが衝突した場合にどうなるかが問題
対応はちょっと大変です。
> ・何某かのフラグを格納するフィールドを後から追加したりとか
データベースにカラムを追加するだけならすぐできます
連絡
boostとsqliteがバージョンアップしているので移行予定
boostはなんかビルド時のコマンドラインオプションが変わったのでそのうちドキュメント更新します。
>>101 古いwikiには誘導を入れておいた方がいいでしょうか・・・
新旧wikiでいろいろ食い違ってきたのでsourceforgeに一本化したいとおもっております
106 :
96 :2008/06/15(日) 01:07:28
>>103 忙しい中、素人相手にレスいただいて感謝です
抱いていたモヤモヤも払拭されました。
この様な開発メンバーが居ると思うと、なんか嬉しいです。
o2on使い続けて来てよかった
>>105 > 新旧wikiでいろいろ食い違ってきたのでsourceforgeに一本化したいとおもっております
wiki なら多少いじれるので、微力ながらお手伝いさせていただきます。
ただ、うぷろだをSourceforge内に新設して欲しいのですが、規約上これは可能でしょうか?
wiki のうぷろだでは使い勝手が悪いので。。。
暫くは旧サイトのうぷろだにリンクを張ってもよいと思うのですが
なにしろ原作者様が用意したサーバをこのまま使い続けるのも気が引けます。
あぷろだ設置お疲れ様です 当方ADSL8Mですが、早速テストうぷしてみました。 今までのあぷろだに上げられたブツとSnUploaderのログです。 このログは何かのためにと、私的にSnUploaderを使ってミラーしていたものです。 うぷテストなので不要であれば削除しますのでその旨レス下さい。 あと、せっかく100MBまでうぷできるように設定していただいたのですが 28MB のファイルをうぷしようとしたら、タイムアウトになってしまいました。 こちらの環境なのか、Apache側のタイムアウト/ファイルサイズ設定が 原因なのか判然としませんが、一応報告まで。
o2onってこの板以外のスレはもうないの?
この板以外ってダウソにしか立ったことないと思うけど、そっちはもうない。 あ、ν速にも立ったことあったか。
いや、もともとここだけだったけど厨房が勝手にダウソに立てた
P2Pだからダウソかと思ったんだろうね
DB 再構築の話なんですけど、今までの話を総合した自分の案です。 ・全部空にして一から再構築 →ゴミデータ除去できる ・dat フォルダの走査と再構築を同期して行う(たぶん build 0031 のような感じ) →インジケータとか、ユーザにわかりやすい →ひたすら INSERT OR REPLACE する関数をでっち上げる ・再構築中は他の処理による DB アクセス(特に書き込み)を避けたい →少なくとも、従来の更新用スレッドは止めるとか という感じで、既存の SQL 関係の関数についてはエラー処理や効率アップに 励むのがいいのかなぁと思います。
>109-112 そっかー、ここだけなんだ。 使うだけのオレには敷居が高いな。
常時開いたままだからどこの板にあるとかどうでもいいな 俺もバージョンアップの確認の為だけにスレ見てるだけだが
ほんとに最近安定してるね 0044bにしたおかげでdatも10万いったよ
奇遇だな、ちょうど俺も10万突破したとこw
最近入れ始めて、昨日までは普通に動いてたんだがアイコンのOと2のとこが赤くてP2P停止状態になって困ってるんですが なにが原因かわかります? あとウイルスと判断されるdatがよくDLされるようにまりました
>>118 ディスクいっぱいorクォータ指定量に達してないか?
ウィルスはそう判断されるコードを書き込む奴がいたから
無害なのでログフォルダを検索対象からはずすよろし
>>119 達していました…
ありがとうございます。
これdat保存フォルダを別のドライブに移すってことはできませんかね?
今のドライブではこれ以上クォータ容量を増やせないので
o2onのフォルダごと別のドライブにうつしちゃえば
俺もドライブ移動しよう移動しようで結局してないや。 こまいファイルで20G移すのとかどんだけ時間が掛かるんだろう。
移動のこととかアンインストールのこととかマニュアルにあると親切だよね まだαなんで親切さをアピールしてもしょうがないんだけど
FFC使えばいいんじゃないか?
全部消して新規でやるのがいいと思うけど
>>120 1) o2onを停止する
2) datフォルダを好きな場所に移動する
3) conf\Profile.xmlをテキストエディタで開いて
CacheRootの「.\dat」の部分を書き換える
(例えばD:\o2on\datに移動したなら「D:\o2on\dat」に書き換える)
4) o2onを起動する
でいけるはず。
>>127 ありがとうございます
無事移動できました
話がかわるんですが、クォータ設定してる人はどれ位に設定してますか?
参考にしたいので教えてください
今見ているスレッド内にある前スレや関連スレッドなどの 2chのURLを全てo2onに検索登録するスクリプトが欲しいです。 Janeの外部コマンドに登録して、右クリックから使いたいんです。 スレ内の2ちゃんねるのURLを全てo2onに検索登録=WScript "$BASEPATHo2onAdd.vbs" "LOCALDAT" こういった感じです。vbsでもjsでもおkです。お願いします。 Query.xml に追加で書き込むようにすればいいんですよね。 このハッシュ値はなにから計算されたものなのですか? Wiki見てきます。すいません。
スレ内の2ちゃんねるのURLを全てo2onに検索登録=WScript "$BASEPATHo2onAdd.vbs" "$LOCALDAT" だな。失礼致しました。
>>107 POSTの上限は10MBの予感。直しておきました
>>113 0031から0032に変わる辺りは参考になりますね。
元々ロックエラーが頻発した為、DB更新のスレッドを別にしたようです。
私は再構築時には UPDATE_THREAD_INTERVAL_S を短くして
かつキューにたまりすぎないように適当に制限するというのを考えていました。
(コードあんまりいじらなくてすみそうだからw)
とりあえず実装してみて、テスト版公開して試してもらえばいいと思います。
私の方はテスト版出せるか分かりませんので、適当に進めてくださいな
>>129 ハッシュの算出方法はperlの例が過去ログのどこかにあったような
Query.xmlに追加する方法では、o2on起動中には効果がないはずなので
不便だと思います。
管理画面のスレッド検索と同様にPOSTすれば登録できると思います。
ハッシュの計算も不要です。
POST先 /xml/query
クエリ
act=add
hash="" (空文字列)
note=[任意] (UTF-8かな Jane とか入れとけばいいかと)
url=[スレのURL]
1件ずつしか処理できないので1回ずつPOSTしてください。
あまり高速に連続してPOSTするとo2onがなにかおかしくなるかもしれないので注意してください。
133 :
129 :2008/06/18(水) 20:53:10
>>132 親切にありがとうございました。
頑張ってみます。
自分が共有してるログのどれがリクエスト多いか表示されないの?
現時点でのdat数を述べなさい。
319,760
収集してないから2,705
datフォルダのプロパティで見たら202,726だた
251,566
312107
いや上には上が居る、確かdat容量100G突破した人いなかったっけ? その人はきっと100万所じゃないはず
>>134 DBにカラム追加して要求回数とか書き込めば簡単にできるとは思うけど
益々ロックされる可能性が増える訳で・・・
てかメッセンジャーとかフレンドってどういう目的で実装されてんの?
メッセンジャーでログ補完の依頼が来てたよ 名無しの知らん奴から
>>145 それ誤爆じゃね?
前●持ちで自動補完をメッセンジャーで受けてる人いたから
つーかそういう目的で実装されてるってことで
>>144 の疑問は解決したと考えていいんじゃないか
どなたかおともだちになっていただけませんか?
firefox 3 にしたら管理画面の動作速すぎワロタwww
スレッド検索登録数 10101 総dat数 315,226
よく分からんがo2onのdatフォルダを指定したらダメなのか?
>>153 専ブラのログフォルダとo2onのフォルダを同じドライブに置いて、
datにハードリンクをかければイイジャマイカ
>>157 /\/\人ハ _,.,.,.,.,.,.. __
\調 そ い ゝ ィllKkミ 〈 ヽ
/ 〉"i'゚L´゚` ルリ | |
\子 の い〈 |にフ 〈 _j |
/ ゝ `ーr > '´ | ヽ_
\だ そ゛ 〉 ,ノ 丿 , ―‐ \
/ 」 / / | 〈 〉
\ }/ 人 >ー――〈
/`Y^Y^Y^Y〈゚__ノ \゚___/ | 〈____〉
| 〈 〉___〈
| 人〈_____ノ
(il⌒ヽ ; {  ̄ ̄ ̄
〈 ̄ ̄ ̄}〕 / ヽ
〈 ̄ ̄ ̄}\ ',
〈 ̄ ̄ ̄}爻爻 `ヽ
. `r――'}爻ミ、ノ \
/`ーr‐'´ } \
. / ヽ_{_,ノ \
/ /⌒ヽ
>>152 スレッド検索登録って3000までじゃなかったっけ
>>159 今、自分のを確認したけど、6071 だったよ。
どんだけ巡回したらそんな数になるんだよw 俺64だぞw
>>161 y2o2onADD.pl っていうのを使わせてもらっています
この板のスレッドを検索登録にしたい場合は /test/read.cgi/tech/ 2ch.net で検索すると一気に登録できます。
165 :
152 :2008/06/23(月) 10:41:55
スレッド検索登録数 11961 総dat数 316,549
166 :
152 :2008/06/24(火) 00:38:50
スレッド検索登録数 17496 総dat数 317,381
>>155 別の人だけど、スレッド全文検索に o2on のフォルダ指定してみたら、検索可能だった
でもこれ、大文字・小文字区別しないとか、
and検索、or 検索ができなかったり不満点がいくつかある。
169 :
152 :2008/06/24(火) 08:33:49
スレッド検索登録数 21732 総dat数 317,742 スレッド検索登録数が20000超えた辺りから追記するのが遅くなった。 書き込んでいるときにガリガリ音がする。 これ以上、僕のPCのスペックでは無理みたいです。 一日1000スレくらいは取得できてるな。
スレッド検索登録数って管理画面のスレッド検索タブの左上ら辺にある数字のことだよね? dat収集で全板にしてるんだけどやっぱそっちも入れた方が効率は良いの? スレッド検索登録数 67 総dat数 201,257
ちょいと調べてselect_datcount, select_totaldisksize, analyze は
begin; end; で挟んでやるとすごく速くなりました。謎仕様です。
>>169 検索登録の方はDBとか使ってないですからね
定期的にXMLファイルに書き出してますし
そういう使い方は想定されていないものと思ってください
172 :
152 :2008/06/25(水) 05:40:31
>>170 どうかな。多少は収集する効率が上がると思うんだけどな。
読まないdat取得しても意味ないんだけどな。
このまま放置することにします。
o2onを通常に起動しているときはCPUをあまり使わないのですが、
これだけ登録数があると、やはり管理画面を開くときに相当CPUを使います。
普段 約2%
管理画面を開くとき 約60%
Intel Core2Duo E7200(2.53GHz L2 3MB)
メモリ 2GB
スレッド検索登録数 21924
総dat数 318,773
>>171 作者さん、調子に乗ってすいませんでした。
これからも開発よろしくお願いします。
それでは失礼致します。
>>173 ( ⌒) ∩_ _ グッジョブ!!
/,. ノ i .,,E)
/ /" / /"
_n グッジョブ!! / / _、_ ,/ ノ'
( l _、 _ / / ,_ノ` )/ / _、_ グッジョブ!!
\ \ ( <_,` )( / ( ,_ノ` ) n
ヽ___ ̄ ̄ ノ ヽ |  ̄ \ ( E)
>>173 差し替えて、dat.dbを削除してから
再構築をしてみましたが
2008/06/26 16:16:31 SQLite error - - database is locked
略
2008/06/26 16:07:37 SQLite error - - database is locked
2008/06/26 15:35:16 P2PServer info - - 停止 (port:xxxxx)
ロックしてます。
>>173 乙です。
余裕ぶっこいてたら先を越されたぜ。
俺版も明日あたりに出したいです。
PRAGMA synchronous = OFF; よさげ
4月あたま以来ひさびさにこのスレに来た俺に、当時から何が変わったのか200文字以内で説明してくれないか?
>>113 の
>・全部空にして一から再構築
> →ゴミデータ除去できる
>・dat フォルダの走査と再構築を同期して行う(たぶん build 0031 のような感じ)
> →インジケータとか、ユーザにわかりやすい
> →ひたすら INSERT OR REPLACE する関数をでっち上げる
>・再構築中は他の処理による DB アクセス(特に書き込み)を避けたい
> →少なくとも、従来の更新用スレッドは止めるとか
を実装してみたバージョンです。適当に再構築してみてください。
あらかじめ db フォルダ内の dat.db をバックアップしておくことを強く推奨します。
http://o2on.sourceforge.jp/upfile/o2up0005.zip
181 :
175 :2008/06/27(金) 17:35:37
>>179 ただいま、再構築中です。
1000単位で、総dat数が増えていきます。
dat.db-journalが出来る気配がなく
52000まで、登録できました。
2008/06/27 16:54:17 UpdateThread info - - 停止
2008/06/27 16:54:12 P2PServer info - - 停止 (port:xxxxx)
>>175 >>180 やはり対症療法的なやり方では駄目なようですね
>>179 版ご利用の皆様
こちらではまだテストしてないですが、再構築中にスレを読み込んだりしても大丈夫でしょうか
パフォーマンス(再構築にかかる時間)が著しく低下、もしくは改善していないかも可能であれば調べて欲しいです。
>>179 最初の全件削除はSQLで行っていますが、ファイルごと削除(もしくはリネーム)して
create_table からやり直した方がいいのではないかと思います。
微妙な残りカスも完全に消せるし、リネームすればバックアップもとれるので
それとも dat.db.rebuild とかで再構築して最後に差し替えるのがいいかな?
183 :
175 :2008/06/27(金) 20:40:14
>>182 307,000までいきました。
> 再構築中にスレを読み込んだりしても大丈夫でしょうか
大丈夫なようです。
このスレ
.\o2on\dat\2ch.net\tech\1212\1212302014.dat
を直接開いてみたところ、きちんと182までありました。
パフォーマンスとしては、よくわかりません
初期バージョンのころDAT構築で、一晩放置しないと終わっていなかったので
こんなものでは?と思っています。
あと、こんなエラーが出ていました。
2008/06/27 20:32:47 SQLite error - - disk I/O error
184 :
175 :2008/06/27(金) 21:47:34
2008/06/27 21:39:26 UpdateThread info - - 開始 無事に終わったようです。 総DAT 371,521
「スレッド検索」で、チェックを入れたやつを一括削除できるような機能がほしいです。 誰かお願いします。
>>179 氏
お疲れ様です。まずはご報告〜
再構築をストレス無く 『完走』 できたようです。
今回は詳細なデータを取ってなかったので
明日にでも前回と同様の検証作業をしたいと思います。
その際
>>182 氏 の言う 「再構築中にスレの読み込み」
も検証テーマとしてみます
久々にBOINCを回し始めたらo2on 44b落ちまくった 44にして今再構築中♪
>>187 BOINCも44bも使ってるけどどっちも落ちたことないな
その他の環境の違いもあるのかな
最近接続ノードの数がちょこっと増えたな これも多少は普及してる証拠か
そんなに大きな宣伝活動もしてない筈だしそれでも普及してきてるのは凄いよな。 俺は友人に勧めてみたが相手にもされなかったがw バカじゃない?ってw いっそ一回宣伝でもしてみるか?
いま確認したらノード150もあっておったまげたぁ
俺フリーソフト紹介するメルマガ購読してるんだがそこで紹介してたんで入れたぞ
管理画面のノード一覧で、項目名の上あたりに水色のグラデーション(dat収集のページに出てるのと同じ色合い)が 出てるんだけど、なんか意味があるんだろうか?
収集すればするほど色が濃くなるって意味だと思うよ 俺はそう捉えてるが
196 :
194 :2008/06/30(月) 20:58:38
gifよりpngのがよくね gif256色しか扱えないし
俺はいつもpng派
>>196 Kademliaにおけるk-bucketの埋まり具合を表すんだと思う。
なんて思いながらソースを眺めてたら、O2NodeDB.cppの244行目、
i, (int)((double)KBuckets[i].count()/(i+1)*100.0));
は
i, (int)((double)KBuckets[i].count()/KADEMLIA_K*100.0));
の間違いなんじゃないかって気がしてきた。
質問です急に Proxy起動失敗: bind失敗 (port:8000) o2onの起動を中止します とか出て起動できなくなってしまったんですが なにが原因なんでしょうか
port8000が既に使用されてる
>>198 やはりパソコン画面のキャプにはpngだよね
jpgはノイズが発生するから嫌い(非可逆圧縮でのjpgでの話、まあjpgが可逆圧縮に対応されていることすら知られてないけど)
>>182 > それとも dat.db.rebuild とかで再構築して最後に差し替えるのがいいかな?
dat.db.rebuild で再構築して、既存の dat.db をバックアップしつつ
差し替える方向で作業してます。
DB アクセスと差し替えが重なるかもしれないのはとりあえず無視ですが。
# O2DatDB がカオスってきたぞー
>>199 今日Kademliaの勉強始めたばっかりでよく分かっていないのですが、
244行目が間違いでないとすれば、距離が離れているノードはたくさんあるので
大きな数字で割って、ならそうとしたんではないでしょうか
まあオンラインノードが200も行かない現状ではどちらにしてもあまり代わらないようだけど。
>>203 安定したらコード整理したいですね
#if 0 のやつは消して、1000件分割もやめていいと思う
開発乙です。 DatCollectorが折角datを持ってきても取得板を少ししか設定してないから 大量に(゚听)イラネが出てきて寂しいのでソースを見たのですが。 O2Job_DatCollector.hの82行目付近: // 取得する板を決める wstrarray boards; if (Boards->GetExList(boards) == 0) return; CryptoPP::AutoSeededRandomPool rng; wstring &board = boards[rng.GenerateWord32(0, boards.size()-1)]; では全板から選択しているようですが、「dat収集」で選択されてない板だった 場合は取得してから捨てる (O2Protocol_Dat.hの206行目) のは勿体ないと思います。 これにはやはり何か理由があるのですか? どうせなら、最初から選択されている板の一覧から取得する板を決めた方がいっぱいdatが 集まって幸せになれるのではと思ってみたり。
>開発者様 うちに50GBほどのDATがあるのですが、これはあると便利でしょうか? ただ今バックアップのためにアーカイブ化しているので、必要であればTorrentか何かに放出しますが……
>>206 dat のやりとりを効率化することが実用化に向けて重要なことですね。
ちょっと見てみます。
>>207 レポ乙です。
PRAGMA synchronous = OFF; の影響なんかも気になっていたのですが、
特に変なことも起こってないようですね。
>>208 クレクレ
開発者様方乙です
213 :
208 :2008/07/04(金) 18:25:11
>>210-211 ちょ、ちょっと待って、まだアーカイブ化半分ぐらいしか進行してないっす(汗
rebuilderで作ったdatならすぐにでも、
>>209 版でリビルドしてのものなら明日の朝までにはうpれるですが……
>>209 , 211
お疲れ様です
>>210 > PRAGMA synchronous = OFF; の影響なんかも気になっていたのですが、
重要性は高いがユーザにとって退屈なDB再構築がパフォーマンス
アップされることはまさに望むところだと思います
一方、滅多に遭遇しないシステム障害が構築中に起きないことを願いつつ
>>211 > これは
>>209 の最後で差し替えるバージョンだと起こらないはずです
今週末にでもまた検証してみます
ようやっと余裕が出来て44 にうpしようと思ってるんだけど、 wikiに更新方法とかまとめたページ無かったっけ? 普通に上書きすればいいから(よかったよね?)なくてもいいって感じだったっけ?
あ、忘れてた、開発者の方々、おつかれさま。ありがとう。
あ、dlpassは o2on です。 bzip2を展開したら140MBぐらいになるはず。
>219 横からいただきますた。
>>219 ( ⌒) ∩_ _ グッジョブ!!
/,. ノ i .,,E)
/ /" / /"
_n グッジョブ!! / / _、_ ,/ ノ'
( l _、 _ / / ,_ノ` )/ / _、_ グッジョブ!!
\ \ ( <_,` )( / ( ,_ノ` ) n
ヽ___ ̄ ̄ ノ ヽ |  ̄ \ ( E)
50Gなんておとせねーだろ
圧縮してどれくらいなんだろう?>50G
4割程度になるんじゃない? 頑張ればもっといけるよ
NTFS圧縮程度でも半分ぐらいにはなるので、大きくても20GB程度かと思われます。 なお、予測ではあと40時間らしいです。 モウテイデンシナイデクレヨ....
超ガンガレ 次止まったら、板別に少しずつ圧縮したんでいいからな・・・
おまいら結局HDDの肥やしが欲しいだけなんだな・・・ 俺もだが
将来このソフトが流行って 「俺、このソフト昔から使ってたんだぜ」 って自慢するのが夢なんだ 自慢する相手がいないが
それでも私はo2onを起動し続ける そこにo2onを見つけたから
とりあえず、わたしの54GBも、いま圧縮中。 16GBぐらいになる予定。 9時間でやっと半分。あと9時間かかる模様w
お待たせしました。
http://www.osa-p.net/o2on_dat.torrent DHTネットワークのみにしていますので、落ちてこない方はBitCommetの
bc://bt/QUEvbzJvbl9kYXQvMTY4NTkwMDUzNjQvN2FjZTU1ZjdmYmVmZTNmMDBiNGExOTQyNjU1MzBlYTdiYmZkYzhiOS9aWg==
でどうぞ。
>>219 氏のとどれだけかぶっているか…
>>235 (ヽ、,/)
,、) | 〜| ,-、-、
∧ ∧ ,、_,、 (V⌒⌒) ⊂ つ / J J ,、_,、 ∧ ∧
キタ━(*゚∀゚)━⊂( 。__。)⊃━⊂( )⊃━( )━⊂( )つ━(*゚∀゚)━━(*゚∀゚)━!!!
⊂ つ〜( 〈 `´`´ ∨ ∨ `´`´ ⊂ つ ⊂ つ
〜| | `J J 〜ヽ、つつ 〜| |
∪∪ ∪∪
>>235 これって、7-zipで解凍するの?解凍できないんだけど熱のソフトがいるの?
180kb/sであと2日かかる・・・ だるすぎるぞ もっとスピードでないものかね
>>237 P2P
BitCommetってソフトで落とせる
240 :
235 :2008/07/10(木) 14:11:57
あれ?もう落とせた人います? テストとしてtorrent経由で別のマシンに転送してみましたが、そちらでは解凍できました。 圧縮は7-Zip 4.42コマンドライン、解凍は7-zip32.dll 4.57.0.1で試しました。 o2on-dat.7z のファイルサイズは 16,858,542,866 バイトです。
241 :
235 :2008/07/10(木) 14:14:24
>>238 2台のマシンをシーダーにしているので、がんばってくださいm(_ _)m
>>237 ああ、トレント経由で落としてください。
圧縮失敗したのかと思って焦ってしまった。
おぉ! 一気に2000kb/sまでスピードアップ!! あと3時間ぐらいで落ちるかも
俺も便乗DLさせてもらうわ
>>242 あと44時間もかかる、OCNだからかな。
ま る で o 2 o n の 意 味 が な い
>>245 それは・・・・・・・・言わない約束・・・・でしょ・・・・・・?
まとめて転送するならTorrentの方が向いてるよ。 特に新参の人にはいいんじゃないかね
私は待ってればみんなが落としたdatがo2onのフォルダに溜まるんですね、わかります
落とし終わった人、接続を切らないで欲しいなぁ
>>249 ごめんそれオレかも。丸一日くらいはシードしようと思ってたけど電話かかってきたんだよ プロバイダから
しかも警告だってさ。
「弊社の利用規約でお客様の一日あたりのデータ送受信は10Gまでとなっております。本日、お客様がご利用になった
データの総受信量はすでに10Gを超えており約25Gに達しております。お客様のご利用が他のお客様のご利用に支障
を来す恐れがありますので弊社規約の範囲内でのご利用をお願いいたします。なお弊社ではファイル共有ソフトのご利
用は禁止しておりませんがコンプライアンスの観点から著作権者等からの通報などがあった場合、弊社で通信記録を調
査し該当する事実があった場合は情報を開示いたしますのでファイル共有ソフトのご利用は十分御注意願います。本日
お客様がご使用になったファイル共有ソフト「ビットコメット」送受信されたファイル「おー2おーえぬでぃーえーてぃー」に
つきましても著作権侵害等に御注意下さい。今回はこのお電話での対応のみといたしますが今後、お客様のご利用状況
が改善されない場合はアカウントの停止・ご契約の解除もございますので御注意下さい。
だってさw 使えねープロバイダだな・・・
どこのプロバ?
エキサイトは15G制限だけど200Gぐらい転送しても何ともないんだぜ・・・ つーか転送内容まで把握してるってのは捕まるんじゃないか? おまえこそご注意くださいってところだな
>>250 送受信で10GBって送信105GB/週のbb.exciteより酷いな。しかも検閲行為だろこれ
254 :
235 :2008/07/10(木) 18:57:21
結局o2onで少しずつ転送しろってことですねw
信じるなよ
俺もエキから一回電話とメールきたことあるw エキもP2Pソフトの名称とやりとりしていたファイル名をずばり言われちゃったよ まぁ俺の場合はPCゲーム落としてたから真っ黒だけどなwww
おー2おーえぬでぃーえーてぃー o2ondat・・・
260 :
256 :2008/07/10(木) 20:54:19
>>257 それはない!エキの場合はどっかからの通報がない限り大丈夫w
俺の時はアメリカから通報があったと言ってたw
o2onは違法じゃないだろ だからつなぎっぱなし2日目でも安心w
dat.dbは以前にもらったものも含めていくつかあるのでウェブサイトに上げておきます。 50G datは再構築に必要な最初数行だけ残してコンパクトにまとめるように計画中。 再構築に関して改良した部分はcommitしていってもらっても結構です>e氏
>>256 さすがにネタだよな?違法行為じゃんそのISP
>>261 よろしくお願いします。
作者さん、これからも頑張ってください。
陰ながら応援しています。
駅で1日にUP12GB/DL36GBくらい使ったことあるけど一度もないよ。ADSLだからか?
DL終わってたわ。シーダいなくなってるからしばらくシードしておく ソリッド圧縮使ってないんだなこれ。使ってたらもっと縮んでそう・・・
駅はUP105G/週が基準だからそれくらいじゃ何にも言われない ちなみにDLは無制限だからDOMにはもってこいのプロバw
269 :
235 :2008/07/11(金) 16:21:40
>>266 このサイズでソリッド使ったらメモリがいくらあっても足りないか、
いつまで経っても圧縮が終わらないと思ったのです。
というか、最初ソリッドにチェック付けたら、いつまで経っても圧縮が始まりませんでした。
シードが増えた3つだ。さっきまで一つだった。 あと6時間。おさ最高。昔から好きだった。
>>269 圧縮始まらないってそりゃ恐ろしいな・・・w
272 :
208 :2008/07/11(金) 18:33:17
ソリッド圧縮ってそんなに遅くなるのか…… 道理で圧縮に3日4日かかるわけだorz
ソリッド圧縮って、同じファイルを一個にまとめるってやつでしょ? この世に1から1000まで同じ内容のスレがいくつあるのかと…。 こんなサイズでやったら指数関数的に処理が増えていくな。
ごめん、勘違いしてた。 でも、かなり辞書サイズを大きくしないと、効率的な圧縮ができそうにないな。
圧縮はいつでもソリッドでやってる俺が通りますよ なんとなくデフォルトをソリッドにしたけど、圧縮も遅いし 一部解凍したいときでも全解凍なみにかかるしでいいことないお 比較試験したことも無いから果たしてサイズが小さくなってるのかどうかもわからない 惰性って怖い…… でも一晩とか半日とかで終わるよ!
276 :
デフォルトの名無しさん :2008/07/11(金) 20:32:24
logとかdatとか細かいファイルが多いときは大分小さくなるよ。>solid
>>272 まだうpしてないの?あの日から俺ずっと待ってるんだけど。
安心して寝ることができない。
期待して待っています。よろしくお願いします。
>>235 http://up2.viploader.net/pic2/src/viploaderf131341.jpg 見てくだっさい!この54.2GBのとんでもないファイルを!!!
フォオオオオオオオオオオオオオオオオオオオオオオオオ!!!!!!!!!!!!!!!!
この大きさを見ろ。datファイルが555229個もあるんだぜ。薬板のスレッドもコンプリート。
なんか達成感があるなあ。生きていて良かったとつくつぐ感じたよ。
俺は疲れている。しかし充実感のある気持ちのいい疲労感だ。
なあ、幸せってこういうことなんだろうな。
なあ、達成感で胸が一杯だ。おささん、俺さ、凄い頑張ったんだよ。
頭を優しくなでなでしてほしい。そして思いっきり俺のことを褒めてほしい。
やっほおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおいいいいいい!!!!!!
ばんざーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーい!!!
ばんざーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーい!!!
ばんざーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーい!!!
おさ大好きだあああああああああああああああああああああああああああああああああああああああ!!!!
>>278 薬板てあるんだな。医薬品のスレッドとかか?
病気は辛いと思うけど頑張ってくれよな。
ADSL1.5なんでまだまだだ… みんな保持本当によろしくお願いします…
デスラーには辛い容量だな
100GBあるんだが需要あるか?
おい、o2onの意味が無くなるからやめろwwww o2onでもっと効率よく拡散させる方法を編み出すんだww
>>287 洒落って何GBまでアップロードできるの?
289 :
デフォルトの名無しさん :2008/07/12(土) 04:11:03
洒落、winnyのネットワーク網を利用して、Janeで過去ログ取得したり 掲示板したり出来ないですか?
>>289 おっ、そういえばそうだな。
やってみる。
o2onの補完し合う仕組みって、どこかに資料があったりしますか? 繋がっているノード同士、常に持っていないスレをやりとりし合うのか、 検索対象になっているスレしか交換しないのか…。
>>291 datの拡散・収集は、常に行われる。
が、現状では拡散・収集するdatはランダムに選択するだけで、
持っているかどうかは考慮してないので結構効率が悪そう。
板単位には絞ってるみたいだけど。
ああ、あとsolidな圧縮かけてるrarもあるのですが、こっちはもう少しかかりそうです。 にしても速いマシンでrarするより遅いマシンでtar.bz2のが速いとは。
>>293 _∩ グッジョブ!!
グッジョブ!! /( ⌒) ̄\ ∩___
/ ̄ ̄ ̄\_,.i"/,. ノ|_|i_トil_| / .)E)  ̄\ グッジョブ!!
i'___{_ノl|_|i_トil_|i.l/ /┃ ┃{.i| / / ノノii|_|i_トil|
_n i|,彡 ┃ ┃{.i|i/ /''' ヮ''丿li/ /ミ彡┃ ┃{ノ
( l 》|il(_, ''' ヮ''丿|/ ,ク ム"/ /l i(_ ''' ヮ''丿|
\\リ i `フ l´il l|( ヽー、- く .ノリ i`フ i_"il l| n
ヽ二二,,⌒ヽノリゞヽ .:o:. Y ..:oヽ二⌒ \_レ( E)
c':. ! :c:: }ノ ヽ、__人 ノ Y .::o:ヽ ..:p/
`ー'`ー‐く ) ハ ! !、_ ノ、_ノ
} ハ ヽ ,.' j イ ) ハ!
/ ` ! { `Y 〈 / , !
! Y´ / ヽ ヽ \ { `Y ノ
「新しいファイルを残す」じゃなくて、「ファイルサイズの大きい方を残す」で合体させないといけませんな。
297 :
278 :2008/07/12(土) 12:05:10
http://up2.viploader.net/pic2/src/viploaderf131371.jpg 自分で今まで集めて保有していたdatが40GBあったんだ。
54.2GBの落としたファイルを同じフォルダにコピーしたんだが、想像していたようにはいかなかった。
40GB+54.2GB=94.2GB こうなる予定だったんだ。
しかし実際には66.8GBだ。
94.2ー66.8=27.4 か。27.4GBもの重複があったみたいです。
気分はいいです。充実しています。ようやくファイルの移動が完了しました。
本当にありがとうございました。
これクォータ設定しててファイルサイズが上限に達したらどうすりゃいいんだ? 古いdatから消してきゃいいのか?
>>297 手持ちが全て重複でなくてよかったじゃないか
さぁ、重複しなかったファイルをうpする作業に戻るんだ
雑談系の板のdat入ってる?
最近何回かあった●お試しの時だれも過去ログ漁らなかったの? 漁ってれば過去ログdatコンプできたのにな・・・
>>301 実際のアーカイブファイルは、これを解凍したtorrentファイルをもとにBitTorrentネットワークから落としてください。
Wikiのロダが.torrentを受け付けなかったのでこうなってます。
>>303 .bz2 てなに?これをまた解凍するの?
.torrentはファイルをP2Pで落とすための「ショートカット」みたいなもんだ。 BitTorrentでばらまかれているbz2落としてそれを解凍する。
>>304 面倒臭い拡張子ですみません。
リモートで見てみたらrarも終わったようなので、帰ったらそっちもあげときます。
tarボールってNoahで解凍できた気がするがどうなんだろうね
いくつかアップされてるけど、初めにアップされたのと同じだよね
tar落としたけど解凍も時間かかるなw
>>278 それって、ちゃんと「ファイルサイズの大きい方」を残した?
日付が新しくても補完できてなかったらdatだったら、
たくさん取得できている古いdatを、ちょっとしか取得できてない新しいdatで
上書きしてるかも。
自分の手持ちのdatと
>>235 と
>>293 の重複してて、かつレス数が少ないdatを削除したいんだがいい方法無い?
ごく稀にあぼーん率の高いスレが元の状態になるんですね分かります
319 :
316 :2008/07/12(土) 21:50:33
320 :
316 :2008/07/12(土) 22:16:55
o2on→Janeコンバータ(bat版)の仕様ってどこかの過去スレのレスに無いですか? もしURL知ってたら教えていただけませんか
>>320 o2on→Janeコンバータ(bat版)作ったのは俺なんだけど、仕様は書いたことない。
質問があれば答えるよ。
322 :
316 :2008/07/12(土) 23:09:57
>>321 Jane Doe Style Version 2.78使用なんですが
もしそのo2ondatの中にJanedatが混じっちゃったらどうなってしまうのかを知りたくて…
他人のbatを読めない低脳なんで、もし仕様関連のレスがあればその近くに多分↑の疑問に対するレスがあるかなー?と。
あと「DatUploader適当にいろいろ弄った私家版」はJREのverは何が推奨でしょうか?
Sunは入れたことが無いので…
いやなんといいますか単純な質問でスミマセンスミマセン
作者さんとは知らずスミマセンスミマセン
ダウソ板からの低脳ユーザーでスミマセンスミマセン
323 :
321 :2008/07/12(土) 23:32:14
>>322 o2onのdatとJaneのdatは同じ形式なので混ざっても問題はない。
フォルダ構造が違うだけ。
ただしo2onのdatフォルダにJaneのdatを放り込んだ場合は
「P2P停止」→「DB再構築」→「P2P起動」をやる必要がある。
DatUploaderは俺が作ったわけじゃないんで分かんないけど
readme.txtに書いてある通り、何でもいいんじゃね?
324 :
316 :2008/07/12(土) 23:40:19
>>323 とてもわかりやすく解説ありがとうございます了解です
最後に質問なんですが
o2on→Janeコンバータ(bat版).zip(o2on→Jane.bat)
と
datインポートツール(bat版)(Janeのみ対応).zip(o2onimp.bat)
は機能的にどう違うのですか?もし全然違うものでしたらごめんなさい。
325 :
321 :2008/07/12(土) 23:46:03
>>324 「o2on→Janeコンバータ」はo2onのdatをJaneへ放り込むツール、
「datインポートツール」はJaneのdatをo2onへ放り込むツール。
326 :
316 :2008/07/12(土) 23:48:03
327 :
デフォルトの名無しさん :2008/07/13(日) 00:35:23
まだpoenyProject動いてたんだ…
>>309 今からダウンローディングします。
本当に乙です。
FFC使えばファイルサイズの大きい方だけを残してコピーできるよ。
シードがないよお。 ああ、昨日は居眠りしてしまったからな。 一生の不覚。とりあえずこのまましばらく起動しておこう。
>>331 ttp://www.k3.dion.ne.jp/~kitt/pc/sw/ffc/ > ToDo :
> 新機能 :↓優先度順。(済)は実装完了or完了間際。次バージョンに。
> (10%) キューイングタスクのリスト制御(処理順等)
> (1%) 上書き条件に「ファイルサイズ」や「ファイル属性」を追加
> エラー時の再試行
> 1フォルダに集める等の拡張コピー系
> ファイル/クリップボードからファイルリスト受け付け
> 上書き確認を要するファイルは後回しにして処理を続行
> 処理先パス長オーバー時に処理を中止しない
> 複数インスタンス処理時のREAD/WRITEの高効率化
(1%) 上書き条件に「ファイルサイズ」や「ファイル属性」を追加ってなってるから実装はまだじゃない?
単純にサイズじゃなくて、行数で比較しないといけないのか。
>>335 カスタム→上書き動作の定義
っていう項目のところで設定できるはずだぞ。
http://www.k3.dion.ne.jp/~kitt/pc/sw/ffc/test/ [07/11/5] スナップショット版4.9.0.3
○上書き動作条件の詳細化(更新日時が古い・同じ・新しい・違う、サイズが小さい・
同じ・大きい・違う)
上書き確認モード設定のコンボボックスに既定の動作として「非上書き」、「マー
ジ」(古い方をリネーム)、「相違上書き」(更新日時かサイズが異なれば上書き)を
追加。またカスタム上書き動作指定では、上記条件を5つまで組合わせて指定可能
とした。
これって違うか?
>>336 透明削除まで考慮すると行数ですら判断できないわけで、
まあ、どっかで割り切るしかないかと。
340 :
336 :2008/07/13(日) 16:24:44
>>339 ああそうか、透明削除もありましたね。
なので、「重複ファイルはコピーしない」でdatフォルダに統合して、
重複してるファイルはo2onが上手くやってくれるのを待つことにします。
341 :
336 :2008/07/13(日) 16:28:24
連書きスマソ。 最後の行の書き込み日時を見る、というのも考えましたが、 エイプリルフールの日付変換が難しいので(個別にコーディングしないといけない) やっぱりo2onまかせ。 上手いプロトコルというか仕様を考えないといけませんね。
>>338 txtでAと言うファイルを二つ作って試したが
A(サイズ0)のあるディレクトリにA(サイズ11)をコピー
確認ダイアログが出た際に条件を
処理元のサイズが大きい小さいどちらを選んでもA(サイズ0)のディレクトリにA_コピー.txtができた
多分使いこなせてないのだろうがヨクワカラン動作だ
下らない質問なんだけど bbspinkをavira Anivirでスキャンしたらアーカイブ判定されるdatがいくつかあって 例えば o2ondat_20080708\dat\bbspink.com\ascii\1062\1062666975.dat これをテキストエディタで開くとdatの形式ではない文字列が出たので ガ板でmimizunだったかであらかじめ圧縮されたdatが拡張子datのままgzで送られた っていうのがあったから 拡張子をgzにしたら解凍できて通常のdatになった 2ch.netのディレクトリにはなかった これって改変datがかなりo2onネットワークにあるということではないかい 以前に壺形式のdatってのがあったはずだ
とりあえずffcで同名ファイルはスキップ移動して残った分は問題解決まで放置に決定
bbspink.comのフォルダ内以下のファイルがgz ogefin\1065\1065530750.dat nuki\1037\1037358236.dat leaf\1035\1035904092.dat hneta\1062\1062660590.dat hneta\1052\1052448193.dat hneta\1043\1043135584.dat hgame\1058\1058969817.dat feti\1061\1061393239.dat eroparo\1056\1056886963.dat erocomic\1062\1062952659.dat ascii2d\1071\1071455175.dat ascii2d\1056\1056993786.dat ascii2d\1048\1048781548.dat ascii2d\1044\1044116677.dat ascii2d\1043\1043328815.dat ascii2d\1040\1040077305.dat ascii2d\1039\1039484887.dat ascii\1073\1073376455.dat ascii\1062\1062666975.dat
347 :
345 :2008/07/13(日) 22:33:55
自分はo2onができないので拡散ヨロ 蛇足だが その中のdatに結構係争案件で削除判決出てるやつとか 電番とか入ってるのもあるから(自分の知る限り893の電番とか) 分かってると思うけど公開しようとか考えてる人は注意
348 :
347 :2008/07/13(日) 22:35:41
>自分はo2onができないので拡散ヨロ これはgzだったものについてね 個人情報や誹謗中傷の拡散は決して望んでませんのであしからず
datを調べてみた結果 2ch.netフォルダ内の103878フォルダの661880個のdatの内、以下の16個がgzだった operate/1081/1081045524 1081796016 1084/1084188178 1084203974 1084429098 1084556716 1084854307 1085/1085064379 1085218798 1085244404 saku2ch/1068/1068269214 sec2chd/1069/1069072873 1072/1072475245 1084/1084797126 1085/1085132085 1127/1127298123
>>351 ∩
_( ⌒) ∩__
/ /,. ノ ̄\ / .)E)
/i" / /|_|i_トil_| / / / ̄ ̄ ̄ ̄ ̄
|ii.l/ /┃ ┃{. / / < グッジョブ!!
|i|i_/''' ヮ''丿i_/ \_____
i|/ ,ク ム"/ /
|( ヽ _,.-===、j、
ゞヽ‐イ/´ ヽ ヽ、
\! ::v:: ! :v
}ヽ __Å ノ、_Å
/ ノ ノ´
Firebird版ってどうなったんですか?
ブラウザーからじゃなく、o2onを走らせながらo2onのdbを検索するツールありますか?
壷と併用してると定期的に落ちるんですが…
>>354 何を言いたいのかわからん
ブラウザからではダメな理由は?
SQLを打つ必要があるでしょ。 スレッドタイトル検索でテキストボックスに 文字入力したら、リストにタイトルとurlが表示されれば、 janeから簡単に呼び出せるかなぁって思ったんだけど。
>>343 確か以前にそういうバグがあった記憶があるのですがそれと関係ありそうでしょうか
gzだとタイトル等が取得できないので、再構築時にはじかれる気がするのですがその辺不明
太古からdatを集めてる人は一度掃除してみた方がいいかもしれません
>>353 一通り実装してテスト版は出しました。(でも誰も試してなかったような?)
Firebirdに単純に移植してもパフォーマンスアップは見られませんでしたので、
データベースエンジンの使い方の問題だと判断してSQLiteのまま改良する方向で進めています。
>>354 sqliteのデータベースをのぞくソフトはいくつかあるようですが、
DB操作をしていないときでもデータベースをロックしてしまうタイプだとo2onと衝突してしまうので駄目です。
>>355 壷って普通の専ブラと同じようなdat取得をしてるんでしょうか?
ちょっと使ってみましたがよく分からなかったです
再現条件等絞ってもらえるとうれしいです
FireBirdのsuperserver版だったら、別プロセスからDBいじくれると思ったけど、 そっちのバージョンは進んでいないみたいね。 sqliteの場合は、DB直にアクセスできないから、ツールからhttp経由で 検索できればと思ってます。自作するしかないか。
>>359 adminフォルダのSQLをなげる部分のXMLをちょこっといじくって
タイトル検索できるようにできないでしょうかね?
作ってもらえばマージしますが
連投スマソ ただ1つだけ気になることが。。。 datのサイズ (size, disksize) に関してです P2Pで遣り取りしたdatのサイズ変化が反映されていないような気がします 【質問】 DB再構築を実行しない限り正しいファイルサイズが DB に反映されないのでしょうか? 25件のレコードをサンプルしたので、そのうち代表して1つだけ: 1) 0044_feat.e_rev1 で再構築直後のあるレコード (2008.06.29_02:59) "575","1164424372.dat","5224","8192","http...","★☆字数指定しりとり【15字まで】☆★","0","1214662359","0" 2) 上記同条件の o2on+dat+dat.db を使ってP2P起動した後のレコード (2008.07.05_21:02) "575","1164424372.dat","5224","8192","http...","★☆字数指定しりとり【15字まで】☆★","0","1214662359","1215068068" 3) 今回 0044_feat.e_rev2 で再構築直後のレコード (2008.07.06_00:55) "575","1164424372.dat","10493","12288","http...","★☆字数指定しりとり【15字まで】☆★","0","1215261117","0" 2) の時点で実際にはファイルサイズが 10.2 KB (10,493 バイト) であるはずなのに、そうなっていない。 ※ このサンプルレコードのスレは自分で閲覧したものではなく、P2Pによって取り込まれたものです 2) と 3) の間にP2P起動はしていません 25件のサンプルレコードはあくまで実際に検証したもので、実際には更に多数の同様なレコードが存在します。
guest guest
fusianasanトラップの誤爆初めて見たぞw
>>365 > おそらく
>>87 のバグのせいです
あらら、
>>87 にはそんな意味があったですか、そんな事とは露知らず。。。
やはりコードが理解できない者の検証作業には限界が見えますね。
んでも、今後も何かのお役に立てそうな時には
懲りずに 「力業」 のアプローチをしてみますわ
>235 落ちてくる >293 落ちてこない >309 落ちてこない 今こんな感じ?
専用に1T買ってきたけど残念。
372 :
367 :2008/07/19(土) 15:31:36
>235 落ちきった >293 落ちてこない、接続反応なし。 >309 落ちてこない、接続反応なし。
node - 121 めざせ 300
これは GJ の予感?
全スレのリンクを作成して、欲しい人はo2onをインストールしてからクリック! で良いんじゃないの? o2onの普及にもつながるし。
そんなもん。 ダウソにあった頃はよく落ちた。
>374 マジ乙ですが、 椎名林檎とAV機器のurlが同じでは? 後規制なのかな? 危ない海外、AA長編、2ch批判要望 アニメ新作情報、DTV、面白ネタnews、デスクトップ download part3、download part5、ENGLISH ラウンジ、ラウンジクラシック、モータースポーツ FF・ドラクエ、ロボットゲー、ハード・業界 自宅サーバ、ニュース速報、ニュー速VIP オカルト、パソコン一般、鉄道総合 これだけダウンロードurlにちょっと時間置いて何回かクリッコしても 飛べないような気がス。
381 :
デフォルトの名無しさん :2008/07/20(日) 17:15:29
y2o2onADD.pl まだ持ってる香具師いる? トレントかなんかで放流してくれ
>381 >1
>>374 >[最終更新 2008-07-20 17:36:22 現在92個のファイルが存在します。]
デスクトップとENGLISHがURL同じですね。
た、頼む。 最低圧縮でいいから1ファイルに纏めてBTで流して。
BTじゃUP主に負担がかかりすぎるから板別に洒落で流した方がいいんじゃね?
お、AV機器落とせる
>>379 Thx !
番号 wiki に書いとく
久々に来たのだが
>>374 が神になってる流れ?
そろそろHDD圧迫しすぎて新規追加しないとこれ以上は無理ぽ
o2on導入を機にjaneのlogフォルダの整理したいな。 dat以外のファイルを削除→再作成のやりかたでもぐぐるか。 wiki上ツールにてo2on用にlog変換→wiki上別ツールでjane用ログに再変換 でよさそうだけど、くやしく調べる前にウンコがしんぼうたまらん。
o2onがjaneのログサーバーになるんだよね。 janeがクライアントだから、janeからo2onのログ検索できれば いいんだけど
>374 訂正したり乙ですが、 anime.rar 、anime2.rar 、apple.rar 、charaneta.rar 、charaneta2.rar dataroom.rar 、が Click here to start download..をクリックしても再度 Click here to start download..が表示されちゃってダウンロード 出来ないようですが私だけ?
>391 その機能、是非欲しいです
>374ってbbspink.comフォルダに入るのは21overseaだけ?
週末に変更
・2ch内スレッドのページ : 微修正
・2ch内スレッドのページにレス数表記を追加 (間違ってたら修正頼みます)
・更新履歴の微修正(枠とか)
・更新履歴(バージョンごと)のページの整理と、リンクの追加
・dat互換性 : bbs2chreader の新しいnightlyの追記
・動作環境 : Linux 上 Wine 利用の追記と、Wine のページへのリンク
紹介ですが、Wine上で動かそうとがんばってる人たちのページ
http://o2on.sourceforge.jp/wiki/index.php?Wine があるようなので、やってみたよ〜、って人はよろしく〜
396 :
394 :2008/07/22(火) 17:00:03
やっちまった・・・ 21overseaって大人の海外じゃなくて危ない海外か orz
つ・疲れた・・・ とりあえず、おさ氏のBT配布datと>374氏のdatをo2onにマージ。 にくちゃんの保存してたdatをjaneにマージ。 後はjaneのdatをo2on用に出力してo2onフォルダにマージか・・・
>399 ffcだけど使い方がイマイチ判らんので1つのフォルダに対して 上書き確認カスタムで 処理元のサイズが大きい→上書きする 処理元のサイズが小さい→上書きしない 処理元とサイズが等しい→上書きしない カスタム設定をいちいちフォルダ分やってしまった orz どうやったらカスタム設定を記憶出来たのやら・・・
ffcって操作がちょっとわかり辛いよね フォルダ名\ フォルダ名 の扱いの差とか
サイズ大きいは削除前とかにかかるのでは あとffcは更新日時はまだ実装してなかったような FastCopyなら最新日時が使えるが…
>>401 それfastcopyも同じでは?
シェル拡張してやったほうが使い勝手がいいと思う
>>400 あんがと。同じ方法でしたorz
どうも決め手にかけるんだよなー
行数も見てくれるソフトは無いものか
ffcって何?
>>405 fire file copy
だったと思うファイルの断片化を抑えつつHDDをガリガリ音をたてないようにコピーするソフト
FastCopyだとガリガリいう
ぶっちゃけ今回の場合は更新日時がにくちゃんから落とした 日時になってたのでどうでもよかったり・・・
>>407 前
>>342 でやった時にサイズの大小がうまくいかなくて、
常にリネームされたのと勘違いしてたよ、設定ミスかな。
o2on→Janeコンバータ(bat版).zipでbbspinkにも対応してるの ちょうだい。 Jane→o2onやった時にdatインポートツール(bat版)(Janeのみ対応)改.zipに 気が付かず、改無し使ってbbspink出来ねー、よし中身書き換えだと 2ch.netをbbspink.comに書き換えたけど使えなかったので、 o2on→Janeコンバータの書き換えも多分オレにはお手上げです。
o2on\datフォルダのプロパティで「ディスク上のサイズ」 >235+>374(落とせない6ファイル除く) 55.8GB(59,979,718,656バイト) ファイル数559,990 自分のjaneログフォルダを空のo2on\datに出力 21.0GB(22,610,501,632バイト) ファイル数148,443 頂き物+自分のをマージ 73.9GB(79,407,136,768バイト) ファイル数689,743 >351はなんか判らんから放置 自分のと頂き物じゃ18,690ファイルの重複だったか。 とりあえず整理終了、後はDB構築か。
>411 おお、ありがとうっす。
>>411 原型あるものとはいえ、仕事速いのは尊敬するな〜
>415 (>Д<)ゝ”イエッサ!! とりあえず今はo2onのDB構築中なので弄らず。 やっと半分くらいオワタ
DB構築のグラフバーが埋まったのに なかなか終わらなかった orz ログ空の別のjaneを用意したので >411実行したまま寝るです。
418 :
デフォルトの名無しさん :2008/07/24(木) 11:25:03
419 :
417 :2008/07/24(木) 15:01:19
つー事で、>411で頂いたbatを実行。 新jane用にo2onから変換されたフォルダと旧janeのフォルダ一覧を目視で確認。 OK ログフォルダのファイル合計数もo2onと新janeで一致。 o2onの板フォルダは細分化されてるのでjaneの板フォルダとどう比べたらよいもんか 判らんので挫折。 >418 Wiki内あぷろだ→kako2chSpider.pl他.zip の中に入ってるヤツかな?かな?
o2on管理画面をブラウザで開いたスレッド検索のところって スレが補完されたら削除ボタン押しても補完されたスレごと削除されんじゃなくて 検索urlだけが削除されるんだよね?
>>421 そうだったはず。(自分でやってみた範囲ではそうだった)
いちど、スレッド検索のところと log 保管フォルダ内のスレの対応を確認しておいて、
自分の目で消えるか確認してみるといいんじゃないかなぁ。大事な過去ログだしw。
1 つぐらいならあんま時間かからないし、勉強になると思うよ。
スレッド検索から消してみてからログを保有してない2chブラウザでアクセスしてみてもいいかも。
>422 あんがと、やってみる。
で、やってみた。 エクスプロラで該当フォルダを開き該当のdatを目視、 ブラウザで削除ボタンをポチ。 ブラウザ上から消えた、エクスプロラの該当フォルダを再読み込み→dat残ってる。 これで安心して余計な検索url消せます。
>>425 お、検索スピードによってはかなり使えそう
開くボタンを押すと(ダブルクリックでもいい)、選択しているスレの url を
登録してある 2ch ブラウザに送って開く、みたいな機能って実現できないかな?
そうすればコピペすらなしで検索したものをワンクリックで2chブラウザで開くとかできるよね。
普通の2chブラウザが無理でもfirefoxに送って開く機能さえあれば(これなら java でもできたと思う)
ワンクリックでbbs2chreaderで開くとかできそう!
現状でも、いま管理画面でfirefoxの検索機能をつかってちまちま探してることを考えたら便利になりそうだw
Jane系ならjane2ch.exeの引数にURLつけて呼び出すだけで実現できる予感
ほんとだ、jane系に対応しよう。
あ,おもしろそう 現状の機能とは全く関係ないけど,Qurery.xmlをパースして補完されてるスレをまとめて開く機能が付くといいな
↑バグだらけだな、orz
>431 頂きマスター
0019.zipが最新です
SourceForgeの要望に上がっていた、
> スレッド検索の「有効/無効にする」のボタンをチェックボックスに
を実装してみました。
http://o2on.sourceforge.jp/upfile/o2up0020.7z 0044bがベースです。
exe以外は差分しか入れてないので、adminフォルダのo2on.jsとquery.xsl以外のファイルも用意してください。
(もしくはバックアップを取って上書き)
本体側のソースと変更箇所もまとめてます。
問題なさそうなら反映をお願いしますー。
ついでにバグらしき物も見つけてしまった。
SQLiteはamalgamationというのに移行したのでそっちを落として差し替えてください。
/trunk が放置になっていますので現在の BRANCH_0043 を/trunkに移動させる予定
O2DatDB.cppは1000件分割にしたのはやめてもいいんでしょうかね?
これはe氏にお任せします
その他コードが整理できそうな場所があればよろしく
>>435 バグっぽいのは修正済み
チェックボックスはまだ見てませんが、近いうちにマージします。
各ブラウザで動くか、スレ住人からの動作報告もお待ちしております。
ところで、折角コードもかけるようなので開発メンバーに加わってもらえないでしょうか? >おさ氏
おさも出世したなあ。スカウト受けて羨ましいぜ。
442 :
デフォルトの名無しさん :2008/07/27(日) 00:20:11
>>435 も試したいけど、
>>209 で「管理画面でo2onが落ちる」のを今頃解決出来たのでage。
とりあえずDBの再構築が終了して、管理画面を立ち上げるまでドキドキものでした。
これで、P2P再開できるよー。
ありがとー。
これと同じようなの作ってた奴見た事あるな 途中で挫折してたけど
>>437 了解です。
がっつり時間が割けるわけではありませんが、ちまちまとお手伝いできることがあれば。
sfから申請送っておきます。
>>438 知り合い?
他人の閲覧履歴見るのが楽しみ
>163 スレッド検索 url /test/read.cgi/tech/ 2ch.net メモ プログラム板 登録 で登録ボタンをポチしても 「URLがおかしいです」って表示されるけど、どこに入れればいいの?
447 :
● :2008/07/27(日) 22:45:45
過去ログ取ろうと思ったけどログインできないわ
>>446 なんのスクリプト使ってるの?
俺はy2o2onADD.plのスクリプトを使っているときにそうやってしていたよ。
●があるならy2o2onGET.plでもいいかもしれないな。
誤爆スマソ
>451 あ、その手のスクリプトが必要なんですか・・・ o2onのブラウザで開くスレッド検索の所に入れれば >163の >で検索すると一気に登録できます ↑が/tech/*.datかなんかの内部処理で無条件に落ちてくる のかと思ってたのに登録出来ねーって陥ってました。 RinGOchのサーバーモードみたいに設定にチェック入れとけば 無条件で流通datを集めまくるのはやっぱダメなんすかね?
もう200Gぐらいになちゃったよ。HDD増やさなきゃ
o2on稼働でBOINCまわしーのしてるとかなり具合悪い。 久々に堕ちたorz
途中で書き込んでしまった。 別で重い作業もしてる事が多いのだがメモリ2Gじゃたりないのかねー?
ふつーにOSがマイクソだからじゃね?
・メモリが腐ってる ・電源が腐ってる ・マザーのコンデンサが腐ってる 負荷かけると不安定になる原因はだいたいこの辺。
461 :
デフォルトの名無しさん :2008/07/31(木) 08:24:59
dat20万突破age いやはや、よくがんばったもんだ
>>460 いや、Windowsの仮想メモリ不足って出る。
実メモリ2G+仮想メモリを2Gでもダメ。
接続数大杉じゃね。 俺メモリ2Gで、別のDBとかガンガン動かしてるけど、まったく落ちないな。 同時接続数5ぐらいに絞ってるけど
落ちるからなんとかして欲しいって話?それともただの愚痴? まあ詳細なにも書かない時点でただのゴミだけど。
多分エロサイト見まくって、変なソフトいっぱい入ってると予想
>>463 99にしてたから絞ってみる。
>>464 どちらでもなく2Gで普通に使えてるの?って話。
>>465 No。
プロセス数は現在で42程度。
起動直後はもっと少ないと思うよ。
DAW起動すると500M位食うからそん時堕ちた。
最近はDAW起動しなくても1日くらいつけっぱにしておくだけで仮想メモリ不足とか言われる。
常駐、カスペ、o2on(0044)、ATOK、DS3RMon、fenrir、Perfectdisk各種、Vmware各種、BOINC各種
コミットチャージ平常時で900〜1.4G程度、最大値で1.9G程度行く。
詳細書いたって解決方法は無いだろうに…。
負荷が大きいものを立ち上げすぎでOSのリソースが足りないと予想 4096MB-ビデオメモリ以上にしても64bitでなきゃ無意味 実際は4Gあてても認識しないこともあるから3Gぐらいが無難 解決法は小手先じゃないね
BOINC これじゃね、なんで負荷テストしてるのよ
1分で3スレ分補完ペースで、 無休で稼働させて1ヶ月で13万スレ収集か。
BOINC動かしてるけどo2on(0044)の挙動がおかしくなったことはないな メモリは2G, Vista Home Premium 常駐で他に関係しそうなのは NortonAntiVirus, GoogleDesctopくらいか あ、そういやBOINCのCPU時間は75%にしてるわ、参考になれば //Vista人気ないけどXPよりアプリケーションが落ちにくくなった気がする //代わりにエクスプローラがじゃかすか落ちますがね
//Vistaにしたからアプリケーションが落ちにくいなんてことはないだろう常考
Vistaにしてアプリケーションを動かす条件が厳しくなっただけ
>>468 負荷テストじゃないw
>>470 レスサンクス。
うちはXP Pro SP3。
Vistaよりはメモリ食いじゃないと思うのだけどな−。
うちはBOINC100%で稼働させてる。
肝心なこと言い忘れていたのだけど、メモリ不足?で堕ちるのは必ず同じアプリのみと言う事。
o2onとfenrirしか堕ちたことは無い。
何度となくメモリ不足でアプリが堕ちることはあったのだけど、何故いつもo2onなのか?と思ってた。
もっとメモリ食いしてるアプリはあるのに、なんでいつもこいつらばっかりなんだorz
o2onがこまめにメモリ確保、解放を繰り返してて、 メモリ不足にぶち当たる頻度が高いと予想。 タスクマネージャでプロセス毎のメモリ使用量、仮想メモリサイズを見て 食いつぶしてるプロセスを見つけるしか無いかな。
VMwareってすんごい資源消費するイメージがあるんだが…… まぁ割り当ててるメモリ量によるが
なんかデータファイルが壊れてて、無限ループに陥ってるとかかもな。 普通の環境じゃ、まず起きない。レアケースだから知らん
>>474 o2on自体は30M位しか消費してないんだよね。
以前からo2onが堕ちることはあったが、仮想メモリ不足なんて出たこと無かったんだよな。
ここ1ヶ月くらいで出るようになった気がするのだが、特に大きく環境を変えた覚えは無いから困る。
昨日メモリ不足が出てるときに見たらJaneが190Mも食ってたけど…それでもコミットチャージは1300M位だった。
Styleの2.78だけど食い過ぎじゃね?とは思った。
>>475 起動してなければそんなことは無い。
余計な常駐もあるが、最低常駐は2個でいいのかな?10M程度。
使う機能毎にサービス立たせれば問題無し。
>>476 最近クリーンインスコはしてないとはいえ、それでも半年前くらいにはしてる。
以前は神経質に3ヶ月に一度はしてたけど。
今の環境だとデータ化けとかも無いし何とも言えない。
やっぱり何らかのアプリによるメモリリークが原因なのかね。
>>477 レスあり、参考にしてみるよ。
どこの値を見て使用量を計ってるのかが全然わからない。 プロセスのメモリ使用量を計る時は仮想メモリサイズも見てくれ。 コミットチャージなんて見たところで全体しかわからないんだから、全然解決にならない。
メモリって結構壊れるよ。新品と変えた方がいいな、これ 地球温暖化の影響だと思うよ。暑いし
>>461 おつかれw でも今現在、分母はどれくらいにまで膨らんでるんだ?
DB再構築が一段落して、機能追加もあったので近いうちに リリースしようかと思います /trunkに戻すのはその後で
>>479 タスクマネージャのプロセスタブとパフォーマンスタブで見てる。
コミットチャージと書いてたのはタスクマネージャの右下でよく見るとPF 使用量と同等。
コミットチャージの最大値と書いてたのは、パフォーマンスタブのコミットチャージより。
仮想メモリのサイズってどこから見ることが出来るんだ?
ページングファイルって仮想メモリじゃないっけか?
>>484 プロセスタブ→表示→列の選択→仮想メモリにチェック
rev.107 ですけど、今のような形で select count(*) from dat; と select sum(disksize) from dat; を begin; と end; で 囲むのはまずそうですね。 目的の値が得られなくなってます。 どうしても囲みたいのなら sqlite3_column_int64 のあとに end; すればよさそうですけど。 囲まない場合とのスピードの差を調べたわけではないですが。
o2on自体に●ログイン機能をもたせられませんか?
専ブラでログインすればいいだけじゃないの?
そうでした
すっかり乗り遅れました…orz まとめてダウンロードしたいです どなたかもう一度>235>293>309のBT再放流をお願いできませんでしょうか?
>>492 まだ慌てるような時間じゃない。待ってろ。
おさ氏のo2on_datは先程ダウンロード終わってたけど [IMで自動取得● @o2on](>293>309)の方はシーダーが誰もいねぇや…
>>493 横からだけど、もうBTでは放流されないと諦めてたよサンクス
o2on上で100ギガ近くのdat群落とすのは流石に困難だからなー
build 0045 リリースしました。
大きな変更はスレッド検索画面でチェックボックスを使えるようになったことと、
DB再構築の内部処理を変更したことです。
>>488 確認しました。
元に戻してリリースしました。
バージョンきてれぅー k-u ◆k.u4xwkrx. 氏、e ◆CuSO4..R5I 氏、おさ氏はじめ 協力者の皆さん、テスターのみんな、乙 現時点でもう 7 人もつかってるってすごいよなあ。
お試し●死んだのかー
>>504 今o2on使用してる人たちが●を買って、o2onネットワーク上にdatの流通量を増やすのはいいことだと思う。
買うべきだ。
いま過去ログ鯖が怪しい雰囲気だからo2onになるべく流しておくのは いいことかも・・・。
●もってるけどほとんど使ってねー
>494 お願いします。全力でダウンロードしますので
>>494 俺もお願いします
>293>309が全く落ちてこない(´;ω;`)
bobby9はずっと死んだままだな
落ちてきません
IMで自動取得● @o2onが壊滅的だね
タスクトレイのo2on右クリでブラウザが立ち上がった直後は スレッド検索タブが開かれてるので管理タブをクリックしても 中々管理画面が開かないのってなんとかならないのでしょうか?
ちょっと質問 0045を上書きしたんだが管理画面で自分のdat総数とかそこらへんが全部0になっちまってる。 datフォルダ自体は20Gぐらいあるしdat数も20万超えてたんだが・・・・ dat.dbは100Mぐらいあるんだがdat.db.rebuildってのがあるんだがそれが30Mぐらい 一応DB再構築とreindexとanalyzeって全部やってみたんだがどうにも変わらない。 なんでだろう(´・ω・)
>>518 管理タブの「状態」が重いのが諸悪の根源だな。
select count(*) from dat;
select sum(disksize) from dat;
select count(*) from dat where lastpublish > ?;
の3文を呼び出してるみたいだけど、上2つはインデックス使えてない/使えないから
せめて
select count(*),
sum(disksize),
sum(case when lastpublish > ? then 1 else 0 end)
from dat;
の1文にして欲しい。
ちなみに上の3文のうち、一番上は
select count(*) from dat where lastpublish > 0;
にするだけでだいぶ速くなる。
一番下はもともとそこそこ速い。
問題なのはsum(disksize)だけど、
disksizeにインデックス張ってもここでしか使わないだろうし、
本当はdisksizeの合計をdatテーブルの外で管理しといたほうが
いいんだろうなあ。
(sum_disksizeテーブル作ってトリガーで更新しとくとか。)
そのSQLにインデックスはっても早くならんだろ
522 :
520 :2008/08/14(木) 01:05:40
確かに自分で読み返しても誤解を与える文章だな。 前半に書いたのは現状フルテーブルスキャンを2回と インデックススキャンを1回しているのを、 フルテーブルスキャン1回にまとめるっていう案。 後半に書いたものは現状通り3回に分けるんだけど インデックススキャン3回にならないかなって考えて でもsum(disksize)が問題だなっていう不完全な案。
タクストレイからサクッと新しいノードを取りに 行きたいな。
むしろ自動で新しいノード取りに行けば・・・
え、自動でやってないの?
え、自動なの? いや確かに今まで一晩ルーター切断してたにも関わらず 翌日o2on起動で繋がってるみたいだけど。 ついつい手動で新しいノードを入れたくなっちゃう。
>>519 わたしも一回なったことがあるのですが、再構築したら直ってしまいました。
DBRebuilderってEUCのdatとかに対応してるんだっけ? てか本体についてる再構築機能に対して、どういうメリットがあるんだかよく分かってないんだけど
>>520 私も入門者なので激しく勘違いの可能性ありますが
> select count(*) from dat;
> select count(*) from dat where lastpublish > 0;
下の方がだいぶ早いとのことですが、lastpublishはpublishしていない場合0に設定されますので
これらは違う結果を返します。(特にDB再構築直後)
前半部の指摘は勉強になりました。
こちらで試行してみます。
>>523-526 自動でノードリストを取りに行くようにはなってません。
当然ですが、通信しながらノード情報を交換しあってリストを更新しますので、
数週間起動していないといったことがなければ、通常は起動時のリスト追加は不要です。
o2onに関しては起動させっぱなしのパワーユーザがそこそこおり、
ノードサイトの方は更新頻度が低いと思われます。
このようなケースでは無理に手動で追加しない方がいいです。
つながりにくい等の具体的な不具合がでているならば報告お願いします。
>>519 DBまわりいじってる最中なのでなんかおかしいかも
詳しく調べられる人の降臨希望
531 :
520 :2008/08/17(日) 22:33:57
>>530 うお、開発者さんキタ!!
前半に書いた一文パターンではフルテーブルスキャンが1回残ってしまうので
うちの環境(dat数35万弱)ではそれでも1分ぐらいかかっちゃう。
だから本当は後半に書いたパターンにしてほしい。
count(*)は
select count(*) from dat where lastpublish >= 0;
の間違いだったけど、これでもうちの環境では10秒ぐらいかかるから
count(*)もsum(disksize)と一緒に外で管理してもらえるとなお嬉しい。
最近o2on起動してるとネットが詰まった感じになるんだけど同様の現象が起こる人っていない? XP Pro SP3でTCPIP.sysは書き換え済み、o2onは0045、接続リミット16(以前は99で同様の現象に悩まされ下げた) ブラウザでネットが重いなーって思ってo2on落とすと治る感じ。
533 :
159 :2008/08/25(月) 01:50:19
検索登録数が3000を超えてる状態でo2on終了したら 検索登録が1000まで削られたみたいなんだけど、どこかに設定項目あるのかな xml/queryをGETしてみると <limit>3000</limit>って書いてあったりする でもみんな10000overでも平気みたいなんだよな なにかトラブってるんだろか
>>532 あーわからない気がしないでもない
俺もXPSP3でTCPIP.sys書き換え済みで0045だけどちょいともっさり
リミットは15にしてる
あー、俺もだ。 すげー、ネットが遅くなる気がする
>>534 ,535
うちの場合はもっさりがかなり顕著に出る
Yahoo程度のサイトで画像が読み込めなかったりする
ルータ側の問題とも思うが、同時に他マシンからだと問題が無かったりするよっ
>>536 OSのTCP接続数とかタイムアウトあたりいじってみたら
BitTorrentのクライアントを立ち上げただけでごく普通のサイトに アクセスしても反応が鈍くなるが、それと同じ理屈なんだろうな
>>537 OSのTCP接続数=TCPIP.sysファイルの書き換えです。
デフォ10から65536にしてあります。
タイムアウトの関係はちとわかりません
>>538 BTの場合ですとTCPIP.sysの書き換えだけでブラウザからの閲覧は問題無く可能です。
家の場合ですと回線の重さはBT<o2onてな感じな訳で…
ちなみにTCPIP.sysを書き換えない場合でBTを立ち上げると、対象IPのOSが受け入れきれずにルータまで負荷が掛かります
この件では他マシンから外部へのアクセスは問題無く、ルータ側の負荷は認められない状態ですね。
>>539 他のPCで問題ないならルータじゃなく
LANが蟹さんとか
タイムアウトの待ち時間が長く、それが重なっていき
PC側のポートがタイムアウト切断待ちで埋まってしまうからとか
そんなにハードなアクセスがあるとは思うわないんだがなあ
あとはFWがZoneAlarmフリーあたりとか
>>540 LANは割と安定と言われてるギ蟹RTL8168_8111とINTEL 100PRO Sを付けてます。
どちらのLANでも同様の症状が起こってしまいますね。
LANに関してですと、むしろBTの方が高負荷なのは間違いないと思いますので、そちらで問題が出ないのはなんとも。
BT設定ですと総接続数1000、1トレント辺り500の設定でもヌルヌルです。
FWはカスペ8.0.0.357の物です。
カスペ7.1.0.325ではネットが不安定と言われていましたが、8になり改善されている模様です。
う〜ん特に問題は無いと思うのですけれどね−。
>>542 常時重い訳ではなく、たまーに凄く重くなってその時にo2onを落とすと負荷がなくなるみたいな感じです。
ちゃんとは数えていませんが多分1日に1度あるか無いか位なので、次になったときにはFW無効にして試して見ます。
設定項目がProfile.xmlのquerylimitだってのはわかったけど反映されてない気がします。 main.cppの425行目あたりに QueryDB->SetLimit(Profile->GetQueryLimit()); が足りないんじゃないかと思うんですが、どうでしょう
>>542 確認しましたがFWを無効にしても同様の現象に悩まされてます。
昨日試すために切ってたのですが、今もFWが切れっぱなしになっておりそれでも同様の現象が2度ほど発生しました。
ノードが消えたんだが
547 :
デフォルトの名無しさん :2008/09/02(火) 23:16:52
o2onを起動すると、必ずといっていいほどトロイが入ってくるのですが、他の方はどうなんでしょうか? 幸い、avastが検出してくれて、実質的な被害はないと思うのですが、正直怖いです・・・
それ誤検出でしょ
549 :
デフォルトの名無しさん :2008/09/02(火) 23:39:43
>>548 マジですか?
以前にそういったケースがあったのでしょうか?
スレの本文に昔流行ったラブレターウィルスとかVBSスクリプトのソースが書き込まれてると検出される場合がある
いわゆるノートントラップですか
ノートンは使ってないから分からんがそんなもんだと思われ
ありがとうございます、これで安心して使える・・・ しつこいようですが確認のためにお願いします o2on経由でウイルスに感染することはまず考えられない で、いいのでしょうか?
もしかしたら未知の脆弱性があるかもしれないが 感染する確率は限りなく低いから安心汁、俺はかれこれ1年つけてるが全く問題無いよ
そうですか、良かった・・ これのためにどれだけセキュリティ兼備にしたことか・・・w もっと早く聞いておけばよかったです^^;
>>552 それらのdatで
カスペルスキー・AVG・AVAST・NOD32・Avira
が反応したことがあるよ
兼備……けんび? 堅固? 強固?
複数のアンチウイルスソフトとか複数のスパイウェア複数のFWを装備したのかな できないこともないがかえってリソース喰うだけになると思うが… ちなみにdatのウイルス検出させたらノートンが一番検出した
今はo2onのために特別なセキュリティ対策をする必要はないだろうけど、 nyやshare並に利用者が増えて偽造ファイルが流通するようになれば、話は別だろうな。
現状みみずんあたりからgzのままのdatとかあるしな ソフトにもよるけどdatのディクトリをウイスルスキャン(検出しても隔離室とか名前変えたりしないようにして) したときにスキャンしたアーカイブで数は分かるが 文字列改変まではわからんが壺からそのまま放り込んだものとかもあるな バージョンアップの時に一行目読ませるとかやるのもあれだしなあ
日本語でおk
ウイスルとはまた懐かしい
>>559 セキュリティ面では linux や VM 上での運用が今取れる手立てかな〜。
linux なら感染リスクも被害も低下できる。
VM 上ならそこから Dat を持ってきてブラウザで開くときに
ブラウザの脆弱性を突かれなければ、ある程度安全。
てところか。
まあ、安全のために、普及状態に応じてある程度隔離が必要になるのは
他のp2pと同じだろうなあ。
あのね、感染力のある、本当の意味でのウイルスなんて、Winny等にもまだ出てないわけ。 Winnyで何が問題かというと、(zip等に含まれる得体の知れない)実行ファイルを 実行するバカが居るからなの。 もちろん、それをさせるためにアイコンを偽装したりしてあるんだけど。 要はね、もしzipなりの圧縮ファイルがあったとしても 「その中に○○という実行ファイルがありますよ」という警告があれば かなりの確率で防げるわけ。 極端な話、書庫内のファイルの一覧を見せて 拡張子がexe等のファイルがあるかを示すだけでも、ね。
実行されしなければ ウィルスだって単なるファイル それに、DAT内のスクリプトを勝手に ウィルスと判断するアンチウィルスソフトが悪いだけじゃん
本当にウイルスってもの知らないのかね。 感染により、能動的に「実行する」という行動を取らなくても 実行されるのがウイルスだよ。 いや、「何かを実行する」という行動をしてると言いたいかもしれないが それを防ぐには「PCを起動する」という行動自体をやめないとね。
>>563 ,
>>564 まあ、dat 内に潜んだファイルでのお手つきを防ぐためにも、隔離しておくのもいいかな
流れぶった切って悪いんだけど、
2chブラウザに自動で定期的にスレッドを読み込む機能があるものってあります?
bbs2chreader とか V2C とかしか使ったこと無い上に、
あまり使いこなせてないから、機能のこと分からないんだけど。
ないようなら自分でなんとか作るかな、とか思ってるんですが。
>>568 1 スレなら確かにそれならできそうですね。
できれば、いくつか登録しておけるといいんだけど...。
そういう機能があれば落ちる前のを拾えて o2on 利用時に有用だと思うんだけどなあ。
Java なら o2on を proxy にして dat を落とす部分簡単にかけたから、
GUI なければかなり楽につくれそうなんだけど、
ブラウザにそういう機能あれば書く必要ないしなあ、とか思ってます。
流石に複数入れるのもあれだしなあ
昔はAge2chとかあったけど、今でも使えるのかな?
>>566 自分が意図的に実行しなくても
別プログラムの脆弱性をつかれ
実行されたとしても、それは実行したことになります。
実行ファイルだろうと、テキストファイルだろうと
FSからみれば、単なるファイルで
データの塊
古い定義だと自己複製(増殖&感染)機能、待機機能、発症機能を持つ物が
ウイルスだったはず。
もちと細かくいくと、既存のプログラムファイルに潜り込んで、それの
実行時に動き出すのがウイルス。
潜り込むのではなく、独立した実行ファイルの形態を持つ物はワーム。
んで、有用なプログラムに見せかけて実は…なのがトロイの木馬
>>556 の自動的に動き出す〜ってのはウイルスの特性に過ぎないわけで、
自動的に動き出さないとウイルスじゃないってのは言い過ぎじゃないか?
そろそろスレ違いと言っておこう ウィルス等はセキュリティソフトにお任せで良いだろう o2onで必要なのは、偽造データ対策ではないだろうか
575 :
567 :2008/09/04(木) 23:55:39
>>571 thx。
SF にはまだあるみたいだけど、
開発とまってるし、どうなんだろう。
まったりjavaいじりつつ、触ってみるかなあ。
鯖が死んでる過去スレはO2onにDatがあっても見れないの?
どこかにプロトコルの説明ってありませんか?
>>567 live2chなら自動更新しなかったっけ?
任意のスレの一覧でアップデートがあったかを定期的に確認する機能はある。 あと、1スレだけならオートリロード機能もある。
オートリロードは1スレだけってやつ多いよねぇ
>>578 wikiに概要らしきものはあったと思う
古いから今は変わってる部分もあると思うけど
583 :
567 :2008/09/06(土) 00:31:59
なんとなく調査中...
とりあえず今まででわかったこと:
・基本的には
http://[相手のIP]:[相手のP2Pポート]/[キーワード] にHTTP 1.1でアクセス
・こっちの情報はヘッダに載せて送信
・返答は基本的にはXML
・GETするだけで値がとれるお手軽なもの:
−・/ping おそらく接続者のIPアドレスをAES128bit暗号化したもの。キーは全部ゼロっぽい。
−・/profile プロフィール参照を押したときに出てくるやつ。
・GETするだけでも値がとれるが、たぶんオプションがあるっぽいもの:
−・/findvalue たぶん近くのノード一覧
−・/findnode たぶん近くのノード一覧(同じ?)
・POSTしなきゃならないうち、使いかたがとりあえずわかったもの:
−・/im IM送信。conf\IM.xmlのうち、<message>〜</message>の内容に相当するものを投げてやれば送信できる。
・POSTしなきゃならないっぽいが、まだ使いかたがわからないもの:
−・/broadcast
−・/collection
−・/dat
−・/store
ま、こんなことしてるより開発メンバーさんの返答待ったほうが早いんだろうけどさ。
ソースみればいいんじゃね
>>574 2ch中国板のdatとして まちBBSの中国地方 のが数個流れて来ました。
>>574 ちょっと考えてみた対策法。
●情報をo2onに保存。
●持ちo2onは、流れてきたdatを2chのサーバのものと比較
→ハッシュだけじゃなくて、元のアドレス情報が復元できないと駄目だが。
偽造datなら削除し、削除キーとしてほかのノードに通知
あとは削除キーをいつまでも持ってると、リソース的にアレなので、いくつかのノードに通知したら情報は削除、とか。
●持ちに頼りっきりな仕組みなのが、あれですが。
鯖情報とそれに伴う重複DAT問題か
すでに2chのサーバに残っていないログについては対処のしようが無いのでは? あとは実際に存在しないアドレスのログを偽造して無駄なデータを流通させるとか
機能追加のリクエスト 一度取得したスレは、定期的に1000になるまで 取得して欲しい 滅多に見ない板とかで 後になって、見たときにスレ落ちしてて 続きが気になったりするときがあるので
>>587 削除キーを送ってきたノードをどうやって信用するのかって問題もあるよな。
悪意をもって削除キーを送りまくるノードとか。
>>590 そういうスレを他のノードから補完するってのがo2onの目的なんだが・・・
別人だが、
リクエスト入れとくと補完されるんだけど、1000までないのが補完されてるときがあるから(あるような気がする...)、
それを言ってるんじゃないかな
>>590 900 まで自分で読んでて落ちちゃったからリクエストしといたらo2onで補完されてた!
o2onはできる子!とおもったら、960 までしかないのだったorz
ってなってキー削除して、キー入れなおしたってことがあった気がするw
自分もその機能あると嬉しいです。
まず、そのスレが1000まで到達したのかどうか分かってて言ってるのか? 途中で書き込みが無くなってdat落ちしたり、板によっては980過ぎると 数時間で落ちたりするからな
595 :
594 :2008/09/07(日) 08:17:15
o2onでもこの総レス数を利用してほしいね。
自分のもってるdatのレス数が2ch鯖から返ってきた総レス数に満たなければ
検索登録する(一度補完されたものでも再度登録する)って感じで。
>>592 のケースはこれで救えるよね。
>>590 のは専ブラ側でやるべきだと思う。
twintail2とか複数スレのオートリロードできるよ。
>>594 ,
>>595 総レス数あるんだね。
これで心置きなく上記の 12dat をキーから消去できるw
タスクトレイにあるアイコンの「O2」のOが灰色のままなんですが、 これってなんか不具合でしたっけ? 数ヶ月前に当時使ってたバージョンのときはOと2の両方が緑になったように記憶しているのですが。 あと管理画面がSafariだと読めないのですが、対応される予定はありますか? build 0045 Windows XP Service Pack 3 Safari 3.1.2 (win版) です。
>>595 1ヶ月前に読んだスレとか読みたい場合
2年かかって1000行って
DAT落ちとかあるスレとか結構あるし
専ブラじゃ無理でしょ
久しぶりにきた。 何か進展あったー
開発者の皆様が少しずつ開発してくれてる。少し速くなった。 ノードが平均 100 から 130 に微増傾向。少なくても 100 切りにくくなった。
ルーターのポートは開けたけどo2on用HD繋ぐポートが 残ってなかったオレは負け組
ハブ入れろよ
>>603 USB接続の外付けHDDでいいんじゃまいか?
606 :
603 :2008/09/10(水) 00:59:14
USB2カードは入ってますが、当方の環境ではUSB1相当の 速度しか出ないんです。 2種のカード&PCIスロットの変更&ハブ通さずで試しました。
ポートマルチプライヤ対応の4ポートカードのオーダーしてきた。
Janeを2.83にしたら前と挙動が変わった 補完してレスが増えた後再取得すると、DATが破損してると言われるようになった 他の人どう?なんか解決法ある?
とおもったらJane再起動したらちゃんとなった
h
おひさしぶりです
要望とかはトラッカに入れたと思うのでレスは省略
>>578 >>584 プロトコルの詳細は私自身ほとんど分かりません。
o2onはネットワーク部分は非常に安定しているようですし、
いじると動かなくなったりするかもしれないのでほとんどさわっていません
削除要請は動いていないようですが特に実害も無いので放置になっています。
互換ソフトやツール作りたいという方は聞いてくれれば何か協力できるかもしれません
>>開発者の皆様へ
私の個人的な理由で申し訳ないですが、OS再インストールの機会があるので
ついでにo2onの開発環境もVC 2008 Express & Windows SDK にしようかと検討しています。
移行は面倒だと思うので是非移行したいという場合以外はそのままにします。
ご意見ください。
612 :
デフォルトの名無しさん :2008/09/19(金) 22:02:22
613 :
デフォルトの名無しさん :2008/09/19(金) 22:05:19
あと通信に乗せる前にgzipなとで圧縮と、リアルタイムのP2P掲示板を作ってほしいです
P2P掲示板とか用途が全然違うがな
テキストデータだから圧縮はかなり有用だろうね
帯域制限機能も内蔵するようにして欲しい
>>611 個人的には、2008を入れるのがめんどいです。
その前に2005と共存できるのか調べてません。
>>612 既にP2P掲示板なソフトがあったはず…とマジレス。
新月とRinGOchぐらいか?>P2P掲示板 Winnyにも掲示板機能あるけど。
619 :
デフォルトの名無しさん :2008/09/20(土) 12:31:03
P2P掲示板と、2chの過去ログと、2chが合体している強いの作ってほしいです
>>611 2008 も導入済みなので移行には反対しません
>>617 少なくとも我が家では共存できています
>>620 なるほど。んでは、わたしも入れてみます。
とりあえずVCだけ。
開発放置されてたと思ったけど 再開したのかい?
管理画面の概要にある「publish率」って何? 手持ちのdatのうち共有されたやつの割合かと思ってたんだけど、減ることもあるんだよね
>>624 3時間以内に送信したdat数/所持dat数が表示されています。
なので、持ってるdatが増えれば増えるほど、減るかと思います。
なぜ3時間という設定になっているのか、その経緯はわたしには分かりません。
>>625 thx!
wikiにも説明がなくて疑問だったんだ
>>627 乙。とくて(ry w
最近、ノード数少しずつ増えてるよね。
数ヶ月前は休日の 22-23 時でも150 ノード超えなかったのに、
最近は平日でも超えるぐらいになってきてる気がする。
何週間かおきのばらばらのデータしかないから正確にはいえないけど。
定期的にノード数書き出せる機能があると面白そうなんだけど、
無駄な機能かな?
2kって64ビット版あったんだ…
2kとは書いてないだろjk…
2k3
今気付いたけどFirefoxで開けない管理画面あるね。 「dat収集」と「管理→datキー」。 (Firefox 3.0.2) まあIEで開けばいいから全く困らないけど。
>>632 開けるよ?
(当方WinXPsp3、Firefox3.0.2)
634 :
632 :2008/09/27(土) 11:05:55
>>633 あれ?今やったら開けた。
なんだったんだろ?
お騒がせしますた。
>>632 datがたくさんあって、管理画面を開いた直後は重くなってるなんてことが、
あるかもしれません。
管理画面の状態に表示されている、総datサイズの量がときどき減るんだけど なんでだろう? サイズの小さいdatを受信して上書きされてる?
2008に関してはとりあえず手元でもインストールしてみます。
>>636 実際は減ってないけど表示がおかしいだけかも
●でスレを取得してちゃんと取得できてても、何故かo2onに検索登録されることがあるもよう。 本来登録されるときってのはDAT落ち検出して取得できなかったとき限定という解釈でいいんだよね?
1000 いかずに落ちたスレは登録されてるときが結構あると思う。 このスレの前のほうのとか。 だからちゃんと取得できても登録されることがあるんじゃないかな?
VC2008移行作業 各ライブラリ、o2onのプロジェクトファイルともに ウィザードによる変換に特に問題なし。 resource.rcでafxres.hがないといわれたので #include "windows.h" #define IDC_STATIC (-1) に書き換えてとりあえずビルドは通りました。 詳しくはsf.jpのwikiに書いておきます。
>>640 乙です。
自分も各種ライブラリを新しい物と入れ替えつつ試してみました。
Boost 1.36.0、SQLite 3.6.3、バベル 2008-09-28 版です。
が、Xerces-C++ は 3.0.0 では挙動不審だったので 2.8.0 のままじゃないとだめぽ。
(XML な設定ファイルの読み書きが変)
VC2008 はウェブインストーラで入れ直しましたが(SP1 適応済みのが入りました)、
Windows SDK も一緒にインスコされるので別途入れる必要はないです。
642 :
デフォルトの名無しさん :2008/10/13(月) 04:15:38
Linuxのwineでo2on使っている人います?
>>642 以前試したよよよ。
ちゃんと動作するけどブラウザで管理画面か何か開くと落ちた。
0042位から試してないから今はわからないけど、常用可能な範囲だったよ。
結構レポした気がするから気になるなら前スレか前々スレ辺りで初音の人で調べてみてね(´・ω・`)
これってVIPとかの落ちたスレッドもけっこう見れるんですか?
誰かが持っていればいつかは見れる。
人増えないかなぁ・・・
前使ってたけど 何回登録しても、時々dat取得リストがすべて消失ということが 続いたので、使うのやめた。
>>646 プロバイダで規制されて
使えなくなった俺みたいなのもいるはず
メインPC壊れてサブのノートでo2onやろうとしたけど、メモリが256MBしかなくてすぐ固まるよorz そういうわけでたまにしか起動していないオレガイル
o2onのdatファイルを読み込んで 過去スレリンクを全て読みに行くスクリプトってないですか? ●持っているので。 現行スレを巡回するスクリプトは、走らせているんですけど なかなか過去のものが集まらなくて
自作しました。
そのスクリプト5分に一回取得するようにして放置してたら ●を停止されて1月間ぐらい使えなくなったことがある
え、2秒に1回取得するスクリプト走らせてるけど
ちなみに、アクセスするホストをシャッフルさせて、 集中させないようにはしてるけど、 停止されたことはないよ
設定でo2onのホストIPと管理ポートを指定して、 キーワード入れて検索すると表示されるよ。 あと最近更新された100件も取得できる。 表示されたリストを右クリックして開くで、janeに展開される。
>>653 使い方わからなくて使ってなかったけど、
>>658 のヒントでやっとわかった。
janeフォルダにexeとini(あれば)置いて起動して、あとは
>>658 のとおりhostとポート指定で動いた。
これ便利ね。
ダブルクリックで開くとソートが付くと嬉しいかも。
長文失礼。
live2chでも使える?
janeだけだな。ソース付いてるから、janeのところをlive2ch にすればいいだけだと思うけど
●持ちかオプションで指定していますが、 それを通信で自動判定することってできませんか? sid付きだったら●あり と言う具合に。 オプションで毎回切り替えるのが大変なので よろしく御願いします。
●でオプションONにしていて、 ●なしで接続しにいった時、スレを取得できなかったら、 o2onのデータを取得するようにしてほしいです。
質問なんですが、 データベースのdatテーブルのresってなんで 全てのレコード0なんですか?
>>663 専ブラを切り替えて使っていると言うことでしょうか
JaneとV2Cの挙動をちょっと見ましたが、とりあえずSIDなしでdat取得を試み、
dat落ちの場合に再びSID付きでリクエストを送っているようです。
従ってSIDのありなしで正直にオプション設定を切り替えていると
おかしくなるので、何らかの工夫が必要です。
SID付きリクエストがあってから一定時間●設定を維持するとか、
User-Agentごとにあるなしを管理するなどいくつか考えられますが
これは使い方によるので意見お願いします。
>>664 上記の件と併せて調査を始めたところですがなかなかややこしそうです。
ところでV2CだとHTTPSもo2onプロキシ経由しようとする
みたいで●ログインできなさげです
誰か試してみてください
>>666 使っていないので0になってます。
過去に使われていたのか、将来の拡張のために用意してあるのかよくわかりません。
昔のソース見るとわかると思いますが、引き継いだときはすでにありました。
むしろo2on自体に●ログイン機能つけたらどうだろう
それは大変でしょ。 o2onって只のproxyなわけだし。 2chブラウザってスレがないとき、過去html取りにいって、 なければoffraw.cgi見に行ってって いろいろとやってるみたいだし。 ●持ちを選択した状態で、2chブラウザーで●ログインしないで o2onから過去スレを取得できないので、不便だなと
>>653 使えた!
portを間違えて専ブラポート指定してた・・・
スレ落ちしているのに、o2onのurlがxxx.2chになっていないことが あるんですが、 xxx.2chになる条件ってなんですか?
鯖が変わったスレに対してだと勝手に思ってたがどうなんだろう
>>669 > ●持ちを選択した状態で、2chブラウザーで●ログインしないで
> o2onから過去スレを取得できないので、不便だなと
o2onの●の設定って、結局これをできないようにするためのもののようです。
・専ブラで●なしでdat落ちのスレを取得時
datリクエスト→302→あきらめる
・●ログイン済みで同
datリクエスト→302→SID付きリクエスト→dat (゚д゚)ウマー
な感じなので、最初のリクエスト時にはどちらか判別がつきません。
最初のリクエスト時にo2onの持っているdatを返してしまうと、
●を持っていても完全なdatを取得するチャンスを逃すことになります。
これを防ぐために●の設定をつけたのではないかと
●周りについては研究してみますが、自分は今の仕様で特に不便無いので、
利用専ブラや利用形態を教えてほしいです。
>>671 専ブラからはホスト名込みのリクエストが送られるので、そのときには具体名が入ります。
他ノードからxxxのまま受け取ったり、DB再構築した場合にxxxになったかと
Wineで成功してる人はやっぱりX入れてるのか。 X入れずに鯖やってるマシンに入れたかったけど、X入れるしかないかな...
そろそろバーチャンうpしたいのですけど、 設定は一からやり直したほうが良いのでしょうか…
>>674 >>643 ですがwikiに全然書いて無かったですorz
ついでにそのスレの867、このスレ
>>17 ,18,23辺りもですね。
>>675 俺もX無しで常時稼働させてる鯖の方でやりたかったのだけど無理だったよ。
動作確認したのはデュアルブートのLinux側だから、結局Winで使ってるよ。
679 :
デフォルトの名無しさん :2008/10/22(水) 07:31:00
dat30万通過記念age
ママチャリスレ捏造されてるみたいなんだけど
wikiにバージョンうpの仕方書いて無いな・・・ やりかたわかんねぇよorz
何とか検索登録だけでも引き継ぐ方法はないでしょうか…
設定の仕様とか変わったっけ?変わってないなら本体だけ上書きすればいいんじゃないの?
配布物の中に設定ファイルは入ってないから 全部上書きでも設定ファイルは残るんだってば。
o2onの管理画面を開くと必ずクラッシュするのに悩まされてたんだが、原因はdb-journalが壊れてた 再構築を行ったら直った 参考までに
と思ったら突然コケて proxy起動失敗 bind失敗(port:8000) とかエラーが出て起動できなくなったorz
収集板の設定でiPhone板でてこないんですけど、 どうすればいいですか?
>>691 bbsmenuから板一覧を取得する部分がバグってるぽいね。
管理画面から手順で板一覧の取得を行ってもiPhone板でない。
□管理画面→dat収集→板取得
ということは、巷に出回っている専ブラみたいに板一覧をどこに取りに行かせるかというオプションもあったほうがいいのかな、
手っ取り早く追加したいなら conf/2channel.brdを編集して pc11.2ch.net iPhone iPhone を追加すればいいよ
とりあえず、そうします。 後でソフトに反映お願いします。
このソフトのソース見てみたんだけど、 staticなオブジェクトがたくさんあるような作りだった o2onのような分類のソフトってのは、 概してこんな感じのつくりになるものなのかのぉ
>>697 最初に作った人の設計思想が大きく影響しちゃうからねぇ。
まだまだ発展途上のソフトなんだぜ? どう直したらいいか考えて行けばいい
>>673 逆に専ブラの側から●を取得するつもりがあるかどうか伝える方法(追加ヘッダとか)を
定義できませんか?
conf/2channel.brdを編集しましたが、 反映されませんでした。
板追加でいけました。 どもです。
>>673 そうすると●をもっているけど、
o2onで●を選択しないで、専ブラから●でdatを取得した
ほうがいいのかな。
●もっているならo2on通す必要性がないような気がするんだよね。
自分はスクリプト使って●でo2onにログ収集させているので、
専ブラでは●使わずにo2onのログを読むみたい
と思っているんですけど。
うんこうんこうるさーい!
fo2onって何ですか?
そうすると●をもっているけど、 o2onでうんこを選択しないで、専ブラからうんこでdatを取得した ほうがいいのかな。 うんこもっているならo2on通す必要性がないような気がするんだよね。 自分はスクリプト使ってうんこでo2onにログ収集させているので、 専ブラではうんこ使わずにo2onのログを読むみたい と思っているんですけど。
>>708 o2onのdatを検索するツールかな。
ブラウザーでやってるのをアプリでできるようにしただけ。
それをjaneとかに展開できる。
>>706 、
>>709 うんこ持ってる人がo2onを通す主目的は
うんこで取得した過去ログをo2onネットワークに流すため。
「自分はスクリプト使って〜」とかやっているなら
その目的は達せられているので
自分が読むための設定は好きにすればいい。
というか、うんこで過去ログ掘りまくってくださる方は
o2onネットワークでは神なので
これからも頑張ってくださいよろしくお願いします。
もううんこつかうのやーめた
irvine+壷+●と併用してると しょっちゅうランタイムエラー出て落ちるんですが…
俺もよくエラーになった。だから壺つかわないように したらエラーでなくなった。 o2onにログの全文検索できるようにできませんか?
grepでも使え
718 :
デフォルトの名無しさん :2008/11/18(火) 21:57:06
てすてす
719 :
● :2008/11/19(水) 00:02:46
てすてし
成功 やりました!ポート開放に成功しました! ってでてるのに実際には全然通信してないようなのだが
>>720 システムトレイのアイコンはグレーのままでしょうか?
ステップ1で検索して、そのメッセージが表示されただけでは設定は完了していません。
ステップ2で表示されている機器を選択してOKボタンを押しましたか?
723 :
● :2008/11/21(金) 11:56:36
>>189 こんなにいいものがあったなんて知りませんでした。
本当にすいませんでした。
神様ありがとうございます。ありがたく使わせていただきます。
これからも頑張ってくださいませ。
724 :
● :2008/11/21(金) 12:06:09
抜き打ち検査をします。
総dat数はどのくらいになりましたか?
え〜〜、それでは・・・・・・・
>>735 くん、大きな声で答えなさい。
遠いwwww 総dat数 500,077 総datサイズ 41,409,372,160 500GのHDDが満タンになるのはまだまだかかるなw
726 :
● :2008/11/21(金) 13:25:07
今日、車を買うんだ。今から車屋さんに電話する。 5年間ほど車無しの生活をしていたんだ。カマキリハンドルのケッタを乗ってたんだ。ギア無し。 自転車乗ってるその姿といったら酷いもんだ。まさに引きこもりのニート丸出し。 ニートのプロ。まさしくキモヲタ。ホントに辛かった。それもようやく終わりを告げる。 今年で26歳。思い切って車を購入してみる。半年かけてヤフオクで貯金した。心底苦労した。 落札者の三人に一人がクレームする。謝って謝りまくった。謝り抜いた。でも、そんなヤフオクも卒業だ。 今から電話して交渉する。もう練習はした。多分イケル。大丈夫。うまく交渉がいけばいいと願っている。 いまから電話をかける。頑張る。
727 :
● :2008/11/21(金) 13:26:01
まちがえたああああ
何をしているんだ
>>722 OKは押して
アイコンは"2"の部分が青くなってます。
>>731 いれております。
もともとポート解放して使っていたのを
バージョンアップでUPnPが使えるようになったと聞いて
試したのです。
もちろんルータでUPnPは有効にしております。
あと、もともとo2on用に設定していたポート解放設定も 消しています。
1コ早いか? 総dat数 総datサイズ 417,234 42,117,500,928
>>732 ルータの機種を書いてもらったほうが早いかもしれません。
UPnP対応ということになっていますが、数バージョン前から調整が入っているので、
もしかしたらまだ対応できていないパターンがあるのかもしれません。
736 :
735 :2008/11/21(金) 20:47:49
ごめん。 レス番見てなかった。 総dat数 819,314 総datサイズ 104,720,920,576 です!
ルーターはBBR-4HGですね
>>737 おぉ、俺と一緒だ
でも今はUPnP使ってないからわからない・・・
44bでは使えてた
ちょっと試してみようかな
739 :
738 :2008/11/21(金) 22:25:19
0045使ってるけど4HGでもOKだね NICとかは関係ないのかな?
ごめん、よく見たらノードが消えてたよ>< UPnPでちゃんと動作しました。 すみません。
総dat数 348,828 総datサイズ 36,321,775,616 HDD空き容量が1G切ってるから精神的に厳しい><
●を買った。
>>189 のPHP ThreadSpiderを使って集めまくる。
waitってどのくらいおいたほうがいいの?
デフォで120だけど、もっと短くしたらバーボン行きになっちゃう?
1分60秒。1時間3600秒。24時間86400秒。
wait120だと。
2分で1個。1時間で30個。24時間で720個。
wait60だと。
1分で1個。1時間で60個。24時間で1440個。
wait10だと。
1分で6個。1時間で360個。24時間で8640個。
バーボン行きギリギリのラインってどのくらいなんですか?
教えてください。
まあいい。wait3秒でやってみる。俺がテストしてやる。
wait3だと。 1分で20個。1時間で1200個。24時間で28800個。30日で864,000個か。 おら頑張るべさ。
板ごとにでなくて鯖ごとに10秒に1回の感覚ならセーフ、それ以上に取得しようとするとバボる
ちょいと質問 このソフトで保存してるdatって、通常の専ブラのdatとは別に保存されていくという認識でおk?
あーwikiに書いてあったな スマンコ
今日導入してdat変換してみたら21,106あった 昔のログを大分消してたからなぁ・・・
ファイルの共有で専ブラを使っている場合、サブPCで読み込めないんで、とりあえずo2onを起動(設定などは何もせず)させてるんだが、これ以外で何かほかに方法ある?
日本語で御願いします^^;
PC1 : Web - o2on - 専ブラ PC2 : Web - o2on - 専ブラ を Web - o2on - PC1:専ブラ - PC2:専ブラ にしたいって事か?
JaneのログフォルダをNAS化すれば良い
おまいらあれでよくわかるな…… 読み返してもさっぱりわからん
理解力を磨くのにいい素材を逃す手はない
三国志に出て来る奴が言いそうな物言いだ
756 :
749 :2008/11/27(木) 19:17:47
知識無いんでうまく説明できないんだが、
>>751 の言ってる意味でたぶんあってる
サブPCからメインPCで共有設定しているJaneの起動は問題なくできるが、受信用の串がささってるんで、サブPCから専ブラ経由で2chに接続できないってことです
サブPCのIP固定して、ポートあければそのまま使えるのかな?
>>756 なんとなく状況が分かった。
受信串を「127.0.0.1」と設定してるなら
メインPCのIPを直接指定するように変更すればおk。
758 :
749 :2008/11/27(木) 19:36:31
>>757 言われた通りやってみたらできたよ!
サンクス!
ところでみんな一日の転送量ってどれくらい?
Google Chromeだと管理画面がちゃんと表示されないな
build 0045使用
今し方初めてカスペ先生がo2onに対して反応
Anti-Malware
2008/12/16 2:07:40
http://60.40.1X1.XXX:8888/dat Denied: Exploit.HTML.Mht
流石にIPを晒すのはあれなので一部伏せておきましたが、これってどうなのでしょうか?
そろそろ40G近く溜まるのですが、今まで一度もこんな経験はありませんでした。
何かに感染している可能性があるか、何らかの偽装の可能性かはわかりません。
OCNの方だと思われますので、心当たりある方は一度確認して見た方が良いかも知れません。
>>761 ウイルスコードがあるdatはノートンとかaviraでも反応したよ
昔AVGとかavstも反応した覚えがある
>>762 avastを使用していた際は2chを閲覧しているだけでも警告がきました。
1年近くカスペ先生を使っているのですが、こちらではちゃんと判別が出ている様で反応したことがありません。
なので状況の判断は出来かねますが、もしかすると余りよろしく無い状況なのかと思い一応報告に上がりました。
めでてえwww
しかしじわりじわりと言え無限にHDD食っていくなぁ・・・
俺も「まぁ、所詮o2onだしね」とか思ってたけど 今は26GBも食ってる・・・ そろそろ管理画面がもたつくね
HDD安くなってるし俺みたいに専用の買おうぜ とはいったものの総datサイズがHDD容量の1/10にも満たないのはバレバレで・・・hai!もっとdat流してください! っていうか回収速度上げられるようになんかはできんのかね?
o2on用のドライブは128GBくらいのSSDが良いかな ちょっと使ってみたいね
>>768 HDD買えばすむ話なんだがやっぱ無制限ってのが心理的にね
もし手動削除したくなったときなんか複雑そうだし
大きな削除の場合はフォルダ削除→DB再構築?
大量datのせいか最近Janeの起動、終了共に遅い いっそo2on経由で人が保持しているdatを参照出来るようになったら良いんじゃないかと思ってきた
1T用意しました。50Gしか使ってないけど。
壷で掻き集めたdatが12GB(182,000)くらいあるのだけど… ツールで正確にコンバートできる?
>>771 ローカルのo2onにログが残っていれば、専ブラ側で持ってるログは消しても良いんだぜ。
1000行ったスレとかは、全部取り直ししてo2onに蓄積させて、専ブラ側を削除してる。
専ブラ側で持つよりo2on側で持つほうが軽いのか当たり前だが
いっそo2on通してたら専ブラ側でdatを取得しないように出来たら良いのになー
o2onと専ブラがもっと密に連携出来ればな〜 累計稼動時間があと19日弱で365日だw
話は変わるけどにくちゃんねる作ってもいい?
o2onでもいいや 暇だし
>>780 o2onプロトコル実装のブラウザより実現可能性が高い感じがしていいね
今のo2onってどういうシステムなの?
どうかなあ o2on の場合、全体的な律速はp2pネットワークじゃなくて、 今現在ユーザがdatを持っているか否かな気がするから、 現状のネットワークにマザーサーバ的なものを加えても(図的にそうなるかと思うんだけど)、 あまり変わらないかもしれないな、と思う マザーサーバが2ちゃんねるから能動的、逃さないように定期的に、 dat補給をしてくれるとなると話は別になるけれど。
ピア同士の、参加してる感ゼロの顔が気に入った
DAT番号を一意のIDとして、そのDATのレス数が一番多いピアを最優先データにする。 レス番号が最上位じゃないDATは上書きされ、自然淘汰される、みたいな仕組みでどうだろ。 DAT番号の捏造とかは別に考えるとして
ん?
んんー なんというか --------------------------------------------------- ('A`)「1212302014.dat欲しいわ・・・カーチャンにお願いしてみるか」 J( 'ー`)し「ドクオが1212302014.datを欲しがってるみたいね DAT募集掲示板にドクオちゃんの住所を添えて書いておくわ」 ----- (´・ω・`)「掲示板でも見るか。なになに?1212302014.dat・・・持ってないわショボーン」 (#゜Д゜)「ハァ!?1212302014.datなんて持ってねーぞゴルァ!」 (゚∀゚)「おっ 1212302014.datならあったぞラッキー 住所も添えてあるしドクオに郵送しとくか」 ----- ('A`)「もうしにた・・・ん?荷物が届いてるぞ」 ('A`)「ねんがんの 1212302014.dat をてにいれたぞ」 --------------------------------------------------- これだと自分の欲しいものを一気に送信できるから速いかなーと思って カーチャン=マザーサーバー=募集掲示板です
つまり とびさんは歌が好き!! のDAT版か
最初にo2onを見た時に思ったこと↓ 「初期ノードだと?何もやましいことは無いのに・・・なんで完全P2Pなんだ・・・」 要するにo2onに大きなクレクレ掲示板をつけただけなんだけど 一気に全てのユーザーにDATの存在確認を要求できるから速いと思う クレクレ掲示板には「欲しいDATの情報」と「要求した人のIP」を暗号化してポンポン書いていく どばー pc11.2ch.net<>tech<>1212302014<>100.100.100.100 pc11.2ch.net<>tech<>1212302014<>100.100.100.100 pc11.2ch.net<>tech<>1212302014<>100.100.100.100 pc11.2ch.net<>tech<>1212302014<>100.100.100.100 ... みんなは定期的にクレクレ掲示板に書かれた要求をチェック お これもってるぞ?と思ったら添えられたIPにDAT送信要求を送る DAT送信要求を受けたクレクレ君はクレクレ掲示板から自分の要求を消して 「準備オッケーです!ばっちこいやー!」と接続を確立させ転送開始 クレクレ掲示板が肥大化するのを防ぐために→容量制限 クレクレ掲示板が荒らされるのを防ぐために→同一IPからの単位時間要求数制限 注:掲示板というのは比喩です 処理はo2onと同じようにローカルプロクシ型で ログ保管場所はJaneのLogフォルダをそのまま共用しようと思ってます Jane以外は・・・
>>791 最大の問題は訴訟リスクだね。
扱うものが2chのログだけに、名誉毀損やら著作権侵害やらで
訴えられる可能性が非常に高い。
少なくとも削除要請の仕組みはよく考えておかないと。
まあ、2ch本体なんかは削除要請の仕組みがあるにも関わらず
訴訟が絶えないわけだから、それでも不十分だけど。
それってようはPCにずっと張り付いてなきゃいけないわけかな? メインPCとは別のPCでo2on動かしてる身としては できれば放置したままバンバンdatがたまっていくっていうのがありがたい 確かにもう少し補完効率あげてほしいけど でもほしいdatをダイレクトに送受信っていうのは魅力的だよね
>>793 や、あくまで比喩表現であって
('A`)とか(´・ω・`)とかはo2onの中の人のことだろw
中央鯖があると入手が早くなるとは思うが(諸問題はおいといて)
やっぱそこに集中しちゃうのはなんかなぁ……
pureP2Pなんだけど、中央鯖のIPとかを指定してやるとそこも参照に行くようなハイブリッドなのって無理かな?
中央鯖がなんかの拍子に使えなくなっても今までどおりの形で稼動してくれるといいのだけど。
ん?訴訟リスク? うーん あるのかな・・・ どうしてもいっていうなら要請式で問題のあったDATを蔵でフィルターするかな バンバンdat溜まって欲しい人にはバンバンdat溜めるモードを作れば大丈夫かな クレクレ要求の一部をワイルドカードにしたり 全部ワイルドカードにしたり それを定期的に行うように *<>tech<>*<>100.100.100.100 しかしそうなるとDAT候補が多すぎる+「その条件なら持ってるわ」と田代砲並に連絡がきてしまうので 要求した人がランダムに選出した数値と、送信者IP末尾が一緒の人のみ連絡をとる・・・とかかな どっかの国でやってる車のナンバープレート末尾制限みたいな 度合いはクレクレ掲示板にアクセスした人の単位時間人数で変えていく 人数が少なければ+-1までおっけーとか 極端に人数が多ければ2ケタ合致してないと駄目とか 連絡をとる人はランダムに3個ぐらい選出して「このへん持ってるか?」とクレクレ君に聞いてみる いよいよ保持DATが飽和状態になってきた人は ワイルドカード式じゃなくてピンポイントで不所持DATを要求してやるようにすればポンポン補完できる ●持ちの人はクレクレ掲示板に書かれて一定時間たった人から優先的に要求に応えてあげるようにすれば 効率いいかな うーん
ま・・・まぁここで何でこんなことを書いてるかと言うと なんでo2onが要求伝達用の中央集権サーバーを持ってないのか 何かそういう結論に至った理由があったんじゃないか と不安だった 現在ShareなどのP2Pファイル交換ソフトに中央集権サーバーが無いのはわかる 暗号化していても復元されたら一環の終わり どんな違法なファイルを誰が欲していたのか丸わかり 復元されなくとも中央サーバーに警察からIP提示要求でもきたらアクセスした奴は全員モロバレだ まずい しかしDATファイル共有で中央サーバー置くことをためらう理由も無いし 中央サーバーの構造はシンプルで難しくない 今o2onが使ってる初期ノード置場をちょっと改造すれば使えると思う データ量も少ないし 処理は単純だからテンポることも無いだろうし なんでo2on作者は完全P2Pに固執したんだろうか・・・うーん
> なんでo2on作者は完全P2Pに固執したんだろうか 「中央鯖オレが維持すんの? んな面倒なことやってられっかwwwwww」だと予想
HDDに蓄積されたデータを、分散管理できるからじゃね? 自分のが一部または全部破損しても、ピア中のどこかに残ってさえいればよい
悪意を持って削除依頼を出す輩を困らせる為じゃね?
o2onはまだ完成されたソフトではない ソースも後悔されているしいいと思った事はどんどん取り込むor試してみることができる まずはやってみてはどうだろうか?
801 :
デフォルトの名無しさん :2008/12/31(水) 04:55:22
サーバー代が無しで済む 月に30万とかなら無理だろ 自動的に拡散するwinnyネットワークとか使えばいいとおもうんだがな
nyは自動拡散しないぞ Aノードが「俺これもってる」って情報を Bノードが「俺これもってる(実は持ってないけど持ってる人知ってるし嘘つこう)」 って情報に改変する、そしてBノードにCノード「持ってるならくれよ」って要求きたら A→B→Cの順に転送されるだけ Bノードのように嘘つきノードは一定確率で発生するものの 発生しなければo2onよりも拡散効率は悪い
一度思ったんだけど、datを拾い集めるシステムも良いけど直接参照出来たら良いなとか思った 勿論その人がオンの時にしか参照できないんだけどね
>>796 2chのログの著作権は2chにあることになっていて、
それを共有することに対してひろゆきの許可はとってあるので、
この点に関しては確かにクリーンだ。
が、2chのログの中身には個人に対する名誉毀損だとか
企業に対する風評だとかグレーなものが満載なので、
訴訟にまで至るかどうかはともかく、
削除要請はものすごい数が来るんだろう。
にくちゃんが閉鎖した理由も、増え続ける削除要請を
捌ききれなくなったからだって話だし。
o2on作者が中央鯖を立てなかった理由はそこだろうね。
逆を言えばo2onの別アプリケーションとして datの位置情報及びネットワークを把握する物を有志が作り上げると 訴訟及び削除依頼者はo2onに拡散したDATの情報を把握しやすくなるので 共存できるのではないかと思う、つかクライアントのフリをしたボットは巡回してておかしくない。 o2onは中央鯖を持たないプラグイン拡張式にして プラグインによって中央鯖を見つけたらネットワーク管理を依存する形にできたら悪くないのではないかな? あくまでプラグインで拡張できると言うだけで 基本は現行方式 みたいな。
肝心な事書き忘れた 位置情報管理する擬似中央鯖に鯖落とせって依頼がきたら落とせばいいだけ、DATは持ってないので。 ここに訴訟が行くのであれば検索サイトが軒並みアウトではなかろうか? また落としたら依頼者はDAT把握を自力でやらなきゃならないし 擬似中央鯖はdatを持ってないのでp2p網のo2onを個別対処せざるをえなくなる
807 :
804 :2008/12/31(水) 10:34:53
>>806 >擬似中央鯖に鯖落とせって依頼がきたら落とせばいいだけ
「鯖落とせ」ってのは「スレ落とせ」とかの間違い?
どっちにしろ、それをやるのが大変だ、って話なんだ。
手動でやるならにくちゃんと同じ道を辿るだけだし、
下手に自動化したら悪意をもった削除要請者によって
簡単にサービス不能にさせられるし。
なるほど 黒かグレーかの濃さの違いはあるものの nyやShareなどと同じ理由でo2onも鯖を立てなかったということか ふむふむ となると削除要請をどれだけ的確に素早く捌けるかってのが問題になるが 削除要請は2chで削除要請が受理されたもののみに限る とかどうだろうか 元を断たずにこっちから先に削除要請を出すのはおかしい という理屈が通る・・・はず 2chの削除ガイドラインに準拠するので、こちらでは判断できません と言い張る 結局のところ「規制リストに入れて欲しけりゃ2chで削除されたっつー証拠もってこいや!」と そうするとプログラムで削除処理の自動化ができる Webプログラミングさえできればサーバーで直接やった方が楽なんだろうが・・・ 問題となったレスを指定させて、そのレスがあぼ〜んだったとか そもそも「datが消されたようです」とかがプログラムから確認できれば自動で規制リストに追加してアップロード クライアントは規制リストを更新 規制リストに引っかかったDATを要求・要求の受付をできないようにする(取扱い禁止) レス削除の場合は、そのDATを送信する時に そのレス番号があぼ〜んじゃなかったらあぼ〜んに修正してから送信させる(送信データの改変義務) ダウンロード済のログまで追いかけて削除とかは・・・やんなくていいよね たぶん 削除結果ログとして こういうのを流す あぼーんが確認されたものは別に保管して公開する pc11.2ch.net<>tech<>1212302014<>***<> スレッド存在無し確認-規制リスト追加 100.100.100.100 pc11.2ch.net<>tech<>1212302013<>***<> 問題なし 100.100.100.100 pc11.2ch.net<>tech<>1212302012<>002<> レスあぼーん確認-規制リスト追加 100.100.100.100 pc11.2ch.net<>tech<>1212302011<>***<> 規制済み(レス削除) 100.100.100.100 規制リスト セキュリティ対策ソフトのウィルス定義更新のやうにする pc11.2ch.net<>tech<>1212302014<>***<> pc11.2ch.net<>tech<>1212302012<>002<>
809 :
デフォルトの名無しさん :2008/12/31(水) 10:39:18
管理者がいないのに削除する理由がわからん。他のP2Pで著作権侵害で削除してるのか?
810 :
804 :2008/12/31(水) 10:43:26
>>808 2ch上で削除されてるかどうかを確かめる手段があるなら
そもそもo2on自体が要らないって話もある。
(ただの●の共有になるだろう。)
>>809 その仕組みがないからWinny作者は逮捕されたわけだが。
811 :
● :2008/12/31(水) 10:46:29
俺が●をもってりゃ確認はできる Webプログラミングは殆どできないから友人に頼むか 俺が自宅サーバー立ててそこに直接ポストさせるようにするか Gmailにでもメール送らせて連携させるか・・・ふーむ
812 :
804 :2008/12/31(水) 10:46:50
せっかくのpureP2Pなのに中央鯖作る意味がわからん。 P2Pの掲示板システムの様な物を実装して使ってやればいいよね? 速度的にもそんなに問題にならないと思うぞ
814 :
806 :2008/12/31(水) 10:51:13
>>807 > 「鯖落とせ」ってのは「スレ落とせ」とかの間違い?
いや、dat持ってないindexを作ってるだけ擬似中央鯖なので
datは削除しようが無い、なら鯖閉じろというなら鯖を落とすほか無い って事
>>805 で書いたように基本は純p2pなので
プラグインで拡張されただけの擬似中央鯖方式が運営不可になってもo2onは死なない
815 :
804 :2008/12/31(水) 10:54:58
>>814 え?じゃあ削除依頼が来たら即サービス停止じゃん。。。
816 :
804 :2008/12/31(水) 10:56:50
ああ、それで削除依頼者は探すのが逆に大変になるから 中央鯖に対して削除依頼は出さないだろうってことか。 そううまくいくかね。。。
>>815 だからこそo2onに中央鯖機能をつけず
index作るサーチエンジン鯖(擬似中央鯖)って形ならどうかな?
って話さ
即停止だったとしてもo2onネットワークは残ってるから今と同じに戻るだけ
Skypeみたいなスーパーノード型ハイブリッド P2Pにすればいいんじゃね?
>>814 削除依頼が来たスレをブラックリストに追加して、擬似中央鯖とやらが扱わないようにすりゃ良いだけじゃない?
まあ、それ以前にo2onにその(擬似中央鯖方式)機能が追加されないと思うがw
中央鯖を置きたい理由は・・・なるべく●持ちと同じに近づけたい 専ブラで過去スレを開いたら 受信タイムアウトに間に合う時間で gzip圧縮されたDATがそのまま専ブラに受信されるような 大体30秒以内に 中央鯖を置くことで一回のポストで自分の欲しいものが全員に伝わる そして一回のポストで数百人分の欲しいものリストが手に入る 欲しいものリストを見て需要が満たせる場合のみにその人に直に通信が行われる 要するに無駄な通信が段違いに減る 完全P2Pの場合は・・・自分の要求を全員が知る ということだけでも 何回通信を重ねなくちゃいけないのか 単純なバケツリレーなら回数は膨大だし 他人のバケツの水をまとめて送ってあげるようにしていくとどうしてもバケツがおっきくなってしまう 全員が一括で要求を知ることができれば、全員の専ブラのログの中に一つでもログが残っていれば それか●持ちの支援者が一人でもその全員の中に入っていればログは手に入る 最初は●持ちや大量DAT保持者しか叶えられない要求ばかりで手が回らなくなるかもしれないけど 優先的に●持ちじゃない人から要求に応えるようにしていけば、利用者のDATが増えるにつれ ●持ちの負担も減るんじゃないか・・・と思っている
あとo2onのプラグインという形にしたくないのは やっぱり中央鯖に対する送受信に全力を注がせないとP2Pの送信は速度低下に繋がる・・・ というのは建前でただ単に他人のプログラムソース読んで再利用するの下手なだけです 一から作ったほうが早い・・・
なんつーか、誰かが手間やリスクを一身に背負って中央鯖を管理してくれるなら 是非お願いしたい。 結果的に●の共有と同じことになっていたら、●止められて終了だろう。 それと、専ブラのログをそのまま共有するなら形式の違いにも注意してね。 ほとんどの専ブラは2chにあるdatそのままの形式だけど違うのもあるから。
なん・・・だと・・・
o2onの「●に対応しました」って要求に対して●を使って応える機能は備わってなかったの?
もしや単純に自分の要求を満たすためだけだったのか・・・
たしかにそんなこと許したら●の共有と同じことになっちゃうか・・・
その機能が無理なら
>>820 の●持ちの支援者が一人でもいれば〜ってのが実現不可能なって
速度や対応能力減るなぁ
一応どの●が共有に参加してるか ってのが特定される証拠は無いけど
そういうことやってるってことで怒られるかもね
まぁ削除申請に対応するためだけに使う分(俺の●)だけなら問題無いだろう
俺がdat共有に関与しなければいいんだし
とかく削除申請の数が気になるわ・・・処理追いつくのかどうか
>>823 o2onの●機能は他人の要求に対して●を使う機能じゃない。
あくまでも自分の要求に対してだけ使う。
取得したdatは結局共有するんだけども。
一身に手間やリスクを背負う覚悟ならできてる みんなで●無しで●のような機能を実現させたいと思って●買った なんか元の木阿弥、じゃなくてなんだっけ忘れた 回りまわって出た結論にそれじゃ結局意味ないよ!とツッコむような慣用句があったような こういうシステムを作る上で一番問題に関ってくる●がどういうものか実際に使ってみないと、と思って それにこういうシステムを自分の手で作ったり管理したりと考えるだけで ` 、` 、` 、` 、` 、` 、/:::::::::::/ ヽ、::::::::::::::::::::::::/ ` 、` 、` 、` 、` 、` .!::::::::/ `゛ ー- ::::::/ ど .` 、/ ̄ ̄ ̄`ヽl::::/ ,,,,,.- - 、,,,,,,,,,,,,,,_| う く ワ な. l::::| ''"二 _ , -――‐┤ で る ク ん |::::f'"´ `l=={ | す . で ワ だ |::::l l ヽ | : し ク か |::::|ヽ____ノ ヽ、__,.ゝ ノ ょ し |::::l//////人_、__,-_人//////`)ノ´|:: う て > ', ノ{|i!||l|li|l|}|l|iヾ、 ノ |:: !? /!:::lト, /ーt―――‐ァ{ / /|:: , "\____/ |:::!|:::', `ー一'"´ ノ , ", ", ", ", ", " "ヽ:ハj >、 `ー一 / , ", ", ", ", ", ", ",. "/:.:.:`ゝ、 _ノ - '´/ ,. - , ", ", ", ", ", ", "/:.:.:.:.::.l:.|\` ̄ ̄´,. - '"´´/:.:.:. まぁそれはいいとして対応専ブラは・・・とりあえずJaneだけに絞ろう なぜならJaneしか使ったこと無いから
o2onとは何の関係もない、Janeの拡張機能と中央鯖になるわけか。 できあがったら別スレ立てたほうがいいかもね。
たしかに o2onと何の関係もない 目的は一緒だけど まぁ作り始めるのは早くても来年の4月からなんだが はっはっは 今はまだとーく2ちゃんねる見てプログラムから●にログインする方法とか読み書きとか試しただけだ 色んな意見ありがと また完成したころに
828 :
デフォルトの名無しさん :2008/12/31(水) 12:31:09
share作ったやつ、winny作ったやつ、bitトレント作ったやつが応用して開発すれば ネットワークを知っている分簡単だろ・
信じられないほどスレが加速してると思ったら冬休みか…
取り敢えず中の人も居ない状態でこれだけ盛り上がってることにびびった
うんこが多くてワロタ
>>831 俺もついに念レス出来るようになったようだ
なにこの人たち・・・ その首のマフラー引っ張って死ね!
誤爆スマソ
>>774-777 >>780 わたしも専ブラのログを消すのが面倒なんですよね。
専ブラ側の読込処理実装方法にもよると思うので、実装されるかどうかは別として
自己主張はしても良いかなと思います。
X-o2on: バージョン番号
とか。
システムが違うのでなんともですが、専ブラ事のdat配置に従ってo2onも配置した場合ではダメなのでしょうか? むしろ専ブラが重くなってしまうのかな?
>>837 専ブラ側で、取得したdatを書き換えて保存しているやつがあったはずです。
うる覚えだけど。
ABoneみたいにサーバ名からフォルダを切ってるのもあるし(今は違うのか分かりません)
専ブラが出てくるたびにo2on側で対応しないといけなくなるでしょうし、
それなら各専ブラ側で、datを残すか残さないかを実装してもらった方が
早いかなぁと甘い考えをしちゃったり。
>>838 Janeだとログ整理機能は一応あるな
使ってないけど
>>839 ギコナビには、ログを整理する機能が付いてないんですよね。
専ブラ側に「指定サイズ以上ログが溜まったら、古いものから削除する」って
機能があれば、それで解決しそうな気がしてきました。
おさって誰?o2on作った人?
現在のメンテナーの一人
843 :
デフォルトの名無しさん :2009/01/02(金) 12:57:31
↑は訴訟問題が直接ひろゆきに行かないようにするためのダミー会社じゃないん?
845 :
デフォルトの名無しさん :2009/01/02(金) 12:59:55
既存のネットワーク(bitトレント、share, winny)を利用して 現在の2chと同等の操作性の掲示板がいいです。
似たような話が何回も出てきてるけどo2onは2chの過去ログを流通させるためのソフトであってP2P掲示板とは全く関係無い P2P掲示板が欲しいなら自分で作るか専用スレ作って人集めなさい
847 :
デフォルトの名無しさん :2009/01/02(金) 13:25:49
パケットモンスターって、ポケットモンスターを真似してから付けたのか? それとも通信回線が大きい会社ってことか? 前者でダミーだったら悪質では_?
>>843 わざわざ譲渡されたものを潰すバカがどこの世の中にいるんだよ
849 :
デフォルトの名無しさん :2009/01/02(金) 13:44:04
赤字で、広告収益でなかったらつぶすだろ。
850 :
デフォルトの名無しさん :2009/01/02(金) 14:50:11
日本企業相手に広告売り上げあげるのは難しいと思う。 交渉や場所的に。速いうちにドメインごと無くなると思われる。 日本の会社に売れなくてやっとこ売却したがこれまでだ。 P2P掲示板を至急頼む。
新月ってだめなの?
853 :
デフォルトの名無しさん :2009/01/02(金) 15:08:19
オニオンに掲示板追加でも良いよ。初心者でも使えるように www.3ch.netとかにアクセスしたら普通に使えるようにしてくれよ。 サーバーは置いて、子サーバーが生存しているか確認と、繋がっている人数が少ない所へ中継する。
854 :
デフォルトの名無しさん :2009/01/02(金) 15:12:41
アクセス地点が1カ所だと問題だから、ドメイン確保とサーバー確保できる人が 何人でもアクセス地点として開放できるようにする仕組みがあると良い。 ドメインはいくつもあるけど2chと同じような掲示板が出来るようにする。
自分でやれよ
856 :
デフォルトの名無しさん :2009/01/02(金) 15:32:38
2chのアクセスを全部受け入れるためには、台数が必要で 既存のネットワークで自動拡散するやつがいいと思うんだ。 いいやつある? winnyは自動拡散しないの>
PD?
さっきからP2P掲示板について語ってる奴は自分勝手にアイデア語ってるだけだろ 自分でやる気が全くない オニオンに掲示板追加でも良いよ。 って何で上から目線なんだよ お前がやれよ
正月休みですから
林檎とかあるじゃん
o2onで40G近く溜まったのにJaneに750Mもある。 Jane側を消すと幸せになれますか?
>>863 Janeに、ちゃんとo2on経由で取得する設定がされていたのなら
幸せになれます。
Janeのログをo2onにインポートしてから消せばいいんじゃね?
x86_64-debian-linux-gnuで空のlogフォルダの状態で、 o2onのhttpプロクシ経由でこのスレのdatが取得できた記念真紀子。 管理画面も開けて各タブの状態を見るのも可能でした。 ライブCDから動作確認できるSiduxというディストリをHDDにインストールして使ってます。 以前やってみた時はFAT32パーテーションが原因だったのかWineで起動しませんでした。 今日はext3のパーテーションにo2onフォルダを置いてみたら動きました。 追って報告します。
P2P起動中に管理画面を開こうとすると簡単に落ちるようです。 怖くて状態の確認はできません。 管理画面さえ開かなければ安定して動いているような印象です。
管理画面もWebベースに出来れば、UNIX系でも安定するのかな?
管理画面じゃないや、オプション画面。 でも、管理画面で落ちるならあんまり関係ないか。
dat消してから開いてるスレ読み込み治す作業が地味に面倒だな・・・
フォルダ指定して、定期的に指定した拡張子の容量全部集めて合計して 一定量を超えたらファイル最終アクセス日時で一番古いやつから削除すればいいだけだろ? それぐらいのツールなら俺作ろうか?
よろしく
875 :
874 :2009/01/04(日) 12:04:03
876 :
874 :2009/01/04(日) 12:47:12
VBスクリプトで作りました。
http://o2on.sourceforge.jp/upfile/o2up0026.zip 中に、ディレクトリの指定と日数指定があるので、
各自書き換えて使ってください。
わたしが使っているギコナビの設定&30日で削除になっています。
あとは、タスクにセットしておくなりご自由に。
ちゃんと動くか心配な人は、
68〜69行目の
'msgbox objFile.Name
objFile.Delete
を
msgbox objFile.Name
'objFile.Delete
にすると、対象ファイル名を表示するので、確認してください。
途中で止められないので、wscript.exeをタスクマネージャから殺してください。
877 :
874 :2009/01/04(日) 12:55:15
なんかレベルの低い要望ですが 管理画面のスレッド検索の所とかもう少し使いやすくできないかな 個別だけじゃなく一括選択して削除したりしたいのですが あとdat落ちしたスレをすべて自動的にo2onに登録するんじゃなく Janeとかの2chブラウザの右クリックのコマンドとかから個別登録できるようにしたい 自動的にo2onに登録するか否かをオプションから設定できるようにできないかな
ほげー 全然反応ない・・・と思って落ち込んでたのに 今見てみたらすでに作られているなんて どよんど
もう面倒だからRAMDISK組んでそこに専ブラのログは置くことにした
>>877 すごく幸せになれました。
ありがとう。
dat落ちしたスレが検索候補?に入らなくなった・・・ 何も弄って無いと思うしちゃんと串の設定も変えてないんだけどな どうしたo2on
>>878 まず使っているo2onのバージョン番号を書くんだ。
話はそれからだ。
884 :
878 :2009/01/05(月) 22:43:09
885 :
デフォルトの名無しさん :2009/01/05(月) 22:50:17
P2P掲示板
うるさいだまれ
これって地引き(相手ノードが持ってるdatを片っ端から落とすとか)はできないの?
登録して無くても落ちてくるから地引あるんじゃん?
889 :
デフォルトの名無しさん :2009/01/06(火) 07:20:25
これってdatは圧縮した方が良いよ。転送時間も短くなるし、データが生き残る確率も上がる。 データが一杯になったら消されてしまう可能性が高いが、1/5になれば5倍は消されない。
>>889 保存しているdatについては、NTFSの圧縮機能を使うといいんじゃないかな。
891 :
デフォルトの名無しさん :2009/01/06(火) 07:56:00
そしたら転送は元データを送ることになるじゃん。
転送に関しては圧縮を考えてもいいかもね。 gzip圧縮とか、そんなにコストのかかるもんでもないし。 TransmitFileでも使ってる、とかなら別だけど。 ただ、逆に、保持しているデータを単純に圧縮ってのはどうだろ。 少なくとも、圧縮ってのは追記が多いデータには有効に働かない。 細切れ圧縮で圧縮率が落ちるか追記の度に全体を再圧縮でパフォーマンスが落ちるか。 言い換えれば、過去ログとなってしまった.datは積極的に圧縮する価値がある。 特に圧縮して書庫化すればクラスタギャップも減らせる。 アクセスを速めたいならindexを別途持てばいい。キーは数値なんだし。 まあこれも圧縮の頻度が多すぎると、フラグメントが問題になるかもしれないがね。
893 :
デフォルトの名無しさん :2009/01/06(火) 09:30:11
転送については量子通信を用いればいいんじゃないかな? glibc使えば簡単に出来るし。
894 :
デフォルトの名無しさん :2009/01/06(火) 09:49:57
データ圧縮は、配布されるPCの数も増えるし、良いことずくめ。 100Kなら転送中にエラーになったり、電源落とされて転送が完了しない確率があるが 20Kなら直ぐに行き渡る。
>>892 > 少なくとも、圧縮ってのは追記が多いデータには有効に働かない。
認識が古い
>>895 それはつまり、.cabや.bz2のような
全ファイルを全て一連のストリームとして扱うような圧縮形式でも
ファイルの追加が簡単に出来るようになる、ということなんだけど
それが普通だって事かい?
圧縮ファイルの中に直接データを追加できるならそりゃ便利だけど
今の一般的なzipとかがそういう形式とはとても思えないんだけど。
あるいはHTTPに使われるgzやdeflateにしても。
圧縮のアルゴリズムとして基本中の基本のランレングスだと、 バイトあるいはビットのストリームの中から、 重複した文字列の代わりに「何文字前から何文字を繰り返す」という記号を入れるわけだ。 単純に追記だと、この重複判定可能な部分が短くなるよね。 過去に圧縮済みの部分をさかのぼって(=一定量を展開して)やるにしても 適当なところから読む、というわけにはいかない。 普通はハフマン符号化等を併用してバイトではなくビットとして扱っているのだし もし「ここが区切りだ」と判定できるのであれば、それは規則性があるということであり 圧縮の余地が残っているということになる。 区切りが判定出来ないのであれば全体を展開するか辞書を共用しないかしかない。 まあ辞書を別途持つというような形式ならば共用できるのかもしれないけど 結局末尾につけた辞書を外して書き換える等しなければならないし ランレングスよりも距離が増えるので圧縮率は下がる。 と思っていたんだけど、違うのかな。
898 :
デフォルトの名無しさん :2009/01/06(火) 10:53:55
量子圧縮使えばいいじゃん。 glibc知らないの?
899 :
デフォルトの名無しさん :2009/01/06(火) 11:26:24
まだ冬休みなの?
腹いて〜
>>895 >>899 例えば何というアルゴリズムだと追記でも圧縮率が低下せず全体を再圧縮もせずに済むわけ?
具体的に名前を挙げてもらえると嬉しいんだけど。
特許でもとられてない限り、是非今後積極的に使いたいんで。
905 :
デフォルトの名無しさん :2009/01/06(火) 13:19:43
datごとにあっしゅくだろ
当たり前のことを何偉そうに
907 :
デフォルトの名無しさん :2009/01/06(火) 13:58:51
Linux勉強したほうがいいんじゃないの? 量子圧縮が超便利。
とりあえずageてる人はスルーで良いんだよな?
Linux関係無い気がするけど 量子化圧縮の事?
自分の思い込みに自分ではまりこんでだんだん遠くへ行っている
>>904 の滑稽なこと。
量子化圧縮って非可逆じゃないの?
全部のレス内容を、全部sqliteで管理するってのは、無理がある? 本当に全部放り込むとdb容量が50GBとかになるだろうから、 dbファイルを板ごとに分割させて、いくらか分散させるとして、どうだろ?
圧縮にlinuxとglibcが関係があるというすばらしい理論。
さらには、煽るだけで結局何の根拠も知識も無く
>>904 は「挙げられるもんなら挙げてみろよバーカ」と書いてあるのに気が付かない
>>910 なんという冬休みモード。
>>912 圧縮してDBに放りこむのは普通のやり方。
一人で泥水の中を転げまわっている
>>913 の滑稽なこと。
>>912 少し前、「sqliteはでかくなると死ねる」というような話を聞いたが
今はどうなんだろう。
917 :
デフォルトの名無しさん :2009/01/06(火) 14:53:36
>>916 50GBのDBでメモリー使用量13MBということで、マシン内で一つだけ開いて
いるような状況であれば十分許容範囲。
同時にいくつも開くのはつらいかもね。
918 :
デフォルトの名無しさん :2009/01/06(火) 14:53:37
>>916 がんがん再パックしまくりですよ、もう。
sqliteより、最近また開発熱が上がっているシンプルな
key-value DBに入れた方がいいしょ。超高効率パッケージを
フィーチャーしているのもあったんじゃなかったか。
結局可逆圧縮と非可逆圧縮の違いすら知らなかった人が騒いでるだけっぽいね。 悔しがってるみたいだけど。
922 :
デフォルトの名無しさん :2009/01/06(火) 14:58:14
>>919 Linuxだね。
量子圧縮サポートしてるからかなり小さくなる。
元のデータよりDBが1/10になるのはLinuxだけ。
Winじゃ絶対無理。
Win使いご愁傷様w
板ごとに分割してdb化は、ぜひ採用してもらいたいな。いま2chの板は700程度あるから、 700個のファイルサイズが随時上がっていくだけなら、まったく問題ない。 現状うちのPCは、ntfsのドライブに素のdatが500,000個ほど転がってる。 chkdskで検査すると、ファイルシステム自体は異常なしだが、 市販デフラグソフト(UltimateDeflagとか)が解析中にエラーを吐いて デフラグ自体ができないという、前代未聞な酷い状態になってる。 クラスタサイズを64KBにしたら、断片化はいくらか軽減したが、 今後はdbで管理したいわ
924 :
デフォルトの名無しさん :2009/01/06(火) 15:04:32
>>923 ext3なら一億テラバイトでも大丈夫だった。
925 :
デフォルトの名無しさん :2009/01/06(火) 15:08:49
>>921 なんか内容のあること書けないの?
じゃまだよ。
ファイルの個数は減らせるなら減らすべき。 うちはufs2+softupdateのドライブにいろいろなキャッシュ1,700,000個のファイルが 転がっているが、ファイルシステムスキャンからfsckから時間も負担もかかりまくりで 必死に減らそうとしている。
>>924 ファイル数の話をしてるのに、なんでいきなりファイルシステムの上限の話になるの?
928 :
デフォルトの名無しさん :2009/01/06(火) 16:05:15
ext3ならfsckが必要ないのにw
お前等そんなに分かってるならソース公開されてるんだし試しに修正してうpしろよ
ほげー お前らなんでそんなに詳しいんだよ o2onの後継作ろうと躍起になってたのに自信無くなったわ Janeで直接受信させたいわーってことでzip圧縮して送信ってのは決まってたんだけど DBかぁ・・・Janeのログフォルダそのまま共用させて貰うつもりだったから全然考えて無かったわ
わお gが抜けてたわ
932 :
デフォルトの名無しさん :2009/01/06(火) 19:52:08
P2P掲示板
o2onの後継ってことはもちろん今のo2onネットワークに接続するんだよな?
あ しないわ でもo2onで溜まった分がもったいないからそれはそのまま使えるようにするよ
P2P掲示板
だからP2P掲示板は新月とかRinGOchとかすでにあるって何度言えb
2chの過去ログもみれてJane、ブラウザ単体でアクセス出来て 2chのアクセスピークの人数受け入れられるP2P掲示板>
作れ作れ。すぐ壊れたり四角かったりする車輪しかないから、まともな車輪作れ。
RinGOchを使ってみた サーバーモードにしたら全力で受信開始 これは期待できるかも? と思ってたら 落ちてきたのは画像ばかりで・・・
放置してたら荒れ気味でワロタ プロキシヘッダは簡単で弊害も少なそうなのでやってみましょうか dat圧縮とかDBかは私には難しいのでできる人よろしくw ちまちまバグフィックスもたまっているのでVC2008でビルドしたのを テスト版として出してみます。
941 :
デフォルトの名無しさん :2009/01/07(水) 05:37:32
>>940 悪いこと言わんからLinuxにしとけ。
Windowsでいいよ どうしてもというならFreeBSDで。
じゃあTRONで
ageで書いてる人は、何を目指してるのか全体像が見えないんだけど、 一度考えをまとめて、一気に今考えてる「自分のベストな仕様」を書いて欲しい。 過去からのソースを引きずって今の現状があるので、 今がベストとは思わない。 ただしそうなった経緯もあるので、そこを付き合わせて解決しないと、 話がすれ違いまくりで、全然進んでない気がします。
datをDBに突っ込んだところで、DBファイルの中でフラグメンテーションしない? 結局バキュームしないといけないんだったら意味がないと思う。
あるよ
.datを読んで、改行の数が1001だったら永久に追記されないことが確定なので、 ZIPで追記するスクリプトを作った。 ついでに、レスが980以上のもので、しばらく更新が無いものも同様な処理にした。 これでファイル数が半分以下になった。 ただし、専ブラから簡単に取り出す方法と、 収納済みDATを探す際のインデックスをどうするかが課題。
実際にこういったケースに遭遇するのか、また存在するのかはわからないけど 稀に1002-3が存在する事はあるから「偶々タイミングよく1000まで取得した」時の事を考えて 閾値は 1000 + 一定時間 にした方が良くない?
必要になったら取り出せば良いだけだろ。
950 :
948 :2009/01/07(水) 12:45:16
フラグメンテーションとファイル数削減の両面の対策の話じゃなかったのか? 違ったなら忘れてくれい
ZIPに追記したら送信するときは解答しなきゃならないじゃん。意味ない。 個別圧縮してあればそれを送信すればいい。
ZIPで圧縮済みのファイルを、一つの巨大な集まりにして管理するならいい。 個別管理よりINDEXを自己管理する分、読み出し速度は上がるだろう。
ZIP有圧縮をZIP無圧縮でまとめれば、ファイル構造を考えることなく簡単に済むな。
954 :
947 :2009/01/07(水) 13:01:47
>>951 まずは自分のローカルファイルシステムが荒れるのを防止するために作ってみた。
それと、手元に数万のファイルが鎮座してる状況から脱却できるメリットも大きい。
収納したDATを解凍してから相手に送る処理自体は予想外に軽く、
同時に1〜2個のレベルならオーバーヘッドにもならなそうな感じ。
それと、DATとスレタイと展開先のフルパスを紐付けするINIファイルを作成して、
dat番号を指定するだけでJaneのログディレクトリへ戻すオプションを付けてみた。
Janeで開いた直後は灰色の無効タブだが、再読み込みしたらログが復活した。
しばらくこれで使ってみる。
圧縮の有用性については理解しました。 やってみる価値はありそう。 展開時のレスポンスがネックかなと思っていたので。 あとは、圧縮対応版と非対応版がネットワーク上に混ざったときの 過渡期にどうするか。 非対応版が圧縮データを送りつけられたときに、ちゃんと無視できるかどうか…。 あとは、新しく受け取ったデータから圧縮していくとして、 既存の無圧縮データをどのタイミングで圧縮するか…。 別途コンバータを用意するとか。
tar.gzがいいです><
やっぱLinuxでも使えた方が良いって事には間違い無いよな。 WebUIベースでCUI起動で十分だしね。 Linux鯖にちょこんと載せてやりたい
Information.comってとこにドメイン確保されてたよ・・・・ 別のドメインで。・
基礎から勉強もかねて、unix ,windowsで共通して動くコードにしようぜ。まずはネットワークはどうやったらいい?
perlかrubyかpythonで実装しなおすのがベストだろうな。
>>957 Linuxについては、Wineで動きつつあるっぽいので、そっち方面でなんとか。
オプション画面をWebUIに移せたら、CUIでなんとかなるかも。
>>958 現状でもスレッドはアドレスをハッシュ化した物で管理しているので、
datをDBに突っ込んでも検索速度については変わらないかと思います。
1000行って一ヶ月経ったものはDB化とかにすれば、
フラグメンテーションについても気にしなくて良いでしょうし。
変更するにしても時間がかかるので、とりあえず断片化を何とかしたい人は
フラグメントについてはAusLogics Disk Defragでも使ってもらうとして。
>>949 実況スレとかは圧縮展開のほうに処理が取られそうなので、
DBに突っ込むのは、更新されないと確定したときが良いです><
エクスプローラでもファイル数多いと、表示に時間かかるみたいに 数が多いと、どこかで負荷がかかりそう。
メモリ管理(空き探し、開放など)のような事を、独自で、HDDに対して行えば 一つのファイルのまとめられると思ったが、現実のHDDみたいにセクタで区切れば 連続極域を確保しなくても済むな・。
>>963 ああ、俺Wineで動作確認してた人だけど、やっぱりLinux鯖(常時稼働PC的に)として使ってる人は
Xを入れてる人の方が圧倒的に少ないと思うからCUI+WebUIで完全制御出来たら良いなって事ね
>>967 VirtualPC on CentOS5.2 + wineで実行してみたけど、
dat検索画面の左フレームがパースエラーになった(firefox 3.0.5)のと、
ノードを追加しようと思ったら、管理画面で落ちてしまいますね。
とりあえずそのへんから何とかしないと…。
2chはつぶれる危機なので、2chユーザーを全員P2P掲示板へ誘導しようぜ 海外企業へ売却され、いつ保守やサーバー停止するかわからん、
>>969 昔のなら更新される事はないのでアーカイブして問題なし
今現在存続しててストッパーが壊れた場合はちょっとした祭りになるだろうから
数日間放置される事も無いのでは? という考えで数日未更新ならアーカイブしても良い気がする
そんなことよりそろそろ誰か次スレを
gzip形式のEXTRA_FIELDにdatのキーと圧縮後のサイズを入れ、ひたすら積み上げる。 そうすると、(.gzを扱うツールはcatしたデータを続けて扱うため)巨大なファイルにも見える。 で、キーとアーカイブ内の位置と圧縮前後のサイズ、および最終更新日を別ファイルに持つ。 (元のファイルから作成可能だけど速度のため) 追加は、フラグメントを避ける(過去にマップ時にOSが数秒間凍るほどの状況になった)ため ある程度のまとまりを別途作ってから追加する機能だけ。 削除は、インデックスから削除する機能はあるけどremakeしない限りアーカイブには残る。 更新は、同じキーがあったら後半の方を優先することで、見かけ上だけ。 あ、直接HTTPで送れるようにとgzip互換にしたのに、圧縮後のイメージを取り出す機能つけてないや。 というのを以前作ったんだけど、興味のある人いるかな。
>>968 薄い記憶ですが、バージョンが上がった後管理画面が落ちなく(落ちにくく?)なったような・・・
勘違いかも知れませんのでアレなんですが。
他にWinからノードを読み込み済みのファイルだけ持ってきた記憶もありますがw
ノードを入れた後は問題無く動いてたと思いました。
管理画面の管理タブ以外を直接開いたら問題無いのですが、管理タブの時に落ちた様な気も。
また時間があったらテストしてみますね。
>>974 ガンガレ。期待してる。
*GB〜サイズ、***ファイルを扱う事になるので、
数個程度の大きなファイルを擬似的なシステムとして扱って
インデックス?ジャーナル?をメモリ上に読み込みつつライトバッファも利かせて・・・
CPU負荷も低くて済む透過的な圧縮が扱えるDBがあれば理想的だと思う。
転送に乗せるのはgzipが一番資料が多そう。
2chのdatの圧縮の時間やサイズはppmdがいい感じだった気がする。
.tar.gzみたいにp7zipも透過的に扱えたような気がする。
データ配置構造で一番参考になりそうなのは
googleや各種wikiエンジンよりもman-dbかなっと思います。
あと数年立てば超巨大容量SSDが一般化して圧縮ぅ〜?って感じになってることはほぼ間違いない。
それでも今は転送の無駄についてはきちんと考えた方がいい。
プログラムの分からない外野からの意見でした。
それよりも全文検索機能を
気持ち悪いコーディングスタイルを何とかして欲しい 戻り値の型とクラス名とメソッド名の間に改行入れるとかなんなの
見る時に不要な改行を消すバッチでも組め
>>978 どの時点で、あのコーディングスタイルになったのかわかりませんけど、
個人的には違和感があるのですが、共同作業なので我慢してますw
他の作業者も違和感があるようでしたら、手を付けるタイミング出直していくのもありかなと思います。
管理画面からスレへリンクさせたり、スレのアドレスを専ブラへ渡したりできない? 全レスが取れたか確認したり、補完したログを専ブラで読むときに毎度毎度アドレスをコピーするのが手間なんだけど…
なんか最近拾ってきたDatが妙な事になってたりするな・・・ HDDも少なくなってきたし初期化して1から集め直した方がいいのかな?
>>983 1000を超えたスレを収集したから、見たら
1-xxxまでログが続いたと思ったら、次のレスが1になってる
いま気がついたんだけどアニラジ実況はスレスト3000みたい
それ2chじゃないだろ
2chがつぶれる前に完成させないと誘導できないだろ。早期完成におねがいします。
何か最近気になるんだが数日つけっぱだと終了時設定を保存していますで 10分くらい待っても正常に終了しないことがある これはどうしたものか
ほしいファイルを内容で検索する方法考えた。indexを作るのは無理だろう。 そこで、各ファイルごとに24bit(3バイト)ごとの出現回数を調べておき、「大車輪」を検索したかったら 大(車の前半)、 (大の後半)車 、 (車の後半)輪 の3バイトが全てカウントされているファイルを選べばいい。 24bit全てのデータを保持しておくのは負荷が大きいので、良く出る1万個くらいでいいとおもう。 さらにこの方法で、ある文書を指定したら類似するファイルを列挙できる。 2^24のベクトル空間と見なして、そのなす角を求める。
そうね
カウントを2バイトで記録したとしても1万種類だと、各ファイルごとに20Kバイト追加する事になる。 種類を減らせば、検索効率が落ちる。
992 :
989 :2009/01/10(土) 15:33:09
ほとんどの単語は2語以上の合成だとすれば、2バイトごとに 語の合成が起こる所だけ統計を取れば、数は減らせるな。 (大の後半)(車の前半)、 (車の後半)(輪の前半)
993 :
989 :2009/01/10(土) 15:36:50
P2Pの相手に、例えば52551番、7784番を含むファイルはあるかとたずねて、あったら出現回数やタイトルや部分的な内容を送信してもらう。
namazu
ume
2chのオーナー変わったみたいだからな マジでこれから取り潰しになる鴨試練
ume
1001 :
1001 :
Over 1000 Thread このスレッドは1000を超えました。 もう書けないので、新しいスレッドを立ててくださいです。。。