読めないdat落ちスレのhtmlミラー避難所

Janeの外部コマンドを使ってる人って、実際そんなにいるんですかね
私も一応Jane使いですけど、あれ何がなにやらわけがわからないんですね
よっぽどmirrorhenkanで手動保管した方が話が早いような気がします

http://makimo.to/cgi-bin/bbs/Bbs.cgi

[991] (無題) 投稿者：makimo.to(ぴ) 投稿日：2006/11/23(Thu) 03:39

ログやアクセスの増加については、サーバー負荷の増大という物理的な問題だけではなく、
ログの増加≒有害な投稿も増加・アクセスの増加≒被害の増加という面での問題もあり、
企業などからはログを消すだけでは許さないという警告も出てきています。
サーバーはお金で増強すればなんとかなるとしても、人間が対応する部分での限界もあるので、
今のままでの続行は難しくなりつつあります。

将来P2Pで共有をするとしても、技術よりも人間(削除・スパム・データ改竄など)が
ネックになるかもしれません。

こういうのも作ってみたです

http://www.geocities.jp/mirrorhenkan/others/mirrorget/

板を指定して実行すると
各ミラーサイトにアクセスしてログが蓄積されると。

例えばガイドライン板を指定すると

http://www.geocities.jp/mirrorhenkan/mirrorhokan.html?u=http://ex13.2ch.net/test/read.cgi/gline/1118753283/

等のように全てのスレッドを巡回アクセスすると思うです。
で、全てのスレにアクセスしたら
またsubject.txtを拾い直して最初からまた順々にアクセスすると。

試して頂けると有り難いです

あいかわらず強制終了しか手段がないんだね

>>943
まあそんなもんです

ただ、xpや2000ならタスクマネージャーを使う手があるみたいです。
使ってないので判りませんが。

また、エクスプローラでstart.vbsを右クリックして
「スクリプト」→「スクリプト実行時間を秒単位で指定する」で
終了させたい時間を秒数で入力（１時間後なら60×60で「3600」と入力）
してＯＫすると
start.wshが生成されるので、それを実行するとか。


スクリプトそのものに手を入れるなら
ループしたい回数を指定する命令を追加しておくとか
ループ直前に続けるかどうか確認メッセージを出すようにするとか。
どちらもうざったくなるような。


という所ですか。
「日本語でおｋ」で別に構いませんです

>>818の続き

944 名前：水先案名無い人 投稿日：2006/11/25(土) 12:30:08 ID:0hURH43j0 ?2BP(1)
>>943
まあそんなもんです

ただ、xpや2000ならタスクマネージャーを使う手があるみたいです。
使ってないので判りませんが。

ミス誤爆…

>>944
どこかのスレで読んだ表現ですが
タスクマネージャーのプロセスから落とすのは行儀の悪いソフトを落とすための
「おしおき」だといった人がいるんですね

私は、まだ独身（というか童ry）だけど、常に怒ってる親にはなりたくないのですね
「おしおき」っていうのは、あくまでも仕方ない場合の手段だと思っています
毎晩毎晩「おしおき」をするのであれば、それはDVと解釈するのが自然ではないでしょうか

技術的な問題がなかったとしてもそういうイメージが
使う側にとって敬遠の理由になることは十分に考えられることで
>>943さんは、そういうことをいいたかったのではないのかなと深読みしてしまうわけです

「datファイルを共有するP2Pソフト」の開発にひろゆきの許可がおりた
http://alfalfa.livedoor.biz/archives/50714952.html

普通にそのスレ見てて運用情報の質雑スレも見てた…

ttp://makimo.to/close.html
「にくちゃんねる」休止について
2001年12月頃から過去ログの公開を続けてきましたが、
最近はログ全体とアクセス数の急激な増加に伴い、安定した運用が難しくなってきましたので、
2006年12月31日をもって、公開を休止することにしました。
今後の再開は未定です。

休止後も、スレッドタイトル検索・DAT2HTMLの更新は続けていきます。

既存のリンクから ttp://makimo.to/2ch/hoge_fuga/1234/1234567890.htmlへのアクセスがあった場合は、
ttp://hoge.2ch.net/test/read.cgi/fuga/1234567890/へリダイレクトさせる予定です。


2006/11/22

>>933

makimo.toさんの所のdatをＤＬするwshを作ってみたです
良かったらどうぞです

http://www.geocities.jp/mirrorhenkan/others/makimotoforever/

>>952
乙です。>>928ともども使わせてもらいます。

にくちゃんの変わりに取得するサイトがスナップショット以外にも
3つほどあったと思うのですが教えて下さい

>>954
マジレスすると手動保管のところをクリックすればいいんじゃないですかね

>>954
http://contents-factory.net/remix2ch/
http://com-nika.osask.jp/bbs/
http://p2.2ch.net/
http://atashi.com/webarchives/
http://megalodon.jp/

>>952のスクリプトですが
バグがあったので修正したです。

ところで

皆さんで
makimo.toさんの所のログを保管しませんか？
800板くらいある訳ですが
板を分担してやれば出来なくはないと思うのですが。

自分のＰＣは空き容量２００メガくらいしかないので
無理なんですが・・。

じゃあ僕はWeb制作板ー

といいたいところなんですけど、自分の掲示板で書いたように
20メガ超えると落ちるので名乗り出ることは難しいですね

溜まったログは、オンラインストレージにでもageてもらえばいいですかね？

>>952でﾗｳﾝｼﾞｸﾗｼｯｸ@sports2を試してみたけど
2300件くらいあると書いてあるのに
datを900個くらいダウンロードしたところで止まっちゃう。
プロセス止めてやり直して見てもダウン済みのdatを上書きするだけ。

XPSP2 IE7

多人数で一気大量に落としたら氏ぬかもです＞＜

makimo.toさん html2dat.cgiを落とされたようで
何とも申し訳ない感じがするのですが
どうしたものでしょう。。

htmlファイルをＤＬして
htmltodatでdat化するというのはどうでしょう

出しておくです

http://www.geocities.jp/mirrorhenkan/others/makimotoforever/html.html

今までは なりゆきで他板のスレにも書いていたですが
とりあえずここだけに書いておくです


>>958
どうしたものでしょう。。

>>958 >>959
自分の所や他スレでの書き込みをみると問題なく出来ているので
どうしたものでしょう。。

途中から再開出来るようなものとか考えてみるです

>>960
どうしたものでしょう。。

あと要望なのですが

htmlで落とされる方
各板のごみ箱やsports2サーバ等
なるべく 本家のほうに残っていないものからＤＬして頂いたほうが
後々の為になるかもです

>>961
＞htmlファイルをＤＬして
＞htmltodatでdat化するというのはどうでしょう
htmltodatだと完全に元のdatと同じにするのは無理

>>963
>完全に
とはどういうことですか？
できれば詳しくお願いします

>>964
例えばここのテンプレの>>4の場合

＞前スレ 読めないdat落ちスレのhtmlミラー作ります [87]
＞　http://that3.2ch.net/test/read.cgi/gline/1115213835/

が正しい形
それがにくちゃんねるのクソ仕様のhtmlの場合

＞前スレ 読めないdat落ちスレのhtmlミラー作ります [87]
＞　../../that3_gline/1115/1115213835.html

こんな形式になってやがる
これを現行のhtmltodatで戻すのは無理
（厳密に言うと無理ではないが非常に面倒↓を参照）
http://jbbs.livedoor.jp/bbs/read.cgi/computer/1929/1038588508/355-356

htmltodatのVerUpを待つかhtml2dat.cgiの再開を待つしかない

にくちゃんねる内で完結している分には優れた形なんですけどね。
その代わりに汎用では無いと。

>>965
素早く的確なレスをありがとうございます
なるほど、それですか…
確かに29chユーザーが随分悩まされてきた部分ですよね

>>965
下のを試してみて下さい。
スレッドURLやbeも変換出来たと思うのですが。

正規表現（改行を取り除いて）
m#<dt>([0-9]+) 名前：<span .*?>(?:<span tit
le="(.*?)" class=sage>|<a href="mail
to:(.*?)" class=mailto>)? ?(.*) (?:</a>|</sp
an>)?</span> ?(.*?) <br><dd> *?(.*?) <br> *?<b
r> *?(<a name.*?>|</tl>|</dl>)#mi

前処理（「変換オプション」から行けます）
s#<a href="JavaScript:be\((\d+)\)">\?(\#*)</a>#BE:$1-$2#gi
s#(>)\.\./\d+?/(\d+?)\.html(</a>)#$1http://ex13\.2ch\.net/test/read\.cgi/gline/$2/$3#ig
s#(>)\.\./\.\./(.+?)_(.+?)/\d+?/(\d+?)\.html(</a>)#$1http://$2\.2ch\.net/test/read\.cgi/$3/$4/$5#ig

変換結果式
$4<>$2$3<>$5<>$6<>

以上の方法で
http://makimo.to/2ch/qa_nandemo/index.html
にある１０スレのhtmlをローカル保存して
一括変換してみたものを
http://user.ftth100.com/mirrorhenkan/xml/
に上げてみました。
beと他スレのURLはうまくいっているようです。

で htmltodatサポ板の書き込みで聞いたのは
前処理中の

s#(>)\.\./\.\./(.+?)_(.+?)/\d+?/(\d+?)\.html(</a>)#$1http://$2\.2ch\.net/test/read\.cgi/$3/$4/$5#ig

の箇所です。
ここの「ex13」「gline」だけは欠落しているので補うしかない訳ですが
そこを半自動化出来たらいいな、と。

ただ
同じ板同じスレのhtmlを一括dat化するなら
それほど面倒でもないかもと思うですが
やはり半自動化出来ればいいな と。

間違い
３行目ではなく２行目でした
s#(>)\.\./\d+?/(\d+?)\.html(</a>)#$1http://ex13\.2ch\.net/test/read\.cgi/gline/$2/$3#ig

「2ch DAT落ちスレ ミラー変換機 ver.４」を作動した結果の「専用ブラウザ用 datファイル」の下のほうで、
にくちゃんねるのdatを右クリックで落とそうとしても、うまくDLできなくなりますた。
（makimo.to 220.254.5.211 :8000 いずれも）

ぬるぽの俺には原因がわかりません。
教えてエロい人！

>>971
・・えーと

スレッドのURLを教えて頂ければ
dat化したものをアップするです

>>971
そりゃもう無理みたいなので
htmltodatを使っちゃってください
正規表現とオプションは>>968ですかね

肉はどうか知らないけど、html化の際trimしてたらどう頑張っても2chと同一のdatは復元できないよ

ただ、連続空白の長さが違おうがブラウザの表示は変わらない。バグってなければｗ
なので自分で読むだけならtrimによる差異は気にする事はないと思う。

>>968
レスありがとうございます。
早速、いくつかのスレで試してみたのですが、
若干変換がおかしい所がありました。

http://makimo.to/2ch/ex13_gline/1120/1120002213.html
http://ex13.2ch.net/test/read.cgi/gline/1120002213/408
の
＞../1125/1125943726.html#6nを参考にdatを落として
みたいな形の場合は正常に変換できてないようです。

正常に変換できたら↓こうなるはずなのですが
＞http://ex13.2ch.net/test/read.cgi/gline/1125943726/6nを参考にdatを落として

んで2行目を↓にしたらうまく変換できました。
s#(>)\.\./\d+?/(\d+?)\.html(?:\#)?([^<]+?)?(</a>)#$1http://ex13\.2ch\.net/test/read\.cgi/gline/$2/$3$4#ig

あと元が ttp://〜 となってる場合
makimo.toのを変換すると #http://〜
となってしまいます。

後処理で整形すればいいだけですが・・・（というか気にしすぎかな？）
s#\#http#ttp#

これでほぼ元のdatにもどせました。どうもありがとうございました。

あと ttp://〜 で始まる2chの過去ログ形式のURLも正常に変換できてないみたいです。
（makimo.toのhtmlの時点で既に .html.html とおかしな事になってるのが原因）

http://makimo.to/2ch/ex13_gline/1162/1162145766.html
http://ex13.2ch.net/test/read.cgi/gline/1162145766/14-16
の
＞73ぬるぽ：#../1158/1158680051.html.html
とか

これが元の形です
＞73ぬるぽ：ttp://ex13.2ch.net/gline/kako/1158/11586/1158680051.html

s#(>)\.\./\d+?/(\d+?)\.html(?:\.html)?(?:\#)?([^<]+?)?(</a>)#$1http://ex13\.2ch\.net/test/read\.cgi/gline/$2/$3$4#ig
で一応↓のように変換できました（なんか泥縄ですみません。スマートなやり方があればお願いします。）

＞73ぬるぽ：#http://ex13.2ch.net/test/read.cgi/gline/1158680051/

3行目も変えないと駄目なのもあった。

s#(>)\.\./\.\./(.+?)_(.+?)/\d+?/(\d+?)\.html(?:\.html)?(?:\#)?([^<]+?)?(</a>)#$1http://$2\.2ch\.net/test/read\.cgi/$3/$4/$5#ig

後処理は
s#\#http#ttp#ig

で、これでようやくdatが復元できたと思ったら
クソmakimo.toはAA等に :// が含まれてるのを
#http:// に変換しやがってた。

こればかりは手動じゃないと直せない、最悪。

makimo.toがないとマリョーワールドがプレイできないし
過去ログ見れないしレンジ氏ねも見れないし…
orz

>>979
そこで●購入かモリタポ購入ですよｗ

>>980
全然笑えない。
みんなそれを鼻白んでるからこそ、
無料で過去ログを手軽に見られるための
手段を必死に話してんだろ。

ついさっき プログラム板のhtmlを全部ＤＬしたです
１ギガまで使えるサーバにリンクをつけてアップしたら
864メガになったですが
公開した途端に消えて後悔しても何なので暫く様子を見るです
消えるかもしれないですし。

UNIX板にもにくちゃんねる休止スレがあり、
倉庫を見ると300メガくらいなのですぐできると思うですが
この前散々叩かれたし別にいいや。
「UNIX板でwshって言われてもなぁ」とかいうのはともかく
UNIXとかわかんないですし。
以上チラシ裏

という訳で
htmlをＤＬすると共にindexファイルを作成して
アップしたらそのままログ倉庫になるようなスクリプトに改造したので
後でこのスレに出してみるです。

それにしても、あちこちに自分の書き込みがコピペされてて
もううんざりです。
実際 ではどうすればいいんだか。
手をこまねいて 何もしないほうがいいのかな
これまたチラシ裏

>>976-978
後はスレタイ修正とあぼーん処理くらいかなと
>>979
とっておきたい板のログを保存したらどうでしょう
神になるチャンスですぞ

AAに紛れ込んだttp://は
後処理に
s#([^h])ttp(://[^a-z0-9])#$1$2#igk
を追加すればほぼ修正できました。

>>982
＞後はスレタイ修正とあぼーん処理くらいかなと
とはどういうことですか？
スレタイは2chの元のままだと思うのですが。

>>956
そこの魚拓みたいなサイトってもっとないですか？
スクショみたいにしておければ、肉のログを残せると思うんですが

>>984
それ、大変じゃないですかね？
いちいちクリックしていくのは面倒な気がします

改造したので出しておくです

http://www.geocities.jp/mirrorhenkan/others/makimotoforever/html.html

生成したサンプルはこちら
最低限のリンクだけしか生成していませんが。
リンクをクリックすると、各板のスレ一覧に飛びます。

http://mirror.sarashi.com/makimotoforever/

makimoto_htmlget_2.vbsを実行して倉庫を指定すれば
上のようなindex.htmlと各スレッドへのリンクが生成されますので
ローカルで見てもいいですし、
サイトとしてアップも出来るのではないかと。

で、dat化したいスレッドが見つかったら
htmltodatを使ってdat化すればいいのかなと思うです。
htmltodatも更新して下さいましたし。

http://mukiyu.hp.infoseek.co.jp/


>>983
今ちょっとみつけられないですが
「あぼーん」された場合
プレーンテキストでメール欄も出ていたです。
だったかその前スレだったか。

http://makimo.to/2ch/ex13_gline/1163/1163808196.html

>>986
<a href="../1157/1157602927.html">http://comic6.2ch.net/test/read.cgi/comic/1157602927/</a>

（鯖内リンクが絶対パスじゃない）とか

<br> 　#<a href="http://jbbs.livedoor.com/movie/1649/21stcentury.html">http://jbbs.livedoor.com/movie/1649/21stcentury.html</a> <br> 年表・人物紹介等　　ウィキペディア <br>

（httpの前に#がついたりつかなかったり）とか

><a href="#2" onmouseover="popup(this,2,10);" onfocus="this.onmouseover();">>2-10</a>

（>>2-10 の最初の>がリンクしてない。"-10"が入ってない。鯖内リンクが絶対パスじゃない。javascript使っている。）
とかいうのは仕様ですか？（変換後の半角スペースが大杉な気も・・）

正規表現
m#<dt>([0-9]+) 名前：<span .*?>(?:<span title="(.*?)" class=sage>|<a href="mailto:(.*?)" class=mailto>)? ?(.*) (?:</a>|</span>)?</sp
an> ?(.*?) <br><dd> *?(.*?) <br> *?<br> *?(<a name.*?>|</tl>|</dl>)#mi

前処理（２行目を鯖・板ごとに変える）
s#<a href="JavaScript:be\((\d+)\)">\?(\#*)</a>#BE:$1-$2#gi
s#(>)\.\./\d+?/(\d+?)\.html(?:\.html)?(?:\#)?([^<]+?)?(</a>)#$1http://comic6\.2ch\.net/test/read\.cgi/comic/$2/$3$4#ig
s#(>)\.\./\.\./(.+?)_(.+?)/\d+?/(\d+?)\.html(</a>)#$1http://$2\.2ch\.net/test/read\.cgi/$3/$4/$5#ig

変換結果式
$4<>$2$3<>$5<>$6<>

後処理
s#\#http#ttp#ig
s#([^h])ttp(://[^a-z0-9])#$1$2#igk

つか、バージョンアップするなら「にくちゃんねる」の変換式を正規表現・一覧表示に入れてくれればいいのに・・
※変換対象は個人的趣味でhttp://makimo.to/2ch/comic6_comic/1162/1162158438.html

makimo.toがインターネットアーカイブに残ってれば、
転送量の問題も軽減できたり、消滅後も何とかなっただろうに、
インターネットアーカイブのクロールを拒否してたんかいな。

makimo.toﾀﾞｿ・・・html2dat.cgi停止の代わりにdatの直読みさせてくれんかなぁ(´･ω･｀)ｼｮﾎﾞｰﾝ