遙皇φ ★　その３

ニュー速＋のスレタイをしゃべるソフト
http://bbs.newsplus.jp/test/read.cgi/bbs/1042231097/851
の件。

http://www.dqnplus.net/2ch/kisya/lost.php
にあるリンク先のdatをJaneで全部Get。

1.
とりあえずhtmlをGetします。方法は何でもいいけど楽そうなので
lynx --assume_charset=euc-jp --source http://www.dqnplus.net/2ch/kisya/lost.php > datlist.html

2.
EUCだとWindowsで扱いにくいのでコンバート。
iconv -f EUC-JISX0213 -t SHIFT_JISX0213 ./datlist.html >datlist_sjis.html

今のところ決まっているのはここまで。

JaneにURLを送る
Jane http://etc.2ch.net/test/read.cgi/intro/1067698759/

JaneにURLを送るがJaneにフォーカスが移動しない
Jane -a http://etc.2ch.net/test/read.cgi/intro/1067698759/

JaneにURLを送るが「裏で開く」モードで開く
Jane -b http://etc.2ch.net/test/read.cgi/intro/1067698759/

なるほどね。

JANE='/cygdrive/h/openjane/Jane2chDoe.exe'
JANEOPT=" -a -b '
これ使おう。

URLTOJANE[]にURL全部放り込んでforeachするか
xargs | で渡すか・・・

HTMLからhttp://news*.2ch.net/test/read.cgi/*/*/にマッチするリンクを切り出すには・・・
うーん、やっぱcygwin+perlが最善手なのかなあ。
正規表現マッチが使えれば何でもいいという話もある（；´Д｀）

うむ、これだ
lynx --assume_charset=euc-jp --dump http://www.dqnplus.net/2ch/kisya/lost.php
でstdoutに出たものをパイプでgrepに渡して '/test/read.cgi/' にマッチした行だけを
Janeに渡す。

あっちに状況よく読まないで書いちゃったけど

http://www.dqnplus.net/2ch/kisya/lost.php
のスレだけでいいのなら
[TAB][TAB]<DIV
で始まらない行は無視する
↑で始まる行は49バイト目から117バイト目までがurlでいくないの？
それをDelphiでちょちょいとするとか。

バイト数間違えてたかも。

実験したら一覧は出来たよ

procedure TForm1.Button1Click(Sender: TObject);
var
i: integer;
begin
　RicheditDest.Lines.Clear;
　for i:=0 to RicheditSrc.Lines.Count-1 do
　　begin
　　if AnsiStartsText(#09#09'<Div',RicheditSrc.Lines[i]) then
　　　begin
　　　　RicheditDest.Lines.Add(Copy(RicheditSrc.Lines[i],50,54));
　　　end;
　　　//
　　end;
　//
end;

>>280の
begin
　RicheditDest.Lines.Add(Copy(RicheditSrc.Lines[i],50,54));
end;
を
begin
　url:=Copy(RicheditSrc.Lines[i],50,54);
　RicheditDest.Lines.Add(url);
　ShellExecute(Handle,'open','C:\Jane\Jane2ch.exe',PChar('-a -b '+url),nil,SW_SHOWDEFAULT);
end;
にしてみるとか。
でもそのまま実行したら(((( ;゜Д゜)))ｶﾞｸｶﾞｸﾌﾞﾙﾌﾞﾙなので試してはいないけど…

おー、そういう解釈もありかあ。

cygwinのコンソールでやったら一行でできた（；´Д｀）

$ lynx --assume_charset=euc-jp --dump http://www.dqnplus.net/2ch/kisya/lost.php |grep -o -G 'http:\/\/news.\.2ch\.net\/test\/read\.cgi\/.*\/.*\/'
これをJaneに渡すだけだけどまだ試してない。
ちょっと((((；ﾟДﾟ))))ｶﾞｸｶﾞｸﾌﾞﾙﾌﾞﾙ

>>281に怖いから一つ取得するごとにメッセージボックス出すようにして実験したらちゃんと動きますた。
●もってないから全部302だけど…。

やべー
一気に食わせたら同時接続数超過状態で固まった・・・
そりゃそうだよなあ、後先考えずに試すのやめよっと（；´Д｀）

最終的なコマンドライン
$ lynx --assume_charset=euc-jp --dump http://www.dqnplus.net/2ch/kisya/lost.php |grep -o -G 'http:\/\/news.\.2ch\.net\/test\/read\.cgi\/.*\/.*\/'|xargs -p -l5 -P2 /cygdrive/h/openjane/Jane2chDoe.exe -h -a -b

これで5スレずつJaneに食わせてdatを取得。

取得したdatを同じような方法で別フォルダに移動、あとはtar.gzにして終了。
UNIXシェルの正しい使い方がやっとわかった気がする。