806 :
名無しさん@お腹いっぱい。 :
04/08/14 11:43 保守
807 :
名無しさん@お腹いっぱい。 :04/08/22 21:52
wget使ってdlするスクリプトを書いてるんだけど、どうもcookieの処理が上手く出来 ないんだけど、だれか解決方法知らない? index取得時にUIDとSIDをsetされるので、imageをgetする際にその両方を送れば いいだけなんだけど、なぜかwgetだとUIDしか送ってくれない。
>>807 指定するときにセミコロンでパラメータをセパレートするんじゃないの?
ひょっとしたらwgetの場合cookieなんかだと、複数のパラメータセットが
あった場合、全部追加されるのかもしれないけど。
#まあキャプチャすれば直ぐ判ることだが。
811 :
名無しさん@お腹いっぱい。 :04/09/09 01:30
保守
>>812 --header=REFERER:と等価な--refererが最近のヤツだと使えるようになってる。
{}の展開、以前上手く動かなくて使ってないのだが、俺の勘違いだったのかな。
今度試してみよう。
>>813 cshが勝手にはぎ取っているという落ちでないの?
echo {01..18}
の結果は?
>>814 ああ、やっぱりシェルの展開機能なのね。
普通にsh(bash)でした。
このスレのあちこちで、しつこく zsh って書いてあるのに…
curlにはそういうiriaライクな構文があるよね。
>>816 いや、zshに展開機能があるのは知ってるんだけど
wget自身にパラメータの展開機能が盛り込まれたのかと思ったんだよ。
シェルにあるような機能を取り込む必要もないのかもしれんが、
ある意味zshって特殊(スタンダードではない)だから。
まあログインシェルぐらい時々で変えれば、つう考えもあるな。
>818 展開は shell が面倒見てその結果をアプリケーションに渡すのが Unix 的思想。
>>819 んじゃ、もう一方のUnix的な思想で
展開機能のないシェルで展開させるために使うフィルタで
お勧めなのは何かある?今はawkでやってるんだけど。
(zshのスクリプトでというのは取りあえず無しで)
>>821 多分指摘のとおりアホなんだと思うけど、
アホ故に、どの辺りをもってしてアホなのかが判らん。
ズバっと明確に切ってくれ。
zshのスクリプトでいいじゃん。 車輪の再発明はイラネ
url を切り出すスクリプトと wget を 50 個くらい平行して走らせるスクリプトだけで オナニーするには困ってない.
>>820 まったくスレ読まないで書くから外してるかもしれないけど。
curlは自前で展開してくれる。そっち使えば?
えっと、aria は4系でも動かないの?
被写体が♂だったらやったんだけどな・・・
工エエェェ(´д`)ェェエエ工
苺きんたまの画像をゲットした時は
#!/bin/sh
cat input |grep "
http://v.isp.2ch.net/up/ " >output
sed 's/http/ttp/' output > tmp
sed 's/ttp/http/' tmp > tmp2
sed 's/JPG/jpg/' tmp2 > tmp3
awk '
{print "wget " $1}' tmp3 >temp
chmod 700 temp
./temp
mv *.jpg images
こんな感じ。お好みでwhileして?p=1・・・p25までゲットとか。
無限roopで問題なかった。1つのcgi落とすのに10分以上かかったから。
sedが冗長な感じだが足りない頭じゃこんなものしか書けなかった。
誰かもっと簡潔な「よい見本」きぼんぬ。
あーごめん。これじゃなかった。
#!/bin/csh
@ i = 1
while ($i <= 2)
date >>history
wget "
http://up.isp.2ch.net/upload/c=03okari/index.cgi? "
cat "index.cgi" |grep jpg >list
awk -F\" '{print "wget -U hiroyuki
http://v.isp.2ch.net " $2}' list >test
cat test |grep jpg >test2
chmod 770 test2
./test2
awk '{print $4}' test2 >>listtmp
sort -i listtmp |uniq >getlist
mv *.jpg jpg3
rm "index.cgi"
@ i = 1
end
こんなん。これも良い見本きぼんぬ。
832 :
名無しさん@お腹いっぱい。 :04/10/22 13:36:38
age
833 :
名無しさん@お腹いっぱい。 :04/11/05 19:21:13
保守!
なんて息の長い祖レッドなんだ。
見つけてしまいました、こんなスレ。今からzsh入れます!
すげー。ありがとみなさん!ノシ
このスレ21世紀の始まりから生きてるのか
838 :
名無しさん@お腹いっぱい。 :04/11/11 21:10:37
エロは性器を超える
839 :
名無しさん@お腹いっぱい。 :04/11/11 21:37:36
wgetに画像だけ-ncの動作をするオプションを追加して使ってる。 時間の入った連番画像が主の時には、-N使うよりは動作は速いし鯖負荷も多少は減るんじゃ無いかな。 wget --no-clobber-imageで。 begin-base64 644 - H4sIAN3lpUEAA7VXaW/bRhD9LP2KqYDakiXRJHXLMGoHkQsjTh04aYECAViK XInbkLsEd+kDaf57Zw8dtCTXCVDBMMXZ92aPeTM7iuliAd2iBMc5fVgS2fWc ieOdiiI6TaTMnQj2Wuvdbvcgpea7bq/ruV1vAO542vOn3sBxVx9ouxPXrbfb 7f2uFbvf9byuPwDfnw5GU7fvjPqD0WCLfXEBXW/Y9zpDaOunN4GLizqYT0Fk WTC4m326u313Zqzf6lBvA9AFNHkuHcajlM/npKBZuCRwdARJKAL9EohysaCP QQ7Nk0TIUDopj8I0WNCUtBRSfQnIIxVS7Ae11EwAX80D4PQErhdQmRaoALVI EgNnELJYe4UwLUgYP4Hx3oGYA+Oy3q6pPRWU3BOQCTHYk9OV/5Qv84IyiXu7 uf01+GN29+b246wDQbPxud6+1jv862dxvHaPPgrSgQeapsr/2rnzmTVaHdjd 0Vl1K+s1qF1YXwREmedcoFEei7XLGG7fObC12JNYwj/nNjhX6Hg1cHU3mwXv L/98M4NmXGbZ02bWZwFtm4C2VWRLQQIp4BxcHehVfCXNCG4iyylbtowCvtbj w2KnjMpdsRvrAbGbwY3YPStXz3uN2DdsI3YPvOHUH0y9oTMcDP0dsY98rXV8 jKzSv0Ijo0XBi0anVvvt95sbfNSiLA5ETqLADMG3joUyjEekkEdah+qtY+Bz
zlMSsi3oSqQIP6qodpfRrjJ0Au3QtLVzaLI8LAiTm6XxwFgOLy8v+ONThaAM Fn9PIlnZeJkpJYoNXhYrLI7h8gLKFohHacckL0gUShKjXl9QSxZStqsWYz2g FjP4o2rZsLfVMpz2Rs544hq5bKnFH0+UWtRjtK6LeBZ0yXhBuilhS5k0Opj7 QVgsy0ydNmgJgdcb27OrKGwf9Dg73oYy3l3rZq/nvmcV8wzetarZSxp7z+aI aaEjrEO6f57RM0rChXwNb7yPl3L+pcwPUAauoqgjH/aG6siHvVHHXEW1KMRa 6I3dKX4HEESi+O7DFJqNiDOGa1E1ipeofHU1oGusdwo5xxr9BYvcyoE3VfW/ 4uB5vkGDY+E+0zhLt/MfXx7vzh9GEckPzfuC7BFOORNO8lye64ED4l+P/6j+ Kw62u4Ph1HWd/mS3OxgMVDjw/9gmAN6PEMZxoIKKWjir1TDh33J1caEZlJmF GYGVTp5+UZeWJa4P3NKoCOcpEbAKA1sCX5hbG7/jceIHqXEoQ8fefRU3Om6v 89W2vjTFsWuKkrDAm5QWWPoINivG1Se8ljHKir7eBciCkAorVTe32qoh3fAl rCwVHGV5KYMq+FrZKvAX5FJKmordMmnNB6RiR9dC8Xvge1NV7V4llC16VSa9 seP6owpdyWTi9ZVO1MNfKcV2G6qh0F0jRq7e3tceYh4LaU9roQ4EGz/d9BkT Am17o7qSJr5im2LY0DT4Fpyf61piW8bN1Jb1k8CLGhM5ynA+5GKq/50vG60q 3nsZT/5nQs6+D7+ki+/Cz7N8P37ruHQ7iAq9wwYXQkgpwxa14BlcfdDttYWq zjXnGFFswSVHBBFJ+oSNsWp28d7X5V9g4uhk0xll30DkYaQ7Xj6XeB1jZyuT gpfLBDJNb7b0RCLhZWr8zNUSCAIfqEz0V8Q8JIRhi6wcMY6tO1viUhiiSOz8 dzbtlF5rfjGbfrjsbtG3+g78c7FLNT1qJZvGOpnwv0mlui56KnMSmaWbxPlw eXf5/iOmxHYCtdQ1pJNt30+xgxSMunlRv2yChwSbxUAHf824ur6ZWfcorTIy 9SvISKbKo+HpHzOHl3XPqVKQBQYqkhv0PqeK9S+tiE0GWw8AAA== ====
hoshu
ちょっと保守しますよ。
ほっしゅっしゅ
845 :
名無しさん@お腹いっぱい。 :04/12/26 03:27:28
847 :
名無しさん@お腹いっぱい。 :04/12/26 03:49:49
zsh、wgetはどこでインストールできますか? あの・・・zsh、wgetって何ですか? ほんとにすみません。
850 :
名無しさん@お腹いっぱい。 :04/12/26 04:30:24
>>848 ありがとうございます。
>>849 ありがとうございます。地道にやってみます。
ちなみに同時押しって何ですか?
>851 それだとシェルが展開しようとして変なことが起きるから、適当にクォートすべきだな。
854 :
名無しさん@お腹いっぱい。 :05/01/05 01:31:19
856 :
名無しさん@お腹いっぱい。 :05/01/29 14:47:08
857 :
名無しさん@お腹いっぱい。 :05/01/29 16:18:15
>>856 デムパ キタ━━━━━━(゚∀゚)━━━━━━ !!!!!
phpとか使われるとわけわからん。落とせん
perlスクリプト使え
860 :
名無しさん@お腹いっぱい。 :05/02/02 16:27:08
( ゚д゚)ポカーン
862 :
名無しさん@お腹いっぱい。 :05/02/03 16:27:47
ネトラン厨(・∀・)カエレ!!
ネトラン厨じゃないのに・・・ (つД`)・゚・
>866 ちょっとは自分で勉強することも覚えてはいかがですか。
403喰らう悪寒。-Uでしっかりと騙るのがベターかも。。。 二次元には興味なし。でも
2次元か
while(<>){
m/num=([0-9]+)&type=([a-zA-Z]+)[^0-9]*([0-9]+)/ and system "wget".
" --output-document='$3.$1.$2'".
" --header='Cookie:num=$1;type=$2'".
"
http://nylon.hostfuck.com/nylon.php ".
"\n";
}
×& ○&
Perl?
無駄が多いな、このサイト。
l l J l J さわったら負けかなと思ってる。
成功した?
セルフプレジャー保守
初心者スレから誘導されてきました。 連番のzipファイルを一気に解凍する方法はありますか? 001.zip 002.zip 003.zip 今はひとつひとつunzipしてます。既出だったらすみません。 教えてくれたら、こころを入れ替えてスクリプト勉強します。
unzip {001..100}.zip
for i in *.zip; do unzip $i; done でもいいんでないかい?
echo *.zip | xargs -n1 unzip
unzip は自前でワイルドカードを処理するのでほかに zip ファイルがなければ unzip \*.zip でどうでしょう。
884 :
名無しさん@お腹いっぱい。 :2005/05/30(月) 16:25:28
うほ
885 :
名無しさん@お腹いっぱい。 :2005/06/14(火) 20:55:22
wget -m --cookies=on --user-agent="Mozilla/4.0 (compatible; MSIE 6.0; Windows 98)" とかじゃだめなの?
>>886 UAとrefererは指定してもだめです
cookieはためしてないけど、w3mでさえページを開けないってことはcookieじゃなくて
JavaScriptが効いてないとだめなのかもしれない希ガス
888 :
名無しさん@お腹いっぱい。 :2005/06/14(火) 21:45:27
>>888 そうすか?
私のところでは、w3mでもwgetでも、特定のバイト数を読み込んだところで
ブロック状態になります。で、しょうがないからctrl-Cで終了させると、
IEで取得可能な全てのファイルは落とせていない。
そっからもぐってたどれる画像に関してはまったく無理です。
> IEで取得可能な全てのファイルは落とせていない。 わかりにくい言い方でした。 当然ですが割り込みで入力を停止させてるので、partialなファイルに なっちゃってるってことです。
>>891 え??
それで、ちゃんと最後までおちますか?
私のところではブロックしてしまうのですが。
何が悪いんだろう。
893 :
853 :2005/06/15(水) 01:38:59
wgetばーじょんうpあげ
>>885 uname -v および wget --version を晒してみ
>>895 FreeBSD 4.7-RELEASE
GNU Wget 1.8.2
897 :
895 :2005/06/16(木) 22:21:11
thx. とりあえずニューwgetで試してみることにしますわ。
% ls .thumbnails/normal | wc 3643 3643 134791 % du .thumbnails/normal 84000 .thumbnails/normal ('A`)
900 :
900 :2005/06/26(日) 09:34:26
900
お前は基本がわかってないから無理
>>901 ヒント: wget --header="Cookie: kokoni hairu mojiretu wo nanntoka shutoku shiro"
>>901 日本語も学びなおしたほうがよかろ
学問でも技芸でもなく、単なる方法を知りたいのなら
×教授ください
○教示ください
>>903 それはヒントどころか答えでは・・・w
空気を読んだ方がよかろ 単なる抜く画像を知りたいなら ×助教授ください ○女教授ください
906 :
名無しさん@お腹いっぱい。 :2005/06/30(木) 07:07:50
10秒に1アクセスの制限もあるな。
908 :
名無しさん@お腹いっぱい。 :2005/07/02(土) 19:04:53
なんか最近は DCGA ってのばっかりでスルーばっかりだよ。
909 :
901 :2005/07/03(日) 00:05:10
>>909 つ Firefox + Live HTTP headers
911 :
906 :2005/07/03(日) 09:29:12
>>909 そのままの意味。連続アクセスするとjpegの代わりに「10秒まてこの早漏」と返してくる。
hint: wget --load-cookies=foo --save-cookies=foo --keep-session-cookies
912 :
901 :2005/07/03(日) 15:47:34
お騒がせしてすみません、解決できました。
wget -r --header="cookie: Cookie: PHP_DAYCOUNT2=<省略>; lf=<省略>"
http://loface.com/pic_sum.php?p=kakyu2 で出来ました。今まで出来なかったのは『PHP_DAYCOUNT2』が抜けてただけみたいですorz
>>910 さんが指摘した『Live HTTP headers』で気がつきました。
どうも有難うございました。
>>911 レスしてくれて有難うございます。
913 :
名無しさん@お腹いっぱい。 :2005/07/17(日) 01:12:56
age
まだあったのな、このスレ。
UNIX板での良スレ
エロいおまいら 画像ビューワ のお勧め教えれ。 xv? gimageview? gqview? 他? ディレクトリ一覧の時に、そのディレクトリの中の画像が アイコン一覧みたいに見えるやつキボンヌ。
またこいつか。
>918 ports には見当たらないね。 ぐぐってもどれがどれやらワカラン。 >917 ?
ネタにマジレスか こりゃヒドイ
kuickshow つかってまつ
paint
>>919 C:\Windows\system32\explorer.exe
gthumbかな?
例えば、リストの内容が
http://www.unko.jp/~chinko/[000-026].jpg http://www.manco.jp/anal/gay[00-26].jpg みたいなファイルがあったとしてこれを展開してwgetなりに渡すにはどんなスクリプト書きます?
自分が深く考えないで書いてみたのは
cat < list | sed 's/\(.*[^0-9]\)\[\([0-9].*\)-\([0-9].*\)\].*\.\([^.]*\)$/\1 \2 \3 \4/g' | awk '{printf("echo %s\{%s..%s\}.%s\n", $1, $2, $3, $4)}' | zsh -s | tr ' ' '\n'
で、最初のsedでアドレス、開始の番号、終わりの番号、拡張子を分けて、awkでzshのスクリプト書いて最期にtrで改行入れてるんだけど、どうかな?
添削よろしくです。
やりたいことがよくわからんが、 スカトロでホモって事はわかった。
928 :
名無しさん@お腹いっぱい。 :2005/09/02(金) 22:40:51
>添削 読めない
zsh知らんけど、添削するなら sed 's/¥[¥([0-9]*¥)-¥([0-9]*¥)¥]/{¥1..¥2}/g; s/^/echo /' とか? ただ自分なら、zsh使うくらいなら perlとかで、置き換えながらぐるぐる再帰使って回すかなぁ。
>>929 アーナルほどsedで開始と終わりの番号を別のフィールドにわけないでzshの{..}の形にすればいいのか。。。
坂本文のたのしいUNIXで勉強したてなんでsedとawkくらいしか知らないのでできればperlで
書いていただけませんか?
932 :
名無しさん@お腹いっぱい。 :2005/09/03(土) 02:07:02
wgetなりってことなので curl 使ってもいいんですよね
>931 雑だけど。 #!/usr/bin/perl -n sub ren { $_ = shift; if (/¥[(¥d+)-(¥d+)¥]/) { my ($a,$b,$fst) = ($`,$',$1); foreach $i ($fst..$2) { ren($a . sprintf("%0*d",length($fst),$i) . $b); } } else { print; } } ren($_);
Perlの場合、マジックインクリメントに頼れば #!/usr/bin/perl -n if (/^(.*)\[(\d+)-(\d+)\](.*)$/) { for ($2..$3) { print "$1$_$4\n"; } } else { print; } でいい気がするけど
936 :
934 :2005/09/06(火) 19:48:05
ついでにbash shopt -s extglob function ren { case $1 in *¥[+([0-9])-+([0-9])¥]*) set -- $( echo "$1" | sed 's/¥[¥([0-9]*¥)-¥([0-9]*¥)¥]/ ¥1 ¥2 /' ) for i in $( jot -w"%0$(echo -n $2|wc -c|tr -d ' ')d" - $2 $3 1 ) do ren $1$i$4 done ;; *) echo $1 ;; esac } while read s do ren $s done >935 Perlまかせにすると、[00-10]とかができなかった。
>>936 ちょっと試した感じだと、00みたいに偽値と判断されるやつがダメみたいね。
01-10とかだとオッケーなんだけど。
連番のH画像を諦める勇気ってのも僕には必要なんだ。 エロ画像 いくら取っても 無くならず 取るだけ取って それでおしまい お世話になりました。
今度は、ため込んだ画像を削除する勇気だな。
画像から動画へステップアップする勇気も必要だ。
取り敢えず200MくらいのHDDを6個くらい買ってくる勇気
200Gの間違いじゃないのか
200Gを6個買うのよりも200Mを6個買う方が勇気いると思う。
ワロタ
アルテミスでGNU使ったら、串刺してたのに生IPごと弾かれたorz
↑今年最初に見た馬鹿
このスレのまとめサイト作っていいですか?
よろしく
952 :
950 :2005/11/05(土) 18:30:02
だよもん..
このスレで tp://www.464.jp の連番ダウンロードできた人いる?
>954 さっき試してみたけどできたよ しかしこれ画質悪いな
今このスレのノウハウを生かしてVOAのスクリプトとmp3をダウンロード中…。
voaって何かね
Vagina or Anus
edなり perlなりで、ばっと<span class="articleheadline"〜</P></span>あたり抜き出して、html2txtみたいな処理かけて、余計なの削るとか。 そういうことではない?
>>960 perl で $html =~ s!!!sig; を何度も繰り返すスクリプト書いて、なんとか読めるHTMLに加工しました。
今は mp3 を wget してます。
このサイト、mp3 は mp3 で命名規則皆無という腐りっぷりです。うへぇ。
ところで質問です。
ちょっと確認してみたところ GNU Wget 1.10.1 のデフォルトのリクエストは
GET /index.htm HTTP/1.0
User-Agent: Wget/1.10.1
Accept: */*
Host: localhost
Connection: Keep-Alive
という内容でした。で、プロトコルを HTTP/1.1 に切り替えるか、
または強制的に HTTP/1.1 と申請してリクエストすることはできますか?
curl使ってみるとか
>>961 どーせPerl使うんならHTML::TokeParserとかその辺のライブラリ使えばいいのに。
高速ではないけどそれなりに便利だよ。
964 :
名無しさん@お腹いっぱい。 :2005/11/28(月) 22:50:25
次スレどうしますか?
次 ス レ 頼 ま な い
頼みcom
>>980 今度のスレタイは↓こうしてくれ
「連番のH画像/動画を一気にダウンロードする」
これは言わない約束なのかもしれんが 「H」は外さないうわなにするやめろqあwせdrftgyふじこlp:[
じゃあ 連番のURIから一気にダウンロードする /2 でよろしかったでしょうか?
てか連番ている?
ネタ出つくしたみたいだし、 次スレなしでもいいかと。
最近動画落とすのにパスワードが必要だったりするので 自動化は無理そうだと思ったり思わなかったり
975 :
名無しさん@お腹いっぱい。 :2005/12/07(水) 08:43:36
977 :
FM :2005/12/18(日) 21:28:53
>>952 ここまでスレが進んでるのにまとめにcurlが載ってないのは信じられない
979 :
名無しさん@お腹いっぱい。 :2005/12/21(水) 03:21:09
>>977 レスありがとうございます
私はlunascapeというタブブラウザを使っていてそれで画像のurlを抜き取り
連続ダウンローダで連番のを落としてみたのですが見てみると画像情報がなくすべて見れないファイルでしたorz
jpegファイルなのに見れないんですよね。。
ちなみに私が試したのはドラ●もんで
ttp://comic104でしたができませんでした 。。
噂によるとダウンロードできないようにしてるサーバーとかあるようです.....(´・ω・`)
980 :
名無しさん@お腹いっぱい。 :2005/12/21(水) 09:33:01
どざ氏ね
ダインロードってなんかかっこええな
スキルでなく、クンフーの問題
984 :
名無しさん@お腹いっぱい。 :2005/12/22(木) 03:59:39
>>981 ホントですか・・・(゚Д゚)一体何が原因なんでしょうか・・・・
私もダウンロード自体はできてるのですがフォルダにダウンロードされた
画像ファイルを見てみると表示されませんorz ソフトやURLなどいろいろ確認しましたが。。orz
今は結局freemacroでダウソしてるんですが時間かかりまくりんぐ・・・orz
985 :
名無しさん@お腹いっぱい。 :2005/12/24(土) 10:06:45
>>984 ヒント:連番ダウンローダはrefereを使ってくれない。
ここがunix板だと気づいていないんじゃないのか。
来年の1月10日で5周年だな
今まで誰も出していないが,emacs 上でウェブブラウザ(w3m とか)を走らせて, 画像をダウソロードする手順をキーボードマクロで登録しておけば, 特に何も考えなくてもほとんどのサイトでダウソロードできます.
>>990 具体的に書かないのは宗教上の問題かなんか?
キーボードマクロの手順を具体的に書くの?w
インタラクティブってアホじゃありません?
(゚д゚)ウメー
(゚д゚)ウメー
(゚д゚)ウメー
まんこ
(゚д゚)ウメー
(゚д゚)ウメー
1001 :
1001 :
Over 1000 Thread このスレッドは1000を超えました。 もう書けないので、新しいスレッドを立ててくださいです。。。