ここに触発されて、新入社員の教育(3日連続)のシメに
>>287 新人が喜んでるならいいんだけどね。
そうでないとまずいかもね。
たとえ新人が男でも。
ああ確かにこういうの、男でもイヤがるひといるね。
マジメな課題も用意してたんよ、糞つまらんけど半日かかる奴いくつか。
293 ：
名無しさん＠お腹いっぱい。 ：02/04/07 16:09
294 ：
名無しさん＠お腹いっぱい。 ：02/04/07 16:32
社会人になったら
>>286 みたいな先輩がほしいなぁ。
295 ：
名無しさん＠お腹いっぱい。 ：02/04/07 17:13
おれも新人研修やるんだけど..
若い子には猫の写真とか。
>>295 ホモは奥が深くて難しい。安全にショタ系にすれ。
>>293 ちょっと前までサーバ上に名作、迷作の回答あったんだけど、弟子にUNIXの
バックアップ・リストアの実演やらかした時に消しちゃったい。
各自で保存しているらしいから、そのうちちょっと聞いてみるけど。
結構面白いのもあったんだけどね。
ただ、特に仕様らしい仕様も出さなくて、「とにかく直リンクがコマンド一発で
抜き出せればＯＫ」だったので、そのhtmlファイル依存しまくりのスクリプト
だらけだったよ（当然か）。
でも、その某サイトは同じ格好のhtmlが数百本あるから、スクリプトを時間
かけて作成するだけの価値が彼らにはあったと信じる（笑）。
>>296 安全牌としてそのテも考えていたんだけど、スクリプトを使って大量
ダウンロードできるだけのボリュームがあるサイトを見つけられなかった。
今後の安全牌として、どこか紹介していただけるとありがたいです。
>299
301 ：
名無しさん＠お腹いっぱい。 ：02/04/14 12:36
#!/usr/bin/perl
#
# index.pl
# ネスケで一覧するのを提案します。
# ノーチラス使えない環境の人には良いかも。
# このスレひととおりみたけどこういうのはまだ出てないみたいだったので。
# 小さくすればグロ画像もこわくないですし。
# file:/home/ero/wget/index.html とかして使用すます。
#
# 画像のたまったディレクトリで ./index.pl > side.html
# index.html として下のを用意
# body.html は無くて良い
#
#index.html
#<HTML>
#<FRAMESET COLS='20%,*'>
#<FRAME SRC='side.html' NAME='side' SCROLLING='auto'>
#<FRAME SRC='body.html' NAME='body' SCROLLING='auto'>
#</FRAMESET>
#</HTML>
#
print '<html><body>';
@_=`ls -t`; # `ls -S ` などもよろしいかと
$dir=`pwd`; # chomp してももちろん可
foreach ( `ls` ){
chomp;
print "<a href='file:$dir/$_' target='body'><img src='$dir/$_' hight='100' width='100'><br>\n";
}
print "</body></html>\n";
`ls` は @_ のまちがいです。
Perl使わなくても、プロンプトから
ls *.jpg|sed 's/\(.*\)/<a href="\1" alt="\1"><img src="$1" height=100 width=100></a>'>hoge.html
とする程度でいいんじゃない？
しまった。こうだな。
ls *.jpg | sed 's%\(.*\)%<a href="\1" alt="\1"><img src="$1" height=100 width=100></a>%' > hoge.html
画像の下にダウンロード元の URL 表示できるようにしたりとか、
がんばれ301さん。
307 ：
名無しさん＠そうだドライブへ行こう ：02/04/14 20:27
>>304 typoかな？
ls *.jpg | sed 's%\(.*\)%<a href="\1" alt="\1"><img src="\1" height=100 width=100></a>%' > hoge.html
^^^
ずれてる。
309 ：
名無しさん＠お腹いっぱい。 ：02/04/14 21:09
ぽこにゃん方式の詳細どこかにありませんか? 復元するソフト書こうと思ってるんだけど。
310 ：
名無しさん＠お腹いっぱい。 ：02/04/15 02:48
>309
この遊びをはじめて今日で３日。
>>1 ありがとさん。
バッチかけて大量の画像集めてみました。
FLASH集めにも使えそうですね。
しかし、ツールのせいじゃないんだけど2chて怖い画像多すぎだな。
313 ：
名無しさん＠お腹いっぱい。 ：02/04/23 17:40
age
314 ：
名無しさん＠お腹いっぱい。 ：02/04/30 00:41
age
315 ：
名無しさん＠お腹いっぱい。 ：02/04/30 01:37
俺はこの時だけのためにzshをいれている。
>315
wget でさ 302 に反応するの止められないかな
恥ずかしい動機でパッチ作る漏れ
しごく無理矢理に。
月イチくらいでこのスレチェキするの、実は楽しみ。
age
322 ：
名無しさん＠お腹いっぱい。 ：02/05/19 14:25
>309
スプールディレクトリにファイルのリストを書いたファイルをぶちこむと
>>323 それくらいチョチョイと作れよという気がした。
スクリプトで定期的に回すだけでも十分な気もした。
#!/bin/sh
最後に自分自身をatする
>>326 さんくす
こんなかんじでいいのかな?
echo $0 | at now + 1 minutes
at使う方法もあるってだけ。
329 ：
名無しさん＠Ｅｍａｃｓ ：02/05/24 15:57
zshで数字の場合は{00..99}とかすればいいけど
ruby -e '("a".."z").each{|i| puts i}' とか？
ていうか ruby でﾀﾞｳﾝﾛｰﾀﾞ書くべし。。。
http://susume.free-city.net/ 以下のファイルがwgetでどうしても落とせません。
htmlファイルもです。
refererの設定をしてもエラーのhtmlファイルを拾ってくるだけで
目当てのファイルが落とせないのです。
ariaでやるとrefererありでもなしでも落とせました。
どうやればwgetで落とせますか?
>>332 朝っぱらから同人誌かよ (w
さらに `-r -A jpg ' で何ごとも無く落とせるじゃ～ないか
free-cityはRefererがhtmlで終わっていないとエラーになる仕様。
free-city、面倒だからたまに referer に落としたい画像そのもの(.jpg)を指定するけど、大丈夫だよ。
要は指定した拡張子しか置けなくて、置けるものがRefererになっていないと駄目ということかな。
ついでに、
こういうことやるには、HTTP とか CGI とか Javascript とか HTML にも精通していると
>>341 =332
339さんの記事、読んでるのか？
少し落ち着けよ。
∧∧
344 ：
名無しさん＠お腹いっぱい。 ：02/05/30 17:51
ぐ、sageるべき記事だった。
一応事後報告。
332は逝ってよし
349 ：
名無しさん＠Ｅｍａｃｓ ：02/06/11 23:31
zshで wget
http://www.aaaa.com/{01..12}.mpg とやるとURLが展開されファイルを落ちてくるのですが、このURLをテキストに書いて
wget -i hoge.list
としてもURLが展開されないです。
こういう物なのでしょうか？
リストを展開する方法を教えてくれたら動画プレゼント。
>>349 {01..12}.mpgを展開しているのは、zshです。
ちなみに複数のURLがあった場合一発でするには？
>>354 なるほど。↑なスクリプト書くより簡単ですね。
書いた本人が言うのもなんだけど、この動画あんまりよくないね。
シェルスクリプト勉強するのにエロ動画は最適。
いやはや、勉強になりマスタ、、、thx
正月そうそう、しかも21世紀の門出に
PGFのコレクションを思い立った
>>1 に感謝
>>363 1です。お褒めいただきありがとうございます。
365 ：
名無しさん＠お腹いっぱい。 ：02/06/30 15:48
最近は yahoo で手古摺ってる。
画像ビューアで、
367 ：
名無しさん＠お腹いっぱい。 ：02/06/30 18:22
enfle
>>367 試してみたけど、縮小表示のときは
smoothing してくれないような。
||
GQviewは？
同じように見えるなあ。
>>371 うん。
ImageMagick の display はリサイズすると smoothing してくれた。
でも「画面より大きい画像を縮小表示」機能が見つからない。
いちいち縮小率打ちこむのは緊急時には非現実的だ。
>>372 > 緊急時
ﾜﾗﾀ
ところで gqview は option で dithering の
具合を変えられるよ.
>>373 Image → Quality だね。
ﾔﾀｰ、ありがとう!
スライドショウのときは先読み (?) してくれるっぽいね。
画質優先にしてもあんまり遅くない。
よーし、今夜はがんばっちゃうぞー。
細かいこと考えないで
wget
http://hoge.jp/images/ero{0,1,2,3,4,5,6,7,8,9}{0,1,2,3,4,5,6,7,8,9}.jpg とか
たまにするよ
それ以上はperl のワンライナーでだいたい事足りるような
昔、レイトレーシングのプログラム組んでて知ったけど
神崎じゅりが今何やってるか知ってる人いない？
vmware→win→irvine
382 ：
名無しさん＠お腹いっぱい。 ：02/07/03 22:08
vmware→win→cygwin→wget
>311
グロはもう慣れた
夢に出ないか？うなされないか？
>>378 ディザリングは高い解像度で擬似的に色数を増やす。
アンチエイリアスは多い色数で擬似的に解像度をあげる。
387 ：
名無しさん＠お腹いっぱい。 ：02/07/05 13:39
しかし、wgetの逆ってないもんかしらねぇ。wgetしたエロエロを一気にFreeHPに放り込むのに使いたい。
PGFらしきの大量のリンクを発見したんだけど多すぎて挫折。
link のせてくれ!
>389
>392
逃げろーをハメた奴はすごく勇気あるな
403.phpがでけるのって何故？
おもいっきり既出のrefererですた
とりあえず、俺もw3mをコアとしてcsh(苦笑)で直リンを2chの半角板から
さらに、過去落としたURLと入手したURLとを比較するCのコードも書き、
401 ：
名無しさん＠お腹いっぱい。 ：02/07/19 06:36
403 ：
名無しさん＠お腹いっぱい。 ：02/07/29 22:29
dirs=`find . -type d` とかしたあとに、
405 ：
名無しさん＠お腹いっぱい。 ：02/07/29 22:38
素直にインターネットニンジャ使ってます
>>403 qiv の --random とか --shuffle オプションは
使っちゃだめなの？
>>404 fehが susieに似ているらしいと聞いたので使ってみましたが、
ダメダメでした。(なんでダメダメだったのかは忘れた。)
>>406 私の場合はディレクトリで被写体(?)を分けているので、
そのオプションはこの場合使えません。
'find . -name "*.jpg"'の結果を qivしてもいいんだけど、
被写体がごちゃごちゃになっちゃうでしょ？
↓この時、qivに渡すディレクトリをランダムにしたいのさ。(;´Д｀)ﾊｧﾊｧ
dirs=`find . -type d`
for dir in $1; do
echo $dir/* | xargs qiv -f -s -d 5
done
>>407 ミスった。
for dir in `find . -type d`; do
echo $dir/* | xargs qiv -f -s -d 5
done
漏れはInternet Ninjaの連番取込でやってるよ。ちょうかんたん。
410 ：
名無しさん＠お腹いっぱい ：02/08/01 03:41
最近はエロ動画をダウンロードするスクリプトでがんばっています。
411 ：
名無しさん＠お腹いっぱい。 ：02/08/01 03:48
スクリプトの出来次第だな。
長く、細く続くスレ
>>411 dogaloというＨなサイトから最新動画を取り込むスクリプトです。
zshって知らないのですけど、これ使うともっと楽になるんでしょうね。
ご指導ください
----- get_dogalo.sh ----
#! /bin/sh -v
#
HPDIR=
http://www.hentaiplay.com HP=newdogalo.html
LIST=dogalo.list
SAVE_DIR=dogalo.d
touch $SAVE_DIR
/bin/rm -f $HP
wget -o /dev/null $HPDIR/$HP
getext gif $HP > $LIST
getext png $HP >> $LIST
getext jpg $HP >> $LIST
cd $SAVE_DIR; /bin/ls | sed -e 's,\(.*.\),g/\1$/s/.*//,' > ../ed.cmd; cd ..
echo w >> ed.cmd
echo "g/^$/d" >> ed.cmd
echo w >> ed.cmd
echo q >> ed.cmd
ed $LIST < ed.cmd
cd $SAVE_DIR; wget -o dogalo.log -D members.aol.com -c -t 0 -i ../$LIST
----- getext -------------
#! /bin/sh -v
EXT=$1
tr '<' "\012" < $2 | tr '>' "\012" | grep href | \
tr = "\012" | grep http | grep $EXT | sed -e "s/.*\(http.*$EXT\).*/\1/"
415 ：
名無しさん＠お腹いっぱい。 ：02/08/01 14:51
416 ：
名無しさん＠お腹いっぱい。 ：02/08/01 16:06
>414
418 ：
bash (linux厨だから) ：02/08/02 12:04
>>413 'gcc shuffle.c'すると、以下のエラーが出ます。
getprogname()はいいとして、fgetln()ってどこにあるんでしょうか？
RedHat7.2、gcc-3.0.4 です。
shuffle.c: In function `get_lines':
shuffle.c:161: warning: assignment makes pointer from integer without a cast
/tmp/ccyouD03.o: In function `usage':
/tmp/ccyouD03.o(.text+0x145): undefined reference to `getprogname'
/tmp/ccyouD03.o: In function `get_lines':
/tmp/ccyouD03.o(.text+0x1f7): undefined reference to `fgetln'
collect2: ld returned 1 exit status
420 ：
名無しさん＠お腹いっぱい。 ：02/08/03 01:33
>>417 $ grep ^http girls_list.html | while read i; do wget $i; done
グロ画像多過ぎて鬱。
>>421 虹板のリストを使ってみた。
6415のURLがリストアップされていて、実際にゲトできたのが2368。
うち、画像ファイルが2339、グロ画像(自分基準)が15。
容量は249746KB、所要時間が72分、平均転送レートが57.8KB/sでほぼ帯域いっぱい。
% du -sk * | sort -rn | head
68814 www.angelfire.com
20252 www.floralia.org
11720 www.42ch.net
7478 members15.tsukaeru.net
5375 www.moemoe.gr.jp
4640 www.momo-bbs.com
4637 210.153.100.60
NAT箱のテーブルがあふれるかと思った（ｗ
424 ：
名無しさん＠Ｅｍａｃｓ ：02/08/04 15:46
>>421 よさげだと思って半角板のリスト使ってみたが、ろくなもんないなあ。
ってかグロ多すぎ。
NNTPからごそっと落してきた方がいいや。
てか、そういう用途にはみなさん何使ってます?
FreeBSDのportsでいくつか探してるけど、
「これっ」ていうやつがない....
>424
>424 「これっ」
>424
で、端子さわって壊れる
>427 の (C) つくった。
430 ：
名無しさん＠お腹いっぱい。 ：02/08/06 08:37
>429
すまん、前半は私の誤解だった。 WNOHANG とはそういうものなのね。
ちなみにfhjp.net上のはrefererが必要かな。
434 ：
名無しさん＠お腹いっぱい。 ：02/08/07 01:19
wgetで女、食べれますか？
>>426 > 世間一般に出回ってるのって、大抵リンクを追いかける奴だからねぇ。
> 漏れは手作りでcsh使ってやってたけど、質が揃わないため最近やる気が
> 失せた。
半角で話題になる画像掲示板をまわっていたら、適当に話題の画像
が切れ切れながら、あつまってきませんか？ script で画像データの
URI 拾ってきて、それを wget に喰わせておくとかすると、なんか見
もしない data がわさわさと…。
>>427 の(B)は、perlfaq4の"How do I shuffle an array randomly?"を
参照されたし。
管理者にスクリプト使ってるの気が付かれてアク禁くらうのもいやだし、
鯖の負荷を無駄にあげないためにもURLは必ずシャッフルすべきと思うんだがどうだろう。
連番で落す場合であっても、いかにも人間が見てるかのように
wget --random-waitを使うとか。
いや、ちと考え過ぎか。そんなマメな管理者もいないだろうし…
>>437 しーっつ、しー。
というわけでみなさんちゃんとエスケープしましょう。
きちんとエスケープするのって面倒くさいので、
おっと、
"wget -i -" で動かして URI はパイプで突っ込めば?
>>441 パラレルに落さなくていいのなら…
まあ、あらかじめURLのリストを等分しておいて、
wget -iを並行実行すればいいんだけどね。
ご意見サンクス。エスケープは >429 書いた直後に気づきました。
"exec" と書く前に気づかなきゃだめか...
>430
$ while read url; do t=${url#
http://}; echo "$url" >> ${t%/*}.list; done
$ echo *.list | 429を $fetch_cmd = "wget option -i"; に変更
で、できるかな。シェルスクリプト大好き。
>436
>437
やってみた。shuffle はパイプに繋げてたけど、一緒にしても大したこと無いね。
my($pid, @slot, @url);
@slot = (0) x $max;
chomp(@url = <>);
outloop:
for (;;) {
foreach (@slot) {
if ($_ != 0 and waitpid($_, &WNOHANG)!=0) {
$_ = 0;
}
}
foreach (@slot) {
last outloop unless @url;
if ($_ == 0) {
my $url = splice(@url, int(rand(@url)), 1);
$url =~ s/'/%27/g;
$pid = fork();
if ($pid==0) {
exec("$fetch_cmd '$url'");
} else {
$_ = $pid;
}
}
}
sleep(1);
}
foreach (@slot) {
waitpid($_, 0);
}
M-x indent-region したら条件文の丸括弧にスペースがぁ...
>443
うげ。echo じゃだめだ
$ while read url; do t=${url#
http://}; echo "$url" >> ${t%/*}.list; done
$ ls -1 *.list | 429を $fetch_cmd = "wget option -i"; に変更
>>435 最初は結構ジャンル固まってるけどね。
ただ、その後が問題で、重複しないように過去のURLとコンペア
しながら日々ダウンロードしてると、どうしても最新の画像を
全ジャンルまんべんなく、という状態でのダウンロードになるんだわ。てなもんで、最近はURLの処理に時間がかかる(Mobile Gear)割に
実入りが少ないこともあって、やってないっす。
まぁ、現在は努力を惜しまずディープなURLを辿って集めてます。
そういえば、最近の虹板って、いわゆる2バイト文字でURL書くのが
流行ってるのか我々への嫌がらせなのか、目につくね。
http://ティンコ.co.jpみたいな 。
>>443 $urlの最後の文字が\だったら?
全てのシェルのメタ文字をURLエンコーディングしないとダメだと思う。
まぁ、置換すりゃあいいんだけどね。
449 ：
名無しさん＠お腹いっぱい。 ：02/08/10 12:47
ぽこにゃん、ラブマ、ぶったぎりあたりは wine でOK。rez は cat。
>>447 sh のシングルクォート中のメタ文字は ' のみ。
$ echo '\'
\
# いまWindowsなので確認してないけどあってるはず
パスワードつながりで。
>>451 大丈夫。
# むしろWin用の解凍ソフトの方が
# 普通には日本語が入らないことが多い罠。
文字コードを確認しれ。
大抵はSJISでないとダメでそ。
>>452 あんがと。
とりあえずs-jisで取り込んでから処理はしてるけどね。
パス付きでzipした奴、テスト的に作ってみて検証しますわ。
ちなみに、日本語のパスワードが入るWin版のunzipって
どういったのがあるのでしょうか？てスレ違いか。
454 ：
名無しさん＠お腹いっぱい。 ：02/08/30 06:29
www.gaultier-x.com/bbs/board1.htm
referer
たいていはreferer。
458 ：
名無しさん＠お腹いっぱい。 ：02/09/07 13:48
man wget もいいけど、wget --help の方が安易なので最初はそれを読むといい。
--refererをどこにすればイイか分からなかった…修行が足りないな…俺。
460 ：
名無しさん＠お腹いっぱい。 ：02/09/07 14:53
基本はブツのあるディレクトリだよ。
referer なんて、たいていはその画像自体を指定しておけば問題ない。
>>459 みんなはじめはそうだよ。
みんなそこから、獲ろパワー(二つの意味)で大きくなった。
さ、1から読みなおそう。
あー…やっと落せた…(もちろん、仕事はチャンとしたぞ！)。
464 ：
C_sugar ：02/09/08 02:39
>>457-458 今時、manやhelpなんてしなくてもググったほうが使用例が見つかるので速い。
それに鯖の公開は別問題。
>468
UNIX版じゃなくてUNIX板ね。すまそ。
とりあえず089までいただいておきました。
refererチェックもUAチェックしてないやん！
>>471 どこがあずまんがだゴリュア!!!
ハァハァ言いながら3回もコピペミスっただろうが!!!
連番のH画像じゃないのですが
476 ：
名無しさん＠お腹いっぱい。 ：02/09/14 10:10
おれさ、厨だからさ、パールなんてわかんないんですよ。
>>476 かなり日本語がおかしいです。
hoge.sed ってどんななの?
>>476 >>url.listの１行ごとに hoge.sed が実行される
こっち。
おなじく、使わせていただきました（なにに
522 名前：名無しさん＠お腹いっぱい。 投稿日：02/09/06 14:56 ID:???
そんなことをして何に役立つんだよ、と言ってみるテスト。
485 ：
名無しさん＠お腹いっぱい。 ：02/10/11 15:49
ほしゅあげ
487 ：
名無しさん＠お腹いっぱい。 ：02/10/13 00:02
がんばれage
488 ：
名無しさん＠お腹いっぱい。 ：02/10/28 02:28
#!/bin/sh
>>488 どうでもイイけど、
while true; do
echo "hoshu age"
done
と書く派なので、そういう書き方だと式の後のコロンを省けるのを知らなかった…。
490 ：
名無しさん＠お腹いっぱい。 ：02/10/28 16:46
>>488 shell script使わなくても
yes "hoshu age"
保守でageる方はDQNでございます
494 ：
名無しさん＠お腹いっぱい。 ：02/11/16 04:29
>492
wgetの書式をいじるのもいいけど、リジュムとかラブマみたいな分割偽装
フォーマット公開されてたら偽装じゃないと思う…
リジュム(漢字わすれた)って本体のfileはcatでくっつくよね。
>>498 ああ、リジュムの場合はlonginus.dll(他にもあるのかな)で偽装して
あるとだめだろう。
*BSDのpeaceって、*BSDのプログラムからWin32 DLLの関数を呼んだりは
できないのかな。
>>491 このスレのローカルルールとして、
保守ageするやつはついでにエロ画像へのリンクを貼る
てのはどうですか
すみませんでした。激しく自分がミスを犯してました。(;´Д｀)
URLが間違ってました。つーか、とくに自分が手を加えていないから、
リンク切れだったようです。
>>492 の訂正
s/missnuts555/missnuts5555/g
s/missnuts666/missnuts6666/g
s/missnuts777/missnuts7777/g
502 ：
このスレの1 ：02/11/24 04:09
ttp://www.scghun.com/main.htm 上記のようなサイトにある画像を全て、簡単に落すテクニックってなんかありませんか。
とりあえず、ここで鍛えたテクニックを使って連番のリストファイルを一つ作り、それを
パターンにそって少しずつ変形させるスクリプトなぞを作り、最後にwgetで一挙に落そ
うという手で攻めてみたが、何分、微妙にパターンが変えられていたりして、四苦八苦し
てしまった。そのためAmateur Schoolgirls Gallery とAmateur Teens Galleryの画像を全
て落すための手はずを整えるのだけで週末を使いきってしまったよ。トホホ。
識者の方々、よい知恵をお貸しくだされ。
いやーどう見ても、というかちょっとしか見ていないが、
>>502 wget -N -q -O /dev/fd/1 "$url" \
| nantoka "$url" \
| grep hogehoge \
| sort -u \
| while read tmp; do
wget -N -q --referer="$url" -O /dev/fd/1 "$tmp" \
| nantoka "$tmp"
done \
| grep '\.jpg$' \
| sort -u \
> list
ちなみに、nantoka は、argv[1]をbase url として標準入力から
リンクを抜き出すフィルタね。
nantoka を、lex か何かで作っとくと便利だよ。
506 ：
名無しさん＠Ｅｍａｃｓ ：02/11/25 00:24
>>502 $url が与えられてるとして、
wget --accept=jpg -c -t 0 -r -l 1 --span-hosts \
-nd --user-agent=Mozilla --referer=$url $url
とかで落とせないかい?
Yahoo! Groupsからファイル落とせるようにできないかなあ。
508 ：
名無しさん＠お腹いっぱい。 ：02/12/24 02:54
俺はいつもHTMLをwgetでとってきて、sed かましてwgetに流してる。楽だし。
wine Lovema.exe
ついでに、takehost が最近 cookie を見るようになった。
ここで一句
>>507 ふつーにできるだろ、と思って今ちょっとやってみたができんな(w
514 ：
ftr223 ：03/01/03 15:44
でででででぇぇーっ！
515 ：
名無しさん＠お腹いっぱい。 ：03/01/04 01:00
半角文字列/アップローダーはここだ！６ 【半角板】
http://okazu.bbspink.com/test/read.cgi/ascii/1039936366/163 From: [163] 名無しさん＠Ｅｍａｃｓ <>
Date: 02/12/30 00:06 ID:U6t76zEY
2chのためのアップローダだったら、2ch自身をアップローダとして使えばいいのでは？
帯域も十分だし、他のアップローダや回線に要らぬ迷惑もかけないし、、
アップロード時は、gzipとかbzip2で圧縮した後、base64とかでencodeしたも
のを、1スレに収まるように分割し、それらを適当な板とスレッドにランダム
に分散して投稿する。ただ、前の分割ファイルがわかるようにそのURLを各レ
スの最初に埋め込む。最後のレスには復元後のファイル名とチェックサム、ファ
イルの説明を書くようにする。
ダウンロード時は、最後のレスから次のレス、その次のレスと追っていき、最
初のレスまで辿り着いたら、全部のデータ部を結合、decode、解凍をする。
もちろん、以上の動作は専用プログラムを使う。もしくは、2ch専用ブラウザ
にそういった機能を組み込んでもらう。
まあ、こういった使い方が2ch側からabuseだったらあぼんですが、、
516 ：
名無しさん＠お腹いっぱい。 ：03/01/07 03:55
最近、AOLのサーバーってデリが早くないか？
ラブマ偽装はもうしょうがないだろうねー
パラパラマンガみたいに、微妙に動いている写真を、
wineで動く猫缶偽装解除ソフトあったら教えて!!
age
あぼーん
（＾＾）
526 ：
名無しさん＠お腹いっぱい。 ：03/01/16 17:28
wgetでpostってできないですか？
wpost: Command not found.
528 ：
名無しさん＠お腹いっぱい。 ：03/01/19 18:58
クッキーもSSLもつかってる会員制サイトの画像を落とすにはどうすればいいんだろう・・・
なんていいスレなんだ！！！感動した。
rezがcatでできるなんて、しらんかった...
よく考えてみればあたりまえだな
おれも昔延々とbinaryのぞいてました。
rez fileは、crc16だったような、source perlで作ったようなきが
すんですけど、defualtのuni* commandじゃ作れなかったようなきがします...
fread(),fwrite(),dirent.h使ってた俺って一体何？
>>498 フォーマット調べずとも、wine APIでdll直接叩くってのはどでしょうか？
>>528 最近の wget なら HTTPS も Cookie も喋れるよ。
がんがればなんとかなるっしょ。
>>530 そうなんですか・・・
でもWebMailのような方式（Web上でIDとパスワードを打ち込む方式）だと太刀打ちできなさそうで？？？
>>531 telnetで打ち込むとかLynxで自動に打ち込むのはどーよ
>>531 curl なら POST 使えるんでない?
534 ：
名無しさん＠お腹いっぱい。 ：03/01/21 22:58
相手のサーバが anonymous-ftp だったりすると、単純に wget を
ループさせるのはよろしくねいですよね。コネクションの都合上。
その辺りは考慮しますか？ 漏れの場合には、
lftp
ftp://server/path/to/ mget ero[0-9]*.jpg
です。って外出ですね。
/dev/urandom を使って、とってきた画像をランダムスライドショー
* stop)
find `pwd` -type f | egrep "jpg$|JPG$" | nl -n ln > `pwd`/ero.list
- ps aux | grep "/ero.sh" | awk '{ print $2; }' | xargs kill -KILL
クッキー・REFERER・エージェント名チェック対策から始まり、
アメリケンかなんかのYahoo! Briefcase のファイルを
542 ：
名無しさん＠お腹いっぱい。 ：03/01/31 12:18
UNIX はこんなことをやらないと連番画像すら落とせないのですか。
まあね。でも楽しいからいいんよ。
マジレスしていい? 専用統合ツールもないことないです。Aria
aolってファイル消えるの早すぎ
>>546 どうでもいいが，すごい URI だな。
思わずアクセスしてしまったじゃないか（ｗ
>>546 例示にはアクセスできるURIを示してください。
でないと抜けない。
>>547-8 すまんこってす。
本物のlogin,passwdとページのほうが情報が集まるとは思ったんだけど
アレの元はAVじゃなくておねーちゃんのPVなのよ。つまんないだろ？
丁寧に1M分割で4アカウント100ファイル以上だったので
結局ブラウザからLoginしてソース落としてsedしてみたいな
>>550 漏れもそこで少し悩んだ
結局、RefererとCookieだけでよかった
552 ：
名無しさん＠お腹いっぱい。 ：03/03/18 02:59
連番で集めた裏本やPGFをディレクトリーごとに整理していても、増えていくと
どんな奴の写真だったかわからなくなってしまう。で、各ディレクトリから一
枚目だけを抜き出して、ブラウザーで表示するためのlist.html作成スクリプト
を書いてみたよ。評価してくれ。
#!/bin/sh
DIR=`pwd`
FN=`basename $PWD`
echo "<html><head><title>$FN</title><head><body>" > list.html
for i in `ls`
do
if [ -d $i ] ; then
cd $i
n=`ls | grep "[jJ][pP][gG]" | head -1`
cd $DIR
echo "<IMG SRC=\"$i/$n\" HEIGHT=\"120\" WIDTH=\"80\"><a href=\"file:///$DIR/$i/\" target=\"_blank\"><font size=1>$i</font></a>" >> list.html
fi
done
echo "</body></html>" >> list.html
それにしても、勉強になるスレだ（ｗ
ファイルの保管で悩んでるのよ。長いけど聞いてくれ。
>>554 暗号化うんぬんとズレるけど、ファイル名を機械的に変更するのはどう？
実は漏れ、ファイルの整理の為に、md5 の結果をファイル名にしてるのだ。
#! /bin/sh
IFS="
"
for i in `find $1 -type f -print`; do
mv "$i" `dirname "$i"`/`md5sum.exe $i | sed -e "s/ \*.*$//"`.`echo $i | sed -e "s/^.*\.//"`
done
cygwin 上で動かしてるので md5sum.exe になってたりするが気にしないようにｗ。
透過型というか、先頭32K部分とかに XOR でもかけて、
% xor 32000 <ファイル名> | mediaplayer とかできるとありがたい。
もしくは先頭部分にダミー放りこんで、32K後から読み込むようにするとか。
これと
>>555 の md5 作戦を組み合わせれば DVD そこらに置きっ
ぱなしにしたりしても(まぁ)安全。扱いも楽。
しかし、 Unix ならまだしも Windows でこゆことできるのかな。
子供さんがおられるひととかいない? お父さんなにこれ、とか言われ
る前に備えが必要では? などと不安を煽ってさらにアイデア募集。
（＾＾）
いつのまにか*nixでラブマ結合出来るソフト公開されてるのね。
560 ：
名無しさん＠お腹いっぱい。 ：03/04/18 09:13
あぼーん
誤爆しちまったい。これでどないだ
perl -ne 'chop; ($base, $first, $last, $ext) = m@(
http://.+ )/\[(\d+)-(\d+)\]\.(\S+)@; for($first..$last){printf "$base/$_.$ext\n"}' list
>>564 誤爆先を見つけてしまったよ……
ていうかなんであんなところに誤爆してるんだYO!(w
unix でラブマ教えてプリーズ
unlov を使いたまえ
569 ：
名無しさん＠お腹いっぱい。 ：03/04/23 22:46
Linuxバイナリかよ。
偽装の仕様は公開してくれないの?
>>570 「偽装」の目的を考えれば、公開する訳がない気がする…
偽装の目的ってなんなのかな。
>>563 これじゃだめなのか?
#!/bin/sh
len=2
fmt="%s%0${len}d%s\\n"
IFS='[]-
'
cat list | while read base beg end sfx; do
i=$beg
while [ $i -le $end ]; do
printf $fmt $base $i $sfx
i=`expr $i + 1`
done
done >newlist
ハックの大事なものを知ってるよ
579 ：
名無しさん＠お腹いっぱい。 ：03/04/26 06:19
このスレは素晴らしいですね！
あぼーん
581 ：
名無しさん＠お腹いっぱい。 ：03/04/26 06:45
$ wget --help|grep cookie
>552
このスレのちょっと前に出てた、ディレクトリ以下のインデックス一覧表示を
追加して使わせて貰ってます。
ディレクトリの中に.jpgがない場合のエラー処理が要るような気もするけど
まぁいいや。
＃ソースの折り返しとかについては勘弁ね。
#!/bin/sh
DIR=`pwd`
FN=`basename $PWD`
URL_HEAD='
http://www.漏れのティンコ.co.jp '
echo "<html><head><title>$FN</title><head><body>" > index.html
echo "<div align=center><font size=4>$FN</font></div>" >> index.html
for i in `ls`
do
if [ -d $i ] ; then
cd $i
ls |grep "[jJ][pP][gG]"| sed 's%\(.*\)%<a href="\1" alt="\1"><im
g src="\1" height=120 width=80></a>%' > index.html
n=`ls | grep "[jJ][pP][gG]" | head -1`
cd $DIR
echo "<IMG SRC=\"$URL_HEAD/$i/$n\" HEIGHT=\"120\" WIDTH=\"80\"><
a href=\"$URL_HEAD/$i/\" target=\"_blank\"><font size=1>$i</font></a>" >> index.
html
fi
done
echo "</body></html>" >> index.html
うーむ。
何を取ってきたいのか判らんのにどうしろと
HTML::LinkExtor URI::URL LWP::UserAgent
HTTP::Request でリスト作って、2chJpgGetter の wget_down を回してやればいいことに
気がついて、ほぼ実装完了。
>>582 grep -i .jpg を使わない理由があるんだろうか
ヘタレな index 作るより、thumbnail_index を回せば
Yahoo! Groupsにコマンドラインからログインする方法を試行錯誤してたら
ヤフーグループのことを質問したものです。
うーん・・。なぜかダウンロードが始まらない・・。
>586
593 ：
名無しさん＠お腹いっぱい。 ：03/05/06 04:06
あぼーん
あぼーん
自分にとっては、今までのスクリプトのなかで
>>578 が実用度が一番高い。
単純な割にいいね
質問があります。javaなどのScriptがアクセスするページの画像をダウンロードできるソフトって
↑無理？
>>589 市販のオートパイロットではエラーがでちゃうんです
603 ：
名無しさん＠お腹いっぱい。 ：03/06/14 22:39
ごぶさたあげ
外出かもしれんが、ワードのマクロで連番のアドレス書いているのは俺だけだろうか？
連番生成・・・cygwin上でシェルスクリプト
連番生成 : jot
>>606 >>607 >>605 の方法が漏れには一番簡単に見えるんだが。
というか，プログラムを書く必要ってあるのか？
Cookie を食べる必要があるなら w3m でやればいいし。
unlov が Google から消えた…誰か詳細きぼんぬ。
Googleから消えた理由は知らんが、サイトはまだあるよ。
jot って BSD 用なの?
takehost が Accept-Language: も見るようになったような気配を感じる。
615 ：
名無しさん＠お腹いっぱい。 ：03/07/07 08:14
>614
あぼーん
.
誰か教えてくれぇ～(´Д`)
>>610 まず誠意をみせろ。おれが自宅に戻れる22:00以降に。
話はそれからだ。
623 ：
名無しさん＠お腹いっぱい。 ：03/07/27 23:48
こんなん動ナビとか動画普及委員会チェックしてれば毎日ゲットできるぞ。
動ナビ死んでませんか
動ナビは死んでないが、iij を使った結構な数のエロサイトから
∧＿∧ ∧＿∧
wget の --timeout って、
634 ：
名無しさん＠お腹いっぱい。 ：03/08/13 12:19
２ちゃんで話題になった「みーほ」女子○学生 B86 W57 H88（○5歳）
がこのHP内のギャラリーで何を考えているんだか、衝撃的なセルフのヌードを晒してます！！
削除される前に早めに見ておいた方がいいとおもいます！マジでやば過ぎ！！
http://neeez.com/~miho-room/ 不覚にもﾜﾛﾀ
あぼーん
あぼーん
{from..to}
{10..20,30..40}
>639
( ･∀･)つ〃∩ ﾍｪｰﾍｪｰﾍｪｰ
そろそろ２ヶ月もカキコがない…。
>おまえら満足してますか？
>>644 > 最終的には画像の類似性をうんぬんって世界にしないと仕方ないのか？
> 誰か「漏れはコレだ！」って奴を教えてくれぃ。
今まで何を試したか書いてくれ。
例示した後で「それはもう使ってみた」って言われるのはやだ。
おれは単純に時間とディレクトリで分類してる。
俺はディレクトリと連番だな。もちろんスクリプトで。
>>644 wget -x で URL のまま保存してる。
>今まで何を試したか書いてくれ。
続き。
そこまでしてローカルにあらゆる画像を保存したいの?
GQview とか
>>644 素人考えなんだが
同じエロ画像でも大きさっていうか画質とかが違ってたりすんじゃん
例えばイメージマジックとかで同じ様な仕様になるように
小さくサムネイルのように同じファイルサイズとかにフィルタしてから
binary diffみたいのを使って差分をとって差分比率を読みとりながら
画像を比較できないのかなぁ？
レスありがとさんです。
俺は半角板を自動巡回して URI 拾って wget のリクエスト作る Ruby スクリプト書いた
落ちてきた画像は一通り見てお気に入りの奴はお気に入りディレクトリに入れて
それ以外は全部ファイル名を MD5 にリネームするスクリプトで変換してから
画像置き場ディレクトリに放り込んでる
画像的には同一なんだけどデータとしては違うというケースはうちでも発生してるな
ちゃんと判定する方法なんて無いような気がしてたから諦めてたけど
ここらへん研究してみると面白いかもな
>>652 (b)(c)のケースなんだけど、もし画像サイズが同じなら、
jpeg のエンコード時の特性の違いがあるのかもな
もしそうなら jpeg のエンコードに特化した画像判別があればいいのかも
>>660 JPEGは符号化時のクオリティ設定で出力がまったく違います。
また、どこかのwebで拾った同じJPEGファイルに端を発した画像でも
デコード・エンコードを繰り返して劣化したもの、コメントが変わった
・取り除かれたもの、huffmanコードを最適化したものなどいくらでも
バリエーションがありますので、結局デコード後の画像として比較する
しかないのではないかと。
665 ：
名無しさん＠お腹いっぱい。 ：03/11/25 15:58
wgetを使ってあるディレクトリ以下にある(cgiソース含)ファイルを無差別にDLする方法ありませんかね。
man wget
667 ：
名無しさん＠お腹いっぱい。 ：03/11/25 16:08
>>666 やったけど詳しく書いてないみたいだけど、、、
wget -r --ignore-length <URL/>
で良いかな?
info wget
669 ：
名無しさん＠お腹いっぱい。 ：03/11/25 17:19
cgiファイルらしきもんはダウンロードできたけれど、やっぱソースが見れないです。
ソースが見れないように設定してあるHTTP鯖から、
671 ：
名無しさん＠お腹いっぱい。 ：03/11/25 17:31
やっぱ、そうだったか。
そもそも、読み出し権限無いかもしれないし。
>>671 というかCGIとして実行されるように設定されてるファイルは、絶対にGETできんよ。
そのファイルを指定したリクエストが来たらCGIとして実行するようになってる
訳だから、(そのWebサーバ経由では)ファイルを取りようが無い。
ソースを落とせたことがあるんなら、多分それは、CGI実行設定されてない
ディレクトリに物置のように置いて有ったのだろう。逆に言うとそれは
「動いていない」プログラムだから、正しいという保証はどこにも無い。
jpeginfo でこわれているjpegファイルの判定を十分にできますか？
XVの設定が古いせいではないかと…
そうですか。もうすこしいろいろためしてみます。
% perl slodziutka.erospace.pl
678 ：
名無しさん＠お腹いっぱい。 ：03/12/17 20:51
最新のwgetって~を%7Eに変換しないのか…
679 ：
名無しさん＠お腹いっぱい。 ：04/01/02 16:41
「げっとぴっく」ってやつ使ってるんだが
>>681 あんま好きなおなごじゃないな
wget --user-agent=Mozilla --referer
http://gallery3.pure-angel.net/kasumi_nakane/01/ http://gallery3.pure-angel.net/kasumi_nakane/01/nakane_kasumi_0{0,1,2,3,4,5,6,7,8,9}{0,1,2,3,4,5,6,7,8,9}.jpg
> wget --user-agent=Mozilla --referer
http://gallery3.pure-angel.net/kasumi_nakane/01/ http://gallery3.pure-angel.net/kasumi_nakane/01/nakane_kasumi_0{0,1,2,3,4,5,6,7,8,9}{0,1,2,3,4,5,6,7,8,9}.jpg ありがとうございます！！
--refererの使用まで思い至りませんでした。
>>578 の方法につての質問です。
ディレクトリが同じでその中のファイルの例が
img20031113192714.jpg 13 Nov 03 19:27 6.2Kb
img20031113210116.jpg 13 Nov 03 21:01 7.4Kb
img20031113210157.jpg 13 Nov 03 21:01 22.1Kb
･･･
こんな感じになってます。これを一気に落としたいのですが
いかんせん時分秒まで回してたらやばいことになりそうなので
wget
http://~ の~部分だけループできたらと思います。
で，その場所がディレクトリサービスONだったので
starsuiteで上のようなファイルリストを作りました。
でもシェルスクリプトの動作がイマイチわかりません。
cat<<END |wget
http://nanntokakanntoka/ 2003xxxxxxxx.jpg
...
END
の足りない部分を埋めていただきたく思います。
Solaris9でインストールしたときのsh使ってます。
それ以前にwgetでディレクトリサービスONの
アドレスから.jpg .png .gifの絶対パス取って
まとめてゲット~なんて出来ればなお良いんですけど
私にはさっぱりひらめきがないのでもし良かったら
ご教示願います
何が最悪なんだ？
684がhelpもinfoも読まずにカキコしちゃった自身の
688 ：
名無しさん＠お腹いっぱい。 ：04/01/09 02:37
あの、awkでしかも汚いですが一応動きます。
baseurl と files 変えたら他の女の子のもいけます。
よければ添削してやってください。
BEGIN{
baseurl="
http://www.tokyo-247.net/image/37_maya/maya1/t2_maya001.jpg "
files = 55
split(baseurl,url,"1/")
url[2] = substr(url[2],1,index(url[2],"0"))
for(i=1; i<=files; i++){
path = url[1] int((i-1)/15)+1 "/"
if(i<10){ number = "0" i }else{ number = i}
file = url[2] number ".jpg"
print file
wgetcmd = "wget -nc " path file
system(wgetcmd)
}
}
691 ：
名無しさん＠お腹いっぱい。 ：04/01/18 00:35
wgetのオプションでquotaを指定すると取得するファイルの上限をきめられるそうですが
>>690 わざわざ変なスクリプトかいて暇ですな。
>>690 ファイルごとに wget を起動するんでなく
URL を一括で wget に食わせてやる方がよいと思う。
あとせっかく wget 使うなら便利なオプションがいろいろあるので調べるが吉。
ご意見ありが㌧。
> ご意見ありが??。
>>695 というか、入力方法がわからんよ
emacsでctrl-q hoge fuga とかするの?
そういえば、どこかのｽﾚに
>695
699 ：
名無しさん＠お腹いっぱい。 ：04/02/08 02:27
"あれこれ"やったことを書け。
リンクを解析して辿り、目的の拡張子だけをダウソするPerlスクリプトを書いたんですが・・・再発明ですか？
あぼーん
HTML::LinkExtor とか使えばいいのに。
今痔が出来て痛くてたまらないからAA貼り付けようかな
僕もがんばってみた。「はじめてのC言語」とそれから「関数の使いかた」少しよんだ。
void numaddr( struct address *p )
int main( int argc, char *argv[] )
math.h をつかうと
>>709 やっぱこう↓しとく
"s/\[word\]/opai\[001-100\].jpg/"
714 ：
名無しさん＠お腹いっぱい。 ：04/02/09 13:03
>>712 動画ウィンドウの表示にはJavaScriptを利用してるみたいなので
wgetだけでは無理かと
うん どうやってするのがスマートな解決なんでしょうか。
--user-agentの指定ってどういうとき必要になるの？
偽装したい時
アクセスログ読んでる奴に嫌がらせしたいとき。
>>718 --user-agentを指定しアクセス制限を回避することは
不正アクセス禁止法の第3条2項2号に違反するため、
一年以下の懲役又は五十万円以下の罰金に処されます。
>>720 user agentは不正アクセス禁止法の識別符号には該当しない。
詳しい人100人集めたら90人くらいまではそう言うと思うけど、裁判所的にはどうだろね。
もしかして、厳密にいうと違反なわけ？
>>725 誰かがUA偽装のみで訴えられて裁判所が何らかの判断下すまで違反だとは誰も断言できない。
条文にアクセス方法についてもうちょい具体的に書いておいてくれりゃよかったんだけどね。
telnetしたり自分でUA組んだ時、
なんか変な人が。
>>727 UserAgentを普段書き換えることや書き換え機能がついてること自体は問題ない。
* UserAgentでアクセスの制限をしているサイト * へ、UserAgentを書き換えて
アクセスしたことが問題（になるかもしれないのはやだなあ）という話。
なる可能性はあるな。国内の法律では不正アクセス行為の禁止等に関する法律の
アクセス制限とは認証のことであり、UAのチェックは認証としての要件を満たさない
もまえら暇だなぁ。
そんなことより違法なエロ画像の URL 下さい。
「うらぼん」でぐぐればいいのでは？
おお、これは本当にありがたい。ありがたやありがたや (一人一) ﾅﾑｰ
user-agentだろどうせ
cookie利用の可能性も
740 ：
名無しさん＠お腹いっぱい。 ：04/02/13 12:40
連番の蓮画像を一気にダウンロードする
ようするに見る側の問題ってこった。
>740
745 ：
名無しさん＠お腹いっぱい。 ：04/02/14 00:51
746 ：
名無しさん＠お腹いっぱい。 ：04/02/14 03:58
よ～するに、M$IEもMozillaを騙っているので偽装であると...φ(.. )
urlがpcnewsでは開いて見る気もせんが、
pcnewsに飛ばすならせめて
あんまりサーバに負荷かけちゃ駄目だよ。
#!/bin/bash
if [ ! -d ./OUT ]; then
mkdir OUT
fi
URL="
http://thebbs.jp "
GETNUM="1024"
UA="Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; .NET CLR 1.1.4322)"
wget -U "$UA" -N "${URL}/up1/"
LIST=$(cat index.html | egrep '[0-9]+\.html' | sed 's/.*href=\"\([0-9][0-9]*\.html\)\".*/\1/g')
PAGES=$(for name in ${LIST} ; do echo "${URL}/up1/${name}" ; done )
wget -U "$UA" -N -nv -w 1 --random-wait ${PAGES}
for name in $(grep 'href=/sum.html\?' 1[0-9]*.html \
| sed 's+.*href=.*/\([0-9][0-9]*\.\(jpg\|png\|bmp\|gif\)\) .*+\1+g'\
| sort | tail -n ${GETNUM} )
do
wget -N -nv -U "$UA" -w 4 --random-wait -O ./OUT/${name} "
http://thebbs.jp/up1/img/${name} "
done
でもここから選別するのが大変な罠。
あ、そうそう。
自分で生HDDをつけるということは、少なくてもパーティションの作成から
↑なかなか上品なレスだけど、頭の中ではエロエロなことばかり考えているんですね。
誤爆かと思った罠
エロは*習熟の源です
759 ：
名無しさん＠お腹いっぱい。 ：04/03/12 00:34
760 ：
名無しさん＠お腹いっぱい。 ：04/03/15 03:48
ほしゅ
ほしゅほしゅ
hosyu
hosyu
なんかネタ無いの？
エロには飽きた。
画像に飽きた奴が小説に流れるパターンだな
もう一度、ｴﾛのﾊﾟﾜｰを！！！
保守
誰か俺が使ってるスクリプト見たい人いる？汚いけど。
参考にしてみたいな
こんなかんじ。
while(!eof()) {
my @imgs = ();
sub getlinks
{
$base_tag = '';
@imgs = ();
$iframe = '';
my $url = $_[0];
my $ua = LWP::UserAgent->new( Agent => "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;)");
my $p = HTML::LinkExtor->new(¥&callback);
my $res = $ua->request(
HTTP::Request- >new(GET => $url),
sub {$p->parse($_[0])});
my $base = $base_tag || $res->base;
if ($iframe and !@imgs) {
print "Found iframe. recheck >> $iframe¥n";
$_ = url($iframe,$base)->abs;
$iframe_ref = $_;
$iframe = '';
return getlinks($_);
}
@imgs = map { $_ = url($_, $base)->abs; } @imgs;
@imgs = grep{/.[jJ][pP][gG]$/} @imgs;
return @imgs;
}
sub dl {
sub dl2 {
for(0..($max-1)){
以上です。
余計なのはいってた；
wget -r -A .jpg
wgetの--page-requisitesを使ってお絵かき掲示板の絵をコメントごと収集しようと思ってます。
しかし、しぃアプレットを使っている掲示板からは--page-requisitesで画像を持って来れませんでした。
例として、どこでもいいんですが思い切り無関係なところでこことか↓
ttp://www15.big.or.jp/~baroque/nharuna/oekaki/bbsnote.cgi 1) wgetの設定がまずい
2) こっちのネットワークの何かがまずい
3) CGI側で何かしてるのでwgetでは無理
なにがよろしくないんでしょう。wgetがHTMLを解析してくれてない感じなんですが。
>>782 1) -p option ついたの最近よ？ あと実装始めのころのはバグってた気もした
2) これっぽい。君のサイトが撥ねられてるとか、proxy とか
3) んなこたー、ない
% wget --page-requisites
http://www15.big.or.jp/~baroque/nharuna/oekaki/bbsnote.cgi （略）
% ls www15.big.or.jp/~baroque/nharuna/oekaki/data/
IMG_003579.jpg IMG_003582.jpg IMG_003585.jpg IMG_003587_2.jpg
IMG_003581.jpg IMG_003584.jpg IMG_003586.jpg IMG_003588.jpg
% wget --version
GNU Wget 1.9.1
>>782-783 漏れも画像のダウンロードができなかった
-m -l1オプションでもダメだった
% wget --version
GNU Wget 1.8.2
wget 1.9は~の処理が変わったので使ってない
>781
>782
>>788 でもあんま根本的な原因究明にはなってないな(w
解析が難しいHTMLの書き方にでもなってるのか？
wgetよりcURLの方が便利だ。
使い方ｷﾎﾞﾝ.
>789
がーん。wget って --timestamping と --no-clobber を同時指定ってできないんだ…
>>793 サーバー上のファイルと比較すべきローカルのファイルを
どれにするのが適当なのかがよくわからない、というのが原因なんだろうね。
--timestampingで更新ダウンロードした時に
スクリプトでリネーム退避しておく、という手くらいしか思いつかないや。
…wgetが更新ダウンロードしたことを検知する方法ってなんかあるっけ。
ログを書き出す設定にしてgrepする以外にあるかな？
795 ：
名無しさん＠お腹いっぱい。 ：04/07/04 16:58
優秀なﾎﾟﾏｴﾗに質問でつ
このサイトの画像を自動で保存するにはどうすればいいでつか?
http://www.sweetnote.com/board/chidle/hoshiinanase/ ページの最後にCSSで隠した画像があって、
その画像にアクセスするとアクセス禁止になってしまうので
wgetだと保存できません
ちなみに、巡回ソフト対策みたいなのですが、
CSSに対応してないブラウザで見ると表示されてしまうし、
Operaでスペース押していくと画像を順番に表示していくので
CSSで隠した画像にもアクセスしてしまいます
そういえば、昔作ったスクリプトには
ん？ えーと、コレは単に
>>797 面倒なことさせてしまってすみません
FirefoxなどでCSSを無効にすると
一番下に同じサムネイルが2枚表示されていて
その下の画像のリンクにアクセスするとアクセス禁止になってしまいます
う、うまく書けない。まあいいや。
wget --load-cookies --save-cookies .... でOKでは。
適当に書いてみた。LynxだとIEのフリができずアクセス解析でバレそうなのでHTMLソースをwgetして解析。
>>799 の「リンクを抽出した1行目は本物画像リンク、2行目はCSSで隠された罠リンク」の仕様が崩れるとアウト。
#/bin/sh
wget $1 -q -nv --user-agent=="Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -O - |\
sed -n 's/<a href="\(..*\)" target="_blank">.*/
http:\/\/www.sweetnote.com\1/p ' |\
awk 'NR%2 == 1' | wget --user-agent="Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" \
--referer=$1 -nv -P ${2:-gazou} -i -
上記の5行をget.shとかで保存して適当に実行可能にして
$ ./get.sh
http://www.sweetnote.com/board/chidle/hoshiinanase/ とするとカレントディレクトリにgazouディレクトリを勝手に掘って画像を保存。
（5行目の -P ${2:-gazou} を消すとデフォルトでカレントに保存するようになる）
$ ./get.sh
http://www.sweetnote.com/board/chidle/hoshiinanase/ test
とするとカレントディレクトリの下にtestという指定ディレクトリを勝手に掘って画像を保存。
IEだと思わせてるので画像の更新はあえて見てない（毎回6ファイルを強制ダウンロード）。
鯖負荷のかけすぎで気取られないように注意。
>>802 ありがとうございます
ダミーのリンクは最初と最後の画像だけみたいなので
偶数行を削除という発想をヒントに2行目と最後の行を削除したらいけました
sed -e '2 d' | tac | tail +2
> 仕様が崩れるとアウト。
以前は各画像のあとにコメントアウトされた
ダミーの画像がふたつずつありました
> （毎回6ファイルを強制ダウンロード）。
いつもはwgetに-xオプションをつけてダウンロードしています
あとは "`echo url | cut -d/ -f3-`" というファイルが
存在するかどうかでダウンロード済みかどうかを判断しています
URLエンコードが必要な場合は適当に処理してます
IEでもHEAD投げてサイズを見てダウンロードするかどうかを決めるってのはやってるんじゃないかな。
>>801 いやね、
>>800 は半角板に張ってあったりすると、URI中のセッションIDとcookieのセッションIDが一致しないとダメなのよ。
そのサイトから直で落とすなら問題ないんだけどね。
806 ：
名無しさん＠お腹いっぱい。 ：04/08/14 11:43
保守
807 ：
名無しさん＠お腹いっぱい。 ：04/08/22 21:52
wget使ってdlするｽｸﾘﾌﾟﾄを書いてるんだけど、どうもcookieの処理が上手く出来
>>807 指定するときにセミコロンでパラメータをセパレートするんじゃないの？
ひょっとしたらwgetの場合cookieなんかだと、複数のパラメータセットが
あった場合、全部追加されるのかもしれないけど。
#まあキャプチャすれば直ぐ判ることだが。
811 ：
名無しさん＠お腹いっぱい。 ：04/09/09 01:30
保守
>>812 --header=REFERER:と等価な--refererが最近のヤツだと使えるようになってる。
{}の展開、以前上手く動かなくて使ってないのだが、俺の勘違いだったのかな。
今度試してみよう。
>>813 cshが勝手にはぎ取っているという落ちでないの？
echo {01..18}
の結果は？
>>814 ああ、やっぱりシェルの展開機能なのね。
普通にsh(bash)でした。
このスレのあちこちで、しつこく zsh って書いてあるのに…
curlにはそういうiriaライクな構文があるよね。
>>816 いや、zshに展開機能があるのは知ってるんだけど
wget自身にパラメータの展開機能が盛り込まれたのかと思ったんだよ。
シェルにあるような機能を取り込む必要もないのかもしれんが、
ある意味zshって特殊(スタンダードではない)だから。
まあログインシェルぐらい時々で変えれば、つう考えもあるな。
>818
>>819 んじゃ、もう一方のUnix的な思想で
展開機能のないシェルで展開させるために使うフィルタで
お勧めなのは何かある？今はawkでやってるんだけど。
(zshのスクリプトでというのは取りあえず無しで)
>>821 多分指摘のとおりアホなんだと思うけど、
アホ故に、どの辺りをもってしてアホなのかが判らん。
ズバっと明確に切ってくれ。
zshのスクリプトでいいじゃん。
url を切り出すスクリプトと
>>820 まったくスレ読まないで書くから外してるかもしれないけど。
curlは自前で展開してくれる。そっち使えば？
えっと、aria は４系でも動かないの？
被写体が♂だったらやったんだけどな・・・
工ｴｴｪｪ(´д｀)ｪｪｴｴ工
苺きんたまの画像をゲットした時は
#!/bin/sh
cat input |grep "
http://v.isp.2ch.net/up/ " >output
sed 's/http/ttp/' output > tmp
sed 's/ttp/http/' tmp > tmp2
sed 's/JPG/jpg/' tmp2 > tmp3
awk '
{print "wget " $1}' tmp3 >temp
chmod 700 temp
./temp
mv *.jpg images
こんな感じ。お好みでwhileして?p=1・・・p25までゲットとか。
無限roopで問題なかった。1つのcgi落とすのに10分以上かかったから。
sedが冗長な感じだが足りない頭じゃこんなものしか書けなかった。
誰かもっと簡潔な「よい見本」きぼんぬ。
あーごめん。これじゃなかった。
#!/bin/csh
@ i = 1
while ($i <= 2)
date >>history
wget "
http://up.isp.2ch.net/upload/c=03okari/index.cgi? "
cat "index.cgi" |grep jpg >list
awk -F\" '{print "wget -U hiroyuki
http://v.isp.2ch.net " $2}' list >test
cat test |grep jpg >test2
chmod 770 test2
./test2
awk '{print $4}' test2 >>listtmp
sort -i listtmp |uniq >getlist
mv *.jpg jpg3
rm "index.cgi"
@ i = 1
end
こんなん。これも良い見本きぼんぬ。
832 ：
名無しさん＠お腹いっぱい。 ：04/10/22 13:36:38
age
833 ：
名無しさん＠お腹いっぱい。 ：04/11/05 19:21:13
保守!
なんて息の長い祖レッドなんだ。
見つけてしまいました、こんなスレ。今からzsh入れます!
すげー。ありがとみなさん!ノシ
このスレ２１世紀の始まりから生きてるのか
838 ：
名無しさん＠お腹いっぱい。 ：04/11/11 21:10:37
エロは性器を超える
839 ：
名無しさん＠お腹いっぱい。 ：04/11/11 21:37:36
wgetに画像だけ-ncの動作をするオプションを追加して使ってる。
zlMSsi3oSqQIP6qodpfRrjJ0Au3QtLVzaLI8LAiTm6XxwFgOLy8v+ONThaAM
hoshu
ちょっと保守しますよ。
ほっしゅっしゅ
845 ：
名無しさん＠お腹いっぱい。 ：04/12/26 03:27:28
847 ：
名無しさん＠お腹いっぱい。 ：04/12/26 03:49:49
zsh、wgetはどこでインストールできますか？
850 ：
名無しさん＠お腹いっぱい。 ：04/12/26 04:30:24
>>848 ありがとうございます。
>>849 ありがとうございます。地道にやってみます。
ちなみに同時押しって何ですか？
>851
854 ：
名無しさん＠お腹いっぱい。 ：05/01/05 01:31:19
856 ：
名無しさん＠お腹いっぱい。 ：05/01/29 14:47:08
857 ：
名無しさん＠お腹いっぱい。 ：05/01/29 16:18:15
>>856 ﾃﾞﾑﾊﾟ ｷﾀ━━━━━━(ﾟ∀ﾟ)━━━━━━ !!!!!
phpとか使われるとわけわからん。落とせん
perlスクリプト使え
860 ：
名無しさん＠お腹いっぱい。 ：05/02/02 16:27:08
（ ﾟдﾟ）ﾎﾟｶｰﾝ
862 ：
名無しさん＠お腹いっぱい。 ：05/02/03 16:27:47
ﾈﾄﾗﾝ厨(･∀･)ｶｴﾚ!!
ﾈﾄﾗﾝ厨じゃないのに・・・
>866
403喰らう悪寒。-Uでしっかりと騙るのがベターかも。。。
2次元か
while(<>){
m/num=([0-9]+)&type=([a-zA-Z]+)[^0-9]*([0-9]+)/ and system "wget".
" --output-document='$3.$1.$2'".
" --header='Cookie:num=$1;type=$2'".
"
http://nylon.hostfuck.com/nylon.php ".
"\n";
}
×&
Perl?
無駄が多いな、このサイト。
l l
成功した？
セルフプレジャー保守
初心者スレから誘導されてきました。
unzip {001..100}.zip
for i in *.zip; do unzip $i; done
echo *.zip | xargs -n1 unzip
unzip は自前でワイルドカードを処理するのでほかに zip ファイルがなければ
884 ：
名無しさん＠お腹いっぱい。 ：2005/05/30(月) 16:25:28
うほ
885 ：
名無しさん＠お腹いっぱい。 ：2005/06/14(火) 20:55:22
wget -m --cookies=on --user-agent="Mozilla/4.0 (compatible; MSIE 6.0; Windows 98)"
>>886 UAとrefererは指定してもだめです
cookieはためしてないけど、w3mでさえページを開けないってことはcookieじゃなくて
JavaScriptが効いてないとだめなのかもしれない希ガス
888 ：
名無しさん＠お腹いっぱい。 ：2005/06/14(火) 21:45:27
>>888 そうすか？
私のところでは、w3mでもwgetでも、特定のバイト数を読み込んだところで
ブロック状態になります。で、しょうがないからctrl-Cで終了させると、
IEで取得可能な全てのファイルは落とせていない。
そっからもぐってたどれる画像に関してはまったく無理です。
> IEで取得可能な全てのファイルは落とせていない。
>>891 え？？
それで、ちゃんと最後までおちますか？
私のところではブロックしてしまうのですが。
何が悪いんだろう。
893 ：
853 ：2005/06/15(水) 01:38:59
wgetばーじょんうｐあげ
>>885 uname -v および wget --version を晒してみ
>>895 FreeBSD 4.7-RELEASE
GNU Wget 1.8.2
897 ：
895 ：2005/06/16(木) 22:21:11
thx. とりあえずニューwgetで試してみることにしますわ。
% ls .thumbnails/normal | wc
900 ：
900 ：2005/06/26(日) 09:34:26
900
お前は基本がわかってないから無理
>>901 ヒント： wget --header="Cookie: kokoni hairu mojiretu wo nanntoka shutoku shiro"
>>901 日本語も学びなおしたほうがよかろ
学問でも技芸でもなく、単なる方法を知りたいのなら
×教授ください
○教示ください
>>903 それはヒントどころか答えでは・・・ｗ
空気を読んだ方がよかろ
906 ：
名無しさん＠お腹いっぱい。 ：2005/06/30(木) 07:07:50
10秒に1アクセスの制限もあるな。
908 ：
名無しさん＠お腹いっぱい。 ：2005/07/02(土) 19:04:53
なんか最近は DCGA ってのばっかりでスルーばっかりだよ。
909 ：
901 ：2005/07/03(日) 00:05:10
>>909 つ Firefox + Live HTTP headers
911 ：
906 ：2005/07/03(日) 09:29:12
>>909 そのままの意味。連続アクセスするとjpegの代わりに「10秒まてこの早漏」と返してくる。
hint: wget --load-cookies=foo --save-cookies=foo --keep-session-cookies
912 ：
901 ：2005/07/03(日) 15:47:34
お騒がせしてすみません、解決できました。
wget -r --header="cookie: Cookie: PHP_DAYCOUNT2=＜省略＞; lf=＜省略＞"
http://loface.com/pic_sum.php?p=kakyu2 で出来ました。今まで出来なかったのは『PHP_DAYCOUNT2』が抜けてただけみたいですorz
>>910 さんが指摘した『Live HTTP headers』で気がつきました。
どうも有難うございました。
>>911 レスしてくれて有難うございます。
913 ：
名無しさん＠お腹いっぱい。 ：2005/07/17(日) 01:12:56
age
まだあったのな、このスレ。
UNIX板での良スレ
エロいおまいら 画像ビューワ のお勧め教えれ。
またこいつか。
>918
ネタにマジレスか
kuickshow つかってまつ
paint
>>919 C:\Windows\system32\explorer.exe
gthumbかな?
例えば、リストの内容が
http://www.unko.jp/~chinko/[000-026].jpg http://www.manco.jp/anal/gay[00-26].jpg みたいなファイルがあったとしてこれを展開してwgetなりに渡すにはどんなスクリプト書きます？
自分が深く考えないで書いてみたのは
cat < list | sed 's/\(.*[^0-9]\)\[\([0-9].*\)-\([0-9].*\)\].*\.\([^.]*\)$/\1 \2 \3 \4/g' | awk '{printf("echo %s\{%s..%s\}.%s\n", $1, $2, $3, $4)}' | zsh -s | tr ' ' '\n'
で、最初のsedでアドレス、開始の番号、終わりの番号、拡張子を分けて、awkでzshのスクリプト書いて最期にtrで改行入れてるんだけど、どうかな？
添削よろしくです。
やりたいことがよくわからんが、
928 ：
名無しさん＠お腹いっぱい。 ：2005/09/02(金) 22:40:51
＞添削
zsh知らんけど、添削するなら
>>929 アーナルほどsedで開始と終わりの番号を別のフィールドにわけないでzshの{..}の形にすればいいのか。。。
坂本文のたのしいUNIXで勉強したてなんでsedとawkくらいしか知らないのでできればperlで
書いていただけませんか？
932 ：
名無しさん＠お腹いっぱい。 ：2005/09/03(土) 02:07:02
wgetなりってことなので curl 使ってもいいんですよね
>931
Perlの場合、マジックインクリメントに頼れば
936 ：
934 ：2005/09/06(火) 19:48:05
ついでにbash
>>936 ちょっと試した感じだと、00みたいに偽値と判断されるやつがダメみたいね。
01-10とかだとオッケーなんだけど。
連番のH画像を諦める勇気ってのも僕には必要なんだ。
今度は、ため込んだ画像を削除する勇気だな。
画像から動画へステップアップする勇気も必要だ。
取り敢えず200MくらいのHDDを6個くらい買ってくる勇気
200Gの間違いじゃないのか
200Gを6個買うのよりも200Mを6個買う方が勇気いると思う。
ﾜﾛﾀ
アルテミスでGNU使ったら、串刺してたのに生IPごと弾かれたorz
↑今年最初に見た馬鹿
このスレのまとめサイト作っていいですか？
よろしく
952 ：
950 ：2005/11/05(土) 18:30:02
だよもん..
このスレで
>954
今このスレのノウハウを生かしてVOAのスクリプトとmp3をダウンロード中…。
voaって何かね
Vagina or Anus
edなり perlなりで、ばっと<span class="articleheadline"～</P></span>あたり抜き出して、html2txtみたいな処理かけて、余計なの削るとか。
>>960 perl で $html =~ s!!!sig; を何度も繰り返すスクリプト書いて、なんとか読めるHTMLに加工しました。
今は mp3 を wget してます。
このサイト、mp3 は mp3 で命名規則皆無という腐りっぷりです。うへぇ。
ところで質問です。
ちょっと確認してみたところ GNU Wget 1.10.1 のデフォルトのリクエストは
GET /index.htm HTTP/1.0
User-Agent: Wget/1.10.1
Accept: */*
Host: localhost
Connection: Keep-Alive
という内容でした。で、プロトコルを HTTP/1.1 に切り替えるか、
または強制的に HTTP/1.1 と申請してリクエストすることはできますか？
curl使ってみるとか
>>961 どーせPerl使うんならHTML::TokeParserとかその辺のライブラリ使えばいいのに。
高速ではないけどそれなりに便利だよ。
964 ：
名無しさん＠お腹いっぱい。 ：2005/11/28(月) 22:50:25
次スレどうしますか？
次
頼みcom
>>980 今度のスレタイは↓こうしてくれ
「連番のＨ画像/動画を一気にダウンロードする」
これは言わない約束なのかもしれんが
じゃあ
てか連番ている？
ネタ出つくしたみたいだし、
最近動画落とすのにパスワードが必要だったりするので
975 ：
名無しさん＠お腹いっぱい。 ：2005/12/07(水) 08:43:36
977 ：
FM ：2005/12/18(日) 21:28:53
>>952 ここまでスレが進んでるのにまとめにcurlが載ってないのは信じられない
979 ：
名無しさん＠お腹いっぱい。 ：2005/12/21(水) 03:21:09
>>977 レスありがとうございます
私はlunascapeというタブブラウザを使っていてそれで画像のurlを抜き取り
連続ダウンローダで連番のを落としてみたのですが見てみると画像情報がなくすべて見れないファイルでしたorz
jpegファイルなのに見れないんですよね。。
ちなみに私が試したのはドラ●もんで
ttp://comic104でしたができませんでした 。。
噂によるとダウンロードできないようにしてるサーバーとかあるようです.....(´･ω･｀)
980 ：
名無しさん＠お腹いっぱい。 ：2005/12/21(水) 09:33:01
どざ氏ね
ダインロードってなんかかっこええな
スキルでなく、クンフーの問題
984 ：
名無しさん＠お腹いっぱい。 ：2005/12/22(木) 03:59:39
>>981 ホントですか･･･(ﾟДﾟ)一体何が原因なんでしょうか････
私もダウンロード自体はできてるのですがフォルダにダウンロードされた
画像ファイルを見てみると表示されませんorz ソフトやURLなどいろいろ確認しましたが。。orz
今は結局freemacroでダウソしてるんですが時間かかりまくりんぐ･･･orz
985 ：
名無しさん＠お腹いっぱい。 ：2005/12/24(土) 10:06:45
>>984 ヒント：連番ダウンローダはrefereを使ってくれない。
ここがunix板だと気づいていないんじゃないのか。
来年の１月１０日で５周年だな
今まで誰も出していないが，emacs 上でウェブブラウザ(w3m とか)を走らせて，
>>990 具体的に書かないのは宗教上の問題かなんか？
キーボードマクロの手順を具体的に書くの?w
インタラクティブってアホじゃありません？
(ﾟдﾟ)ｳﾒｰ
(ﾟдﾟ)ｳﾒｰ
(ﾟдﾟ)ｳﾒｰ
まんこ
(ﾟдﾟ)ｳﾒｰ
(ﾟдﾟ)ｳﾒｰ
1001 ：
１００１ ：
Over 1000 Thread このスレッドは１０００を超えました。
![http://xxx.xxx.com/eroero/[01-25].jpg](http://xxx.xxx.com/eroero/[01-25].jpg){kind=link}
![http://xxx.xxx.com/eroero2/[26-50].jpg](http://xxx.xxx.com/eroero2/[26-50].jpg){kind=link}
![http://www.eroero.uhiuhi.com/{cyapa,ozeu,hitoduma}/00[0-9].jpg](http://www.eroero.uhiuhi.com/{cyapa,ozeu,hitoduma}/00[0-9].jpg){kind=link}
![http://aurelie.no-ip.info/~mangahentaipro/Hentai/Box/images/[001-196].jpg](http://aurelie.no-ip.info/~mangahentaipro/Hentai/Box/images/[001-196].jpg){kind=link}
![http://loface.com/pic.php?img=kakyusei[001-879].jpg&pic=kakyu2](http://loface.com/pic.php?img=kakyusei[001-879].jpg&pic=kakyu2){kind=link}
![http://www.unko.jp/~chinko/[000-026].jpg](http://www.unko.jp/~chinko/[000-026].jpg){kind=link}
![http://www.manco.jp/anal/gay[00-26].jpg](http://www.manco.jp/anal/gay[00-26].jpg){kind=link}