連番のH画像を一気にダウンロードする

このエントリーをはてなブックマークに追加
1たのも〜
最近、PGFをコレクション始めたのだが、httpで連番のファイルを一気にダウンロードする
ソフトやスクリプトがあれば教えてけれ。
2名無しさん@お腹いっぱい。:2001/01/10(水) 15:11
古いがhttpdownとかで落とせば?(もっといいのがあるだろう)
連番はshスクリプトとかでファイル名生成プログラム作ればいいじゃん

関係ないがnvってゆーregetできるツールはどんなカンジ?
3名無しさん@お腹いっぱい。:2001/01/10(水) 15:12
H画像じゃないけど、連番のファイルのダウンロードなら
perlでURLリスト作ってwget -i url.listでやってるが。
4名無しさん@お腹いっぱい。:2001/01/10(水) 15:12
自分でつくれよ(w
おれはいっつもperlスクリプトでURLリストをつくって
wget に食わせます
54:2001/01/10(水) 15:13
3とかぶった(w
63:2001/01/10(水) 15:14
外出鬱氏。
73:2001/01/10(水) 15:17
みんな似たようなことやってるなー。
8名無しさん@お腹いっぱい。:2001/01/10(水) 15:24
zshとwgetをあわせればURLリストはコマンドラインで簡単に
生成できる。
9名無しさん@お腹いっぱい。:2001/01/10(水) 15:35
でも windows だと、この手のことするのにすんげー苦労しない?
波乗とか色々落して見たり。
#俺は teleport pro だったけど
10名無しさん@お腹いっぱい。:2001/01/10(水) 15:57
zsh を使えば
% wget http://www.hoge.he.jp/hoge/ero{001..100}.jpg
ってやるだけ

#zshに乗りかえろう
11名無しさん@お腹いっぱい。:2001/01/10(水) 16:15
>>10
ほう。何か不思議。どうなってんの?
121:2001/01/10(水) 16:33
>3, 4様
当方、厨房ユーザーゆえ、後学のため、
そのPerlスクリプトの見本を教えてくだされ。
13???????????????B:2001/01/10(水) 17:05
perl -e 'while ($i < 100) {printf("%s%03d%s", "http://www.hoge.he.jp/hoge/ero", $i++, ".jpg\n");}'

まぁ、きれいじゃないが機能するよ。
んー、tcsh だけど移行しようかなぁ・・・。
14???????????????B:2001/01/10(水) 17:07
>>10
それって 256文字 (だっけ?)の制限ないのー?
よく xargs つかうけど。
15???????????????B:2001/01/10(水) 17:19
あ、言い忘れたけど、13 のあとに
| xargs wget
ってやってね。
んじゃ、なんどもごめん
161:2001/01/10(水) 17:42
>13さんとりいそぎ、さんくすです
17名無しさん@お腹いっぱい。:2001/01/10(水) 17:53

FreeBSD なら jot,linux なら seq を使えば,連番を生成してく
れる。これを使って foreach ループを回せば,tcsh でも問題無し。


foreach i (`jot -w '%02d' 10 1`)
fetch http://eroero.com/erohoge$i.jpg
end

詳しくは man jot or info seq。
18not 3,4:2001/01/10(水) 18:04
連番じゃない場合は
$file='hoge';
$cmd = 'wget';
open (_F,$file);
$proc = 0;
$max = 10;
while (<_F>)
{
if ($proc > $max)
{
wait;
$proc--;
}
unless (fork)
{
exec("$cmd $_ ");
}
else
{
$proc++;
}
}
while($proc--) {wait;}
close _F;
194:2001/01/10(水) 20:49
ほれ。>>1

#!/usr/local/bin/perl
#
# countupper mainly for URL generation:-)
#
$Help=<<'EOF';
countup: カウントアップするのだ! 000 001 002 ... バージョン

Usage: countup [end]
countup [start] [end]
countup [start] [end] [offset]
EOF

if ($#ARGV == 0) {
($start,$end,$offset)=(0,@ARGV,1);
} elsif ($#ARGV == 1) {
($start,$end,$offset)=(@ARGV,1);
} elsif ($#ARGV == 2) {
($start,$end,$offset)=(@ARGV);
} else {
print $Help and exit;
}
for ($i=$start;$i<=$end;$i+=$offset){
printf "%3.3d\n",$i;
}


あとは煮るなり焼くなりしてちょうだい。
countup という名前で保存して chmod 755 して
bash上から
for x in `countup 100 120 2`; do wget http://foo.com/~bar/$x.jpg; done
とかね。

zshも便利そうだねぇ。
201:2001/01/11(木) 01:47
>17=18,4さんさん
ありがとうございました。いろいろ試してみたいと思います。
21名無しさん@お腹いっぱい。:2001/01/11(木) 04:41
bash$ cat ~/script/fromto
#!/usr/bin/perl

if (@ARGV != 3) {
print STDERR "usage: fromto FORMAT FROM TO\n";
exit 1;
}

$fmt=$ARGV[0]."\n";
$from=$ARGV[1];
$to=$ARGV[2];
for ($i=$from;$i<=$to;$i++) {
printf $fmt, $i;
}
bash$ fromto "http://www.aaa.bbb/%03d.jpg" 1 50 >url
bash$ wget -i url
22名無しさん@お腹いっぱい。:2001/01/11(木) 05:30
エロパワー恐るべし(藁
23名無しさん@お腹いっぱい。:2001/01/11(木) 09:22
プログラミングの基本だよね, なんつーか.
プログラミング経験の無い人にはまず sh スクリプトから俺はすすめたいね.
毎日の作業と密着してて課題が思いつきやすいし.

エロくてもいい. たくましく育って欲しい

24???????????????B:2001/01/11(木) 13:45
zshが入ってるのなら数列生成は楽だよ。

#!/usr/bin/zsh
url=$*
for val in {0..255}
do
wget ${url}${val}.jpg
done
25名無しさん@お腹いっぱい。:2001/01/11(木) 13:49
>>24
ださ。>>10をみろよ。
2624:2001/01/11(木) 13:54
>>25

ガーソ
外出出汁脳
27名無しさん@お腹いっぱい。:2001/01/11(木) 14:17
そうだね、cui で使ってると、日常の作業でだるい所を
ちょっとシェルスクリプトくんでってできるからね・・・
windows の wsh って、その点でどうなのかな?
簡単に組めるのかな?
28bash:2001/01/11(木) 14:23
i=1; while test $i -le 350; do printf "http://morning.excelland.com/other/%03d.jpg\n" $i; i=$(($i+1)); done > list
wget -i list

てのはダメ?
29反則技:2001/01/11(木) 16:01
vectorでおとしてくる。
#windows用だったりして
30名無しさん@お腹いっぱい。:2001/01/11(木) 16:12
>>27
慣れももちろんあるけど、まずCreateObject()してobject生成してから
このメソッド呼んで〜あのメソッドに渡して〜とかだから、shell script
ほど手軽な感じではないなぁ(少なくとも俺は)。

そもそも呼び出せるオブジェクト類のヘルプがどこにあるんだかわからん。
31名無しさん@お腹いっぱい。:2001/01/11(木) 17:04
>>22
うーむ。科学の発展はエロと共にあるのです。
インターネットの普及もエロがあればこそっ!!
32これはどうよ:2001/01/11(木) 21:07
1です。
13さんのパールスクリプトをお手本にして、徹夜で対話式連番作成パールスクリプトを作ってみました。
初めてのスクリプトです。お手柔らかにお願いします。

#!/usr/bin/perl
print "What is URL? (Default=http://www.hoge.ac.jp/img/)
http://";
$host = <STDIN>;
if ($host eq "\n") {
$host = "www.hoge.ac.jp/img/";
} else {
chomp($host);
}
print "What is filename? ";
$name = <STDIN>;
chomp($name);
print "What is file type? (default=jpg) ";
$typ = <STDIN>;
if ($typ eq "\n") {
$typ = "jpg";
} else {
chomp($typ);}
print "What is first number? (default=1) ";
$i = <STDIN>;
if ($i eq "\n") {
$i = 1;
} else {
chomp($i);}
print "What is last number? (default=52)" ;
$m = <STDIN>;
if ($m eq "\n") {
$m = 52;
} else {
chomp($m);}
open(FILE, ">list");
while ($i < $m+1) {
printf(FILE "%s%s%s%02d%s%s%s", "http://", $host, $name, $i++, ".", $typ, "\n");
}
close(FILE);
33名無しさん@お腹いっぱい。:2001/01/12(金) 01:15
>>32
ファイル名の数字が 1-52形式 ならいいが、01-52形式 だったら駄目だな。
34うひひ:2001/01/12(金) 08:58
>>33
1-52とは裏本だね(うひひ
なぜすべての本が52P構成かアンダーグラウンドの割にすごい結束だ
任意の業界団体でもあるのではないかと知人の出版社社長にたずねたこ
とがある。
答えは8枚単位で原盤をおこすので8の倍数が一番無駄がないんですと
なら48?
表紙は紙質が変わるので別扱いだそうで48+4の52Pなんだそうです。

ちなみに広告や能書きのたぐいを一切載せずに表紙まで使って純粋な写真集
に仕上がっているアノ本は究極の本ではないだろうか
35名無しさん@お腹いっぱい。:2001/01/12(金) 10:04
>>33
じゃあ、こうしよう。

print "What is first number? (default=1) ";
$i = <STDIN>;

if($i =~ /^0/){
$flag=1;
}

if ($i eq "\n") {
$i = 1;
} else {
chomp($i);}
print "What is last number? (default=52)" ;
$m = <STDIN>;
if ($m eq "\n") {
$m = 52;
} else {
chomp($m);}
open(FILE, ">list");
while ($i < $m+1) {

$num = $i;
if($flag){
$num =~ s/^(.)$/0$1/;
}

printf(FILE "%s%s%s%s%s%s%s", "http://", $host, $name, $num, ".", $typ, "\n");

$i++;

}
close(FILE);
3635:2001/01/12(金) 10:07
てゆーか
wgetだけで出来るだろ。

recursive指定してdepthを1にして、拡張子はjpgのみ。
多少ゴミも拾うかもしれんが、こっちの方が楽じゃない?
37名無しさん@お腹いっぱい。:2001/01/12(金) 12:49
世の中 recursive ではできないこともあるのさ、ベイベー。
38名無しさん@お腹いっぱい。:2001/01/12(金) 17:50
たとえば俺が自慰時に愛用している「桃色美少女ギャラリー」
http://www.jp-sex.com/sousyu.html)は画像乱れ打ち系ソフト
では連続ゲットできないようちょっとした仕掛けがしてあって、こ
れは perl やら ruby やらでスパッと書いてやらねば駄目なのだ。
39名無しさん@お腹いっぱい。:2001/01/12(金) 21:07
エロじゃないけど、日付が入ったファイル名の場合はどうしてる?
diary20010112.htmlみたいなのを根こそぎゲットするときとか。
40名無しさん@お腹いっぱい。:2001/01/13(土) 00:35
>>38
そのスクリプトちょーだい (はーと
41名無しさん@お腹いっぱい。:2001/01/13(土) 01:54
>>39

日付関係の便利なライブラリがある言語を使えばいいと思う
(RubyとかJavaとか)が、即席でCでジェネレータを書いてみた。
ただし仕様は限りなく手抜き。
日付フォーマット変えたいときはPRINTFMTをstrftime(3)で
指定可能な適当なものに変更してくれ。

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <time.h>

#define PRINTFMT "%Y%m%d"

int gendate(const char *from, const char *to)
{
  const char *fmt = "%d%c%d%c%d";
  int i, y, m, d;
  char junk[2];
  struct tm local;
  time_t secs[2];
  char buff[24];
  const char *p;

  memset(&local, 0, sizeof(local));

  for (i = 0; i < 2; ++i) {
    p = i ? to : from;
    if (sscanf(p, fmt, &y, &junk[0], &m, &junk[1], &d) != 5) {
      fprintf(stderr, "Invalid date format: %s\n", p);
      return 2;
    }
    local.tm_year = y - 1900;  /* XXX */
    local.tm_mon = m - 1;
    local.tm_mday = d;
    secs[i] = mktime(&local);
    if (secs[i] == -1) {
      fprintf(stderr, "Can't handle date: %s\n", p);
      return 2;
    }
  }

  while (difftime(secs[0], secs[1]) <= 0) {
    strftime(buff, sizeof buff, PRINTFMT, localtime(&secs[0]));
    puts(buff);
    secs[0] += 60 * 60 * 24;
  }
  return 0;
}

int main(int argc, char **argv)
{
  if (argc < 3) {
    fprintf(stderr, "usage: %s from to\n", argv[0]);
    return 1;
  }
  return gendate(argv[1], argv[2]);
}

42名無しさん@お腹いっぱい。:2001/01/13(土) 02:02
>>38
たしかに、しゃらくさい HTML をしてるね。
43名無しさん@お腹いっぱい。:2001/01/13(土) 03:23
>>41
おおすごい。cで来ましたか。
なんか妙に有用なスレになってるな、ここ。(藁
44名無しさん@お腹いっぱい。:2001/01/13(土) 14:04
名スレage
45名無しさん@お腹いっぱい。:2001/01/14(日) 01:53
ところでPGFってよく聞くんですが、なんですか? URLとか教えてください。
って板違いか...

私は emacs 上で、M-% とか矩形カットアンドペースト(C-x r k、C-x r y)とか
使いまくってリストを作り、reget に喰わせてます。
スクリプトなりemacs上で、対話に答えるとリストのテキストを吐いてくれるような
物を作ったら便利だなと思っているんだけど、結局やっていない。
46:2001/01/14(日) 02:41
皆様のご協力により非常に便利なスクリプトを手にすることができ悦びの悲鳴を上げております。
スクリプトの勉強との両立ができてうれしい限りです。引き続き、
関係者・御賢者の方々には今後ともUNIXの「パーソナルユース」化
にご協力いただければと思います。
取り急ぎお礼まで。

>45
PGFについては下記URLをご覧ください。
http://members.tripod.com/pgf_daisuki
47???????????????B:2001/01/14(日) 03:36
>>45
> emacs 上で、M-% とか矩形カットアンドペースト(C-x r k、C-x r y)

スレ違い失礼。C-w と ESC-w があるように、矩形領域を
kill ring に保存するだけ、のってないかなぁ。

# C-x r k して undo はちょっとヤダ。
48名無しさん@お腹いっぱい。:2001/01/14(日) 04:15
>>47
register にコピーすればいいじゃん。
C-x r C-h してみればいろいろでてくるよ。
C-x r r とか C-x r s とか
49名無しさん@お腹いっぱい。:2001/01/14(日) 09:39
>>38
これってリファラあたりをみてんのかな。
鬱陶しいね。
50名無しさん@お腹いっぱい。:2001/01/14(日) 13:43
Referrer見てるだけならまだかわいいもんさ。
wgetだってReferrer設定できるし。
スポンサーをクリックして飛んだ先で画像URLが表示されるよーな
やつはかな〜り鬱陶しい。
51名無しさん@お腹いっぱい。:2001/01/14(日) 14:14
>>46
Linuxのねすけで見られないよ。
作った奴はマカーだね。
52名無しさん@お腹いっぱい。:2001/01/14(日) 14:40
>51
それじゃこっちを見てくれ。

http://www.mainichi.co.jp/digital/netfile/jamjam/9902/16-3.html

流出しているらしい。
53名無しさん@お腹いっぱい。:2001/01/14(日) 15:29
>>51
>作った奴はマカーだね。

FrontPage使ってるし、漢字コードはSJIS。
おもきしWinnerだ。ヴォケ。
54名無しさん@お腹いっぱい。:2001/01/14(日) 22:59
Winner WInner WINner
55>>51:2001/01/15(月) 01:22
おらのねすけではみれたぞ
56名無しさん@お腹いっぱい。:2001/01/15(月) 01:39
wget でクッキー食べれますか?
57>56:2001/01/15(月) 02:45
食えるわけねぇだろ。ハゲが。
58名無しさん@お腹いっぱい。:2001/01/15(月) 03:17
>>56
食べれるよ。cookie なら。

>>57
お前ヴァカ (藁
5958:2001/01/15(月) 03:19
ヲレがヴァカだ... w3m と wget をカンチガイ...
ウツダシノウ

>>57
ごめんちゃい
60教えて君56:2001/01/15(月) 05:29
>>58
ありがとう。
で、どやって食べるんでしょうか?(^^;
infoをcookieでgrepしてもなんもでてこないし…
61名無しさん:2001/01/15(月) 05:54
かわいいね。
残念ながら答えの方は俺も知らないんだけd。

62名無しさん@お腹いっぱい。:2001/01/15(月) 09:30
Lynxなら喰えるよ。
63名無しさん@お腹いっぱい。:2001/01/22(月) 06:23
age
64名無しさん@お腹いっぱい。:2001/01/22(月) 07:03
wget ではスペースを含んだ URL や --user-agent を
どうやって指定するのでしょうか?
'や"で囲んでもできませんでした)
65名無しさん@お腹いっぱい。:2001/01/22(月) 07:38
スペースのある url って存在するのかどうかはしらんが?
%20 ね。
66名無しさん@お腹いっぱい。:2001/01/22(月) 15:41
mozilla06とかだとURL中の改行も送れる。
674きね8:2001/01/23(火) 23:30
K&R 改訂Cエログラミング
681:2001/02/05(月) 02:51
ようやく賢人の方のアドバイスで素晴らしいコレクションとなりつつあるが、
wgetが美人絵ファイルを取ってきてくれない場合があるのだけれど、どうした
ものだろう。

例えば、
ttp://www.sexa.com/kazea/dayc/s000.jpg

wgetに任せていると綺麗なおねえちゃんの写真じゃなくて、変なhtmlファイル
を取ってくる。。。。

どうか賢人の方々のアドバイスをお願いします。
69名無しさん@お腹いっぱい。:2001/02/05(月) 03:46
>>1
ブラウザにそのアドレス打ち込んでも
画像表示されないぞ。
gtm や reget もどき使えよ。
70?????????????¨???¢?????¢?B:2001/02/05(月) 03:56
.wgetrcに
header = Referer: http://www.sexa.com/kazea/dayc/
を書いとけばOKだ。
711:2001/02/05(月) 22:47
>70さん

ありがたいです。ようやく美女にgetするができました。

ところで、その呪文はどういう意味があるのですか?
後学のために教えてくれませんか。

>69
一旦、ここを経由してくれ。
http://www.sexa.com/kazea/dayc/day.htm
7269:2001/02/05(月) 23:15
>>1
見れましたが、残念ながら私の好みではありませんでした。

Refer ってのはどこからのアクセスかチェックしている。
Refer以外からのアクセスを禁止している。
68や69で画像を直接見れなかったのが、正にそれです。
んでもって、オプションでReferを設定すると
見れるようになります。

通常Referが設定されているのは
アダルトページやWareズといったページです。
要するに直リンク禁止です。
わかりました?
731:2001/02/05(月) 23:28
>シックスナイン様

わかり易い解説、多謝です。

お礼代わりに、以下のURLを出発点にしてお好みのPGF美人を探りあててください。

ttp://www.am25.com/sojou/
74名無しさん@お腹いっぱい。:2001/02/06(火) 00:55
getしたエロ画像を保存するのに最適と思われるディレクトリ名
75名無しさん@お腹いっぱい。:2001/02/06(火) 01:14
xxx
76名無しさん@お腹いっぱい。:2001/02/06(火) 07:19
collection
ero
77名無しさん@お腹いっぱい。:2001/02/06(火) 11:33
誰か wget を flushget みたく
ファイルを分割して持ってくるようにした人いないですか?
あったらすっげぇよさそう。
78名無しさん@お腹いっぱい。:2001/02/06(火) 23:53
>>74
...
79名無しさん@お腹いっぱい。:2001/02/07(水) 04:18
>>74
/dev/rimage あたりかがみつかりにくくてよろしいかと。
80名無しさん@お腹いっぱい。:2001/02/07(水) 04:46
ero.img
81名無しさん@お腹いっぱい。:2001/02/07(水) 12:47
>>74
/mnt
普段はなんかマウントしとけ
82名無しさん@お腹いっぱい。:2001/02/07(水) 13:24
>>81
賢い。
83名無しさん@お腹いっぱい。:2001/02/10(土) 02:49
./.xxx
84名無しさん@お腹いっぱい。:2001/02/14(水) 13:10
エロ画像閲覧に使えるソフトやスクリプトがあれば教えてくれ。
EEって、スライドショー機能は付いていなかったよね?
85名無しさん@お腹いっぱい。:2001/02/14(水) 14:48
>>84
qiv はどうか
chbg を Window モードで動かすのもよいだろう
86名無しさん@お腹いっぱい。:2001/02/14(水) 23:38
>>78
一瞬ゴルゴかと思った。
mkdirしてみてなるほど。
87名無しさん@お腹いっぱい。:2001/02/15(木) 01:00
>>84
GQviewも試してみ。
88名無しさん@お腹いっぱい:2001/02/15(木) 14:51
mkdir  <-- 全角スペースn個
ls しても出ん、正に透明、どうよ?
89sage:2001/02/15(木) 19:40
>>88
$ls -F $B$5$l$k$H(B/($B%9%i%C%7%e(B)$B$,I=<($5$l$F$7$^$$$^$9!#(B
$B99$K%j%9%H$N@hF,$KI=<($5$l$k$N$G$P$l$P$l$G$9!#(B
90名無しさん@お腹いっぱい。:2001/02/15(木) 21:21
肛門マーク * とか。

# mkdir \*
91名無しさん@お腹いっぱい。:2001/02/17(土) 17:20
まずばれないよ
cd /usr/sbin
rm reboot
mkdir reboot
chmod 700 reboot
92名無しさん@お腹いっぱい。:2001/02/20(火) 20:12
lajfoauf:wp
93名無しさん:2001/02/20(火) 21:37
どんなセキュリティーねたよりも何よりも人を必死にさせるエロねたって一体・・・
94PGFコンプリート記念age:2001/02/27(火) 02:42
2chの皆様のご協力により、標記のようにPGF全168シリーズを無事コンプリートすることができました。

ご協力頂いた無数の2chの賢者の方々に御礼申し上げます。
95名無しさん@お腹いっぱい。:2001/02/27(火) 02:59
エロ画像のフルダウンロードですか。好きですね。

実は、自動backup機能がある、RAID5 NFSファイルサーバにエロ画像
1Gぐらいためてたんだが、ファイル消してもbackupフォルダに残って
るんだよ。backupはreadonlyで消したいんだが消せないんだ。管理者
に見つかったらどうするべ?

96>94:2001/02/27(火) 14:48
アドレス教えて
97名無しさん@お腹いっぱい。:2001/02/27(火) 16:41
>>95
管理者を抱きこむ
管理者を殺す
クラックする

…識者のレス待ちですかなぁ。
98>96:2001/02/27(火) 16:51
私は下記URLのリンクなどをたどって、かき集めました。
ttp://www.jansweb.dk/jp/pgf/series.asp
ttp://pgf.fucu.com/pgf/index.htm

このスレ立ち上げたのが1月10となっているから苦節50日ですかね。
99名無しさん@お腹いっぱい。:2001/02/27(火) 17:07
Winで連番リスト作るのにエクセル使ってるよ。
10096:2001/02/27(火) 18:38
>98
あり♪

>99
Winでいいならiriaが一発でやってくれる。
ワレザーが作った文化の恩恵にあずかれます。
10199@お腹いっぱい。:2001/02/28(水) 11:30
>>100
Iriaで展開できない名前の時のみ使ってるですよ。
102100:2001/02/28(水) 19:08
>101
そんなのあるの?
103101:2001/02/28(水) 21:49
盂蘭盆サイトとか…、Iriaのお約束を知らない土人詩サイトとか…。
104名無しさん@お腹いっぱい。:2001/04/20(金) 00:23
あげ
105名無しさん@お腹いっぱい。:2001/04/20(金) 00:27
14歳です。長さ太さこの年齢でどうですか?評価お願いします。

http://216.101.214.102/souko/pic_post3/image/1172.jpg


106名無しさん@お腹いっぱい。:2001/04/20(金) 06:15
>>105
まあ普通ってとこだろう。
しかし毛がずいぶんとひ弱な感じだな。
つかお前のふとももには毛が生えてないのか?
107名無しさん@お腹いっぱい。:2001/04/20(金) 16:09
gtmを使う私は軟弱もの。
toolメニューに連番機能があります。numeric downloadね。

http://gtm.sourceforge.net/
108名無しさん@お腹いっぱい。:2001/04/22(日) 00:05
aria 使えば?
109名無しさん@Emacs:2001/04/22(日) 23:06
wgetで
http://www.lares.dti.ne.jp/~lupan/pk/comp_angle.html
このページうまく落とすことが出来ますか?
なぜかimage/comp_angle1.jpgからimage/comp_angle6.jpgがうまく落とせないのですけど・・・
110名無しさん@お腹いっぱい。:2001/04/22(日) 23:58
>>109
# wget http://www.lares.dti.ne.jp/~lupan/pk/image/comp_angle1.jpg
--23:55:15-- http://www.lares.dti.ne.jp/%7Elupan/pk/image/comp_angle1.jpg
=> `comp_angle1.jpg'
www.lares.dti.ne.jp:80 に接続しています... 接続しました!
HTTP による接続要求を送信しました、応答を待っています... 200 OK
長さ: 18,463 [image/jpeg]

0K -> .......... ........ [100%]

23:55:19 (6.53 KB/s) - `comp_angle1.jpg' を保存しました [18463/18463]
111名無しさん@Emacs:2001/04/23(月) 00:08
>>110
いやいや直接jpgをurlに指定するのでは無くたとえば
wget -r -l2 http://www.lares.dti.ne.jp/~lupan/pk/comp_angle.html
とかでjpgファイルも一緒に落としてくれるとおもったんだけど・・・
112名無しさん@お腹いっぱい。:2001/04/23(月) 20:01
113名無しさん@Emacs:2001/04/23(月) 23:38
いやいや
wget -r -l1 http://www.lares.dti.ne.jp/~lupan/pk/comp_angle.html
wget -r -l1 http://www.lares.dti.ne.jp/~lupan/pk/photoexpo99.html
この2つで
photoexpo99.htmlはjpgファイルを落としてくれるけど
comp_angle.htmlはjpgファイルを落としてくれないのです.--referer=設定してもだめ
<IMG SRC="...">のタグは落としてくれるけど<IMAGE SRC="...">のタグは落とせないのでしょうか?

もしかして私はとんでもない勘違いをしてる?
114名無しさん@お腹いっぱい。:2001/04/24(火) 09:21
>>113
<IMAGE> ってなんだ?
115名無しさん@お腹いっぱい。:2001/04/24(火) 10:07
IMGSRC はね、キャッスル.jp.FreeBSD.ORGがあるデザイン会社
ですね。おとしたらMLが配送されなくてこまります。
116名無しさん@Emacs:2001/04/24(火) 17:10
結局html.cのhtmlfindurl()に{ "image", "src" }を追加する事により
解決した.
117名無しさん@お腹いっぱい。:2001/05/04(金) 12:25
挙げ
118なまえをいれてください:2001/05/04(金) 23:09
普通にcshで
wget http.../ecchi{0,1,2,3,4,5,6,7,8,9}{0,1,2,3,4,5,6,7,8,9}.jpg
でできるんだけど…。
うちのcshってふつうじゃないんだろか???
たまにはこんなこともする。
echo wget http.../ecchi{"{0,2,4,6,8}","{1,3,5,7,9}"}.jpg\ \& | csh
極悪?
119もしもの為の名無しさん:2001/05/07(月) 10:38
【1】何分だいぶ昔に作ったものをまだ使っていて
可変数引数を使っていないあたりが当時の厨房ぶりの象徴ですが、
printf() の引数フォーマットをそのまま使えていろいろ使えます。それを
(1)例えば【2】みたいなんで落としてネスケで開いてページを編集→保存とか、
(2)同様に wget を使ったスクリプトを吐き出して勝手に落としてもらうか
と、そんな感じで私はやっておりますが。
※to ってコマンドが【1】をコンパイルしたもの。

【1】
#include <stdio.h>
#include <stdlib.h>
#include <string.h>

main(argc,argv)
int argc;
char *argv[];
{
int i,start,end,tmp,st;
char form[1024];

if(argc < 3){
printf("Usage: %s start end [\"format\"]\n",argv[0]);
exit(-1);
}

start = atoi(argv[1]);
end = atoi(argv[2]);
if(start < end)
st = 1;
else
st = -1;

if(argc > 3)
sprintf(form,"%s\n",argv[3]);
else
sprintf(form,"%sd\n","%");

for(i=start;i*st<=st*end;i+=st)
printf(form,i,i,i,i,i,i,i,i,i,i,i,i);

exit(0);
}

【2】
#!/bin/csh -f

foreach i (01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22)
to 1 50 '<img src="http://making001.japannudes.net/jgirl'"$i"'/%03d.jpg" width=64 heisht=48>'
end
120名無しさん@お腹いっぱい。:2001/05/07(月) 15:24
なんだかんだで perl で oneliner 書いて | wget -i - な感じだ.

121名無しさん@お腹いっぱい。:2001/05/18(金) 04:15
あげ
122名無しさん@お腹いっぱい。:2001/05/18(金) 08:21
あるディレクトリから下にあるファイルのみとってくるなんてこと、できるのかな?
先輩方、よろしくお願いします。
123名無しさん@お腹いっぱい。:2001/05/18(金) 10:45
>>122
フワナェ、簗�ヒ。、筅、、タ、、タ「、?、ネサラ、、、゙、ケ、ャ。「サ荀ホ・ア。シ・ケ。」
FreeBSD、ホports、ホニテト?・ヌ・」・?・ッ・ネ・?ーハイシ、ャペ、キ、、サ�、ホ、ソ、皃ヒ。「
alias wgetports 'wget --proxy=on --force-directories
--no-host-directories --directory-prefix=. --cut-dirs=4
--passive-ftp --recursive --level=1
ftp://hogehoge/path/to/ports/\!*'
、?.cshrc、ヒス、、ニ、゙、ケ。」シツコン、マ1ケヤ、ヌ、ケ。」。ハコ?スュ、゙、キ、ソ。ヒ
、ウ、?、ヌ。「~/ports、ネ、ォ、ヌ。「wgetports shells/tcsh、ネ、ォ、キ、゙、ケ。」
、「、゙、熙ウ、ホ・ケ・?(。ヨ」ネイ霖?。ラ)、ネエリキク、ハ、、、ホ、ォ、ハ。ゥ
124名無しさん@お腹いっぱい。:2001/05/18(金) 11:35
>>122
wgetで--no-parentを指定すれ。
125名無しさん@お腹いっぱい。:2001/05/19(土) 15:08
象を一気にダウンロード
126名無しさん@お腹いっぱい。:2001/05/20(日) 13:19
面倒くさいので
wget -r http://www.ero.com なんですけど・・・
56kでも2,3時間ほっとけばそれなりおちてくるし
127名無しさん@お腹いっぱい。:2001/05/20(日) 20:02
>>126
ちったー、設定しろ
128名無しさん@お腹いっぱい。:2001/05/26(土) 05:10
age
129名無しさん@お腹いっぱい。:2001/06/15(金) 16:24
最近、どうよ。
130名無しさん@お腹いっぱい。:2001/07/03(火) 01:35
ICHでH画像全部消えた。
まあ、俺の心の中にバッファされてるが。
131名無しさん@お腹いっぱい。:2001/07/03(火) 04:31
ageないの?
132名無しさん@そうだドライブへ行こう:2001/07/03(火) 04:48
perl の magical increment をつかえ。
133厨房:2001/07/03(火) 10:40
#!/bin/sh
b=10
c=1
d=Z

while test $b -lt 21
do
wget http://210.188.252.22/%7Ezenigata/lsrNpie/seifuku3/seifuku3$d/0$b.j
pg
b=`expr $b + 1`
done
while test $c -lt 10
do
wget http://210.188.252.22/%7Ezenigata/lsrNpie/seifuku3/seifuku3$d/00$c.
jpg
c=`expr $c + 1`
done
134名無しさん@お腹いっぱい。:2001/07/05(木) 13:55
つーか、特定のリンクサイトのリンク先の画像を一気に取って来る方法で、
かつ、余分な画像をはじく意味でも、サイズがある一定サイズ以上のもの
を取って来て、なおかつ、連番で保存ってどおよ。
135名無しさん@お腹いっぱい。:2001/07/06(金) 21:31
wgetを使ってこのようにCGIでファイルがリンクされている場合はどうすればいいのでしょうか?
http://www.classicalarchives.com/bach.html

上のサイト、クラシックのMidiが作曲者ごとにたくさんあって好き。
136名無しさん@お腹いっぱい。:2001/07/07(土) 19:28
なんかwget1.7ってmakeが失敗するんだけどなんでかな。
ていうかgnuのサイトからとってきたソース、gzipがエラー吐く・・・。
おとなしく1.6を使ってろ、ってことかな。
137名無しさん@Emacs:2001/07/08(日) 00:49
wget1.7おれはmake出来たよ

でも-kオプションってうまく働いてない気がする.
ついでにSSLもうまくいかん.
138名無しさん@お腹いっぱい。:2001/07/10(火) 00:48
とりあえずこの話題に関しては
まずこのサイトを見ないと始まらないと
思われ。
ツールもそろってるし
http://members.tripod.co.jp/casinoA1/
139名無しさん@お腹いっぱい。:2001/08/21(火) 12:32
age
140名無しさん@お腹いっぱい。:2001/08/22(水) 02:14
bashでときどき
for i in `seq -w 0 52`; do wget http://..../aaa$i.jpg; done
とか
while read i; do wget $i; done
とかやるね。後者はMozillaからURLコピーしまくる。

こういう感じの使い捨てスクリプト書いてたけど
あんまり使わなかった。標準入力からURLを入力するだけで
000〜そのURLの番号まで全取得してくれるはずなんだけど。

#!/bin/bash
while read url; do
if [ -z "$url" ]; then next; fi
eval 'url=(' `echo $url|sed 's/\(.*\/[^0-9]*\)\([0-9]*\).jpg/\1 \2/'` ')'
for i in `seq -w 0 ${url[1]}`; do
wget ${url[0]}$i.jpg
done
done

GNU/Linuxシステムじゃないと動かんカモ。
141名無しさん@お腹いっぱい。:2001/08/22(水) 12:34

集めたあとの整理はどうしてるよ?

wgetとかでとってくると
www9.smutserver.com/teen/sex1000/tgp/*.jpg
のようにディレクトリが深くていやーん。

どうでもいいけど。
142名無しさん@お腹いっぱい。:2001/08/23(木) 04:24
$ find . -type f -name \*.jpg -exec mv {} . \;
$ rm -r */

とでもしてカレントディレクトリに移せば?
143名無しさん@お腹いっぱい。:2001/08/23(木) 05:28
>>141
-nd つかえば?
-nHでも一つ減る。
144名無しさん@お腹いっぱい。:2001/08/23(木) 10:01
ネタはくだらないくせに妙に為になるよ、このスレ(藁
145名無しさん@お腹いっぱい。:2001/08/23(木) 13:45
>>141
俺は URL そのままにしてるよ。
利点は
* 連番系をあとで補間できる
* サイトを割り出せる
* 2ch で紹介しやすい :-)
* そもそもユニークなファイル名を付けるのが面倒
146名無しさん@お腹いっぱい。:2001/08/23(木) 15:16
$ mkdir symlinks
$ find . -type f -name \*.jpg -exec ln -sf {} symlinks \;

これはどーだ?
147sage:2001/08/23(木) 15:42
sage
148名無しさん@お腹いっぱい。:2001/08/23(木) 16:33
おなにーするときはどうするんですか?

find . -name '*.jpg' | xargs xv -wait 2 -random

でいいですか? (藁
149名無しさん@お腹いっぱい。:2001/08/23(木) 17:00
>>148
こーいうときに威力を発揮するのが仮想画面だったりするのよね.
1 画面に 5 〜 6 枚, 数画面に渡り表示しておき, 画面切り替え.

1600x1200 いいぜ :D

# スレ的には失格なネタ
150名無しさん@お腹いっぱい。:2001/08/23(木) 17:13
俺はGQviewがお気に入り。
サムネイル画像を表示させておき、
最後は全画面表示にして逝く
下品でスマソ
151名無しさん@お腹いっぱい。:2001/08/24(金) 02:14
tarやzipを読めるviewerってない?
微妙にスレ違いだが、inode消費が気になる....
152名無しさん@お腹いっぱい。:2001/08/24(金) 03:07
キーボードで楽に使える viewer ないかな。
ノートPCなのでほとんどキーボードでやってるんだが、
画像表示だけは GQview で仕方なくトラックボールを
しこしこやってる。
153名無しさん@お腹いっぱい。:2001/08/24(金) 03:17
>>151
こんなのはいかが?
http://enfle.fennel.org/
154名無しさん@お腹いっぱい。:2001/08/24(金) 03:53
>>153

Susie Plug-in にも対応してるんですね
(・∀・)イイ!
155名無しさん@お腹いっぱい。:2001/08/24(金) 23:39
>>152
いまだに xv を愛用しています。快適。
156名無しさん@お腹いっぱい。:2001/08/25(土) 00:14
>>141
> 集めたあとの整理はどうしてるよ?
種類ごとにディレクトリほって、symlink してる。
めんどうだけど。

画像見ながら分類したいな。
なんかいいツールない?
Nautilus か?
157152:2001/08/25(土) 01:51
>>155
おーサンキュ。xv ってキーボードで操作できるんだ。
non-free だから今まで敬遠してたけど、使ってみよう。
158名無しさん@お腹いっぱい。:2001/08/25(土) 02:24
>>157
最初はキーボードの操作を覚えるのがちょっと大変かもしれん。
最近は良い時代になって、FLMask パッチを使う必要がほとんどなくなった。
159名無しさん@お腹いっぱい。:2001/08/25(土) 04:44
>>158
FLMaskパッチに感動したのも懐かしいなあ。
今はもう動画ばっかりだ。

関係ないけど「璃樹無」分割って単なるsplitだったんだね。
気づく前はこれだけのためにWIN立ち上げてたYO。
160名無しさん@お腹いっぱい。:2001/08/25(土) 10:11
どこだったか忘れたけど、サムネール画像上のマウスの位置を送らないと見られないサイトがあって、
HTTPでPOSTリクエストしてデータを取得するPerlスクリプトを書いたこともあったなぁ。

今では、うちに背景画像配信サーバーが立っていたりする…
161あぼーん:あぼーん
あぼーん
162tori:2001/08/25(土) 12:02
internet -router - solaris (proxy でfire Wall) - クラスCの事業所セグメント
現在事業所の計算機をグローバルアドレスにするには、Router
使っています。このNATをルーターでは無く、Solaris で行うには
どうすればいいでしょうか?
163名無しさん@お腹いっぱい。:2001/08/25(土) 12:07
>>162
H画像を落とすためにか?
164名無しさん@お腹いっぱい。:2001/08/25(土) 13:00
>>161
そのページに14個のサンプルがあるけど、そのこと?
それなら、何も考えなくても、どんな方法でも簡単に落とせるように見えるけど。
165名無しさん@Emacs:2001/08/25(土) 13:06
>>161
htmlからリンク先を抽出したいということですか?
166名無しさん@お腹いっぱい。:2001/08/25(土) 13:13
q , ,
q /( )`
q \ \___ / |
q /- _ `-/ '
q (/\/ \ \ /\
q / / | ` \
q O O ) / |
q `-^--'`< '
q (_.) _ ) /
q `.___/` /
q `-----' /
q <----. __ / __ \
q <----|====O)))==) \) /====
q <----' `--' `.__,' \
q | |
q \ / /\
q ______( (_ / \______/
q ,' ,-----' |
q `--{__________)
q
167名無しさん@お腹いっぱい。:2001/08/25(土) 13:14
.................,........,
................/(........)`
................\.\___.../.|
.............../-._..`-/..'
..............(/\/.\.\.../\
.............././...|.`....\
..............O.O...)./....|
..............`-^--'`<.....'
.............(_.).._..).../
...............`.___/`..../
................`-----'./
...<----......__./.__...\
...<----|====O)))==).\)./====
...<----'....`--'.`.__,'.\
................|........|
.................\......./......./\
............______(.(_../.\______/
.........,'..,-----'...|
.........`--{__________)
168名無しさん@お腹いっぱい。:2001/08/25(土) 13:15
...................................................,........................,
................................................/(........................)`
................................................\...\___........./...|
............................................./-..._......`-/......'
..........................................(/\/...\...\........./\
........................................../.../.........|...`............\
..........................................O...O.........).../............|
..........................................`-^--'`<...............'
.......................................(_...)......_......)........./
.............................................`...___/`............/
................................................`-----'.../
.........<----..................__.../...__.........\
.........<----|====O)))==)...\).../====
.........<----'............`--'...`...__,'...\
................................................|........................|
...................................................\...................../...................../\
....................................______(...(_....../...\______/
...........................,'......,-----'.........|
...........................`--{__________)
169名無しさん@お腹いっぱい。:2001/08/25(土) 14:32
モナーフォント無しで見られる親切設計だ。
NetBSD デーモンかな?
170名無しさん@お腹いっぱい。:2001/08/26(日) 00:58
00000000000000000000000
171161:2001/08/26(日) 01:07
>165
その通りです。
インターネットNinja(Window)らしき事を
Unix系OS上(特にperl)で実現したいのです。
可能でしょうか。


>162
あなた、
Solaris教えてスレッド 其の弐 (826)
の方へ書き込んだつもりでしょう。

私もその失敗、経験済みです。
172名無しさん@お腹いっぱい。:2001/08/26(日) 01:14
>>171
Perlとかを使えば、HTMLファイルからURLを抽出するのは単なる文字列の抽出なので、
慣れれば簡単にできますよ。この機会に正規表現とか覚えるのもいいかも。
173名無しさん@お腹いっぱい。:2001/08/26(日) 01:23
grep して sed >> list して (これを何回かやって) wget -i list
174173:2001/08/26(日) 01:24
ガガーソ。こんな書き込みでスレをageてしまうなんて初めての経験だ…
175普段は エロ系:2001/08/26(日) 01:32
凄い! 2ちゃん の危機で UNIX初めて覗いたけど なんか凄い
で PGF 一応全タイトルと WAVファイル持ってます
1さん
でも 簡単に 入手するより きっと 過程が楽しいのでしょうね
皆様 凄いわ!
176名無しさん@お腹いっぱい。:2001/08/26(日) 01:44
過程なんか楽しくねーよ。
177名無しさん@お腹いっぱい。:2001/08/26(日) 01:51
過程 "も" 楽しい。
178普段は エロ系:2001/08/26(日) 01:53
あ そうなの(^^;;
179名無しさん@お腹いっぱい。:2001/08/26(5) 29:00
「インターネットニンジャじや、一発じゃ。」
と無粋な流れを無視したコメントを残しておく。

(そして反発を買う。)  ワクワク・・・・うふ。





                                           ラブ。
180では反発:2001/08/26(5) 31:00
sed で複数 html からリスト作って wget で取得の方が遥かに早いです
181180:2001/08/26(5) 32:00
ていうか、書き込み時刻がめちゃくちゃだな
こここれは??
183名無しさん@お腹いっぱい。:2001/08/26(5) 34:00
32:00って_________?
184test:2001/08/26(5) 43:00
test
やっぱおかしいな
だめ?
test
188名無しさん@Emacs:01/08/26 09:18
自治age
189名無しさん@お腹いっぱい。:01/08/26 11:59
27 名前:名無しさん(新規) 投稿日:2001/08/26(日) 11:56 ID:9kvbOGiQ
  ◎
  ┣−-┓
  |AGE|
  ┣−-┛
  |
  |
 Λ|Λ
(・∀・)イイ!
(    )
|  つ |
(__)_)
190名無しさん@Emacs:01/08/26 13:17
perlのモジュール使ってhtmlからリンク先を抽出するのは
どうやればいいんですか?
191名無しさん@お腹いっぱい。:01/08/26 13:23
>>190
wgetでできるだろうがスカポンタン
192名無しさん@お腹いっぱい。:01/08/26 13:28
やり方はいろいろあると思うが HTML::Parser モジュールを使うと
XML でいう SAX のような感じの処理で <A HREF="XXXXX">...</A>
の XXXXX の部分を抜きだせるはず
193名無しさん@Emacs:01/08/26 13:33
>>191
wgetで出来るとは知りませんでした。調べてみます。
再帰転送のことではないですよね?
httpgetというスクリプトがあって、
それで再帰的にリンク先のファイルを取得できるみたいよ。
まあwgetでいいわけだけど。
参考にしてみれば?
195名無しさん@Emacs:01/08/26 16:38
>>194
httpget取って来て見てみました。
確かにリンクを抜き出す関数がありました。感謝です。
196 :01/09/05 22:02 ID:ssMW8tkM
197名無しさん@お腹いっぱい。:01/09/06 07:42 ID:t/5EHQk.
rtsp://hoge.hoge/stream.rm のストリーミングビデオを
ファイルに落とすのはどうすればいい?
198名無しさん@お腹いっぱい。:01/09/06 12:12 ID:RQop.hqE
>>197
http で落とせたような気がする
199名無しさん@お腹いっぱい。:01/09/16 11:54
age
正直言って、zsh と wget で大抵の事は出来るような気がする。
今までそれ以上の手間が必要な連番ダウンロードには出会った事がない。
201犬板:01/09/18 11:14
>>200

じゃぁここはどーやって落すの?
httpだとどっかあさってに吹っ飛ばされるのだが…

http://japanese.asian-house.com/ura/1999-10/Mintshower.html
>201
あきらめる。
んで、他のトコから落とす。
>201 zsh -c 'wget --referer=http://japanese.asian-house.com/ura/1999-10/ japanese.asian-house.com/ura/1999-10/1030_m[01-52].jpg'
間違えた。{01..52}ね。
refferer
206名無しさん@お腹いっぱい。:01/09/27 05:19
for i in `jot -s ' ' 30 1`; do i=`printf %03d $i`; for j in 1 2 3 4 5; do wget -nd -nH http://210.155.134.217/phpdmm/m/mdc${i}/mdc${i}jp-${j}.jpg; done ; done
ハァハァ
207名無しさん@お腹いっぱい。:01/09/27 22:36
bash$ for n in `seq -f %02g 8 12`
bash$ do
bash$ echo ero$n.jpg
bash$ done

ero08.jpg
ero09.jpg
ero10.jpg
ero11.jpg
ero12.jpg

こんなんどう?
208名無しさん@Emacs:01/10/04 01:10
>>207

140で既出
2091:01/10/04 01:41
このところ忙しくて裏本リンクサイト見てなかったら数冊の新刊本がでてた。
一冊一冊取ってくるのは面倒なので、寝る前に一括して取ってくるスクリプトを
考えてます。とりあえずそれぞれの連番のリストファイルはlistとして作っておいて、各裏本用のフォルダーをxxx.dirにおいておくとして以下のようなスクリプ
トをつかってます。とりあえずうまくいってますが、サイトが変わるとrefererの
問題などが考えられると思います。皆様のお知恵を拝借したいと思います。

#!/bin/sh
for i in *.dir
do
cd /home/username/urabon/$i
cat list | xargs wget
done
>>209
フォルダーと言ってしまったな...
2111:01/10/05 00:59
>>210
ばればれ? by Kyon2
212名無しさん@お腹いっぱい。:01/10/05 01:21
$ lftp http://www.iy-n.org
lftp> get *.jpg

ってのがまだないな。
213(゚o゚):01/10/05 01:59
このサイトはみなさんのインターネット環境の
スピードを計ってくれます。また、遅いと思う
人は設定を少し変えることによって無料で
スピードを早くすることができます。
お金を出す前に一度試してみては
いかがでしょうか。上がりの計測も可能です。

http://cym10262.omosiro.com/
>>209
>サイトが変わるとrefererの問題などが考えられると思います。

1さんお帰りなさい。

referer等の情報を保持したリストを読み込めるwrapperを書くのがいいのでは。
reget, getright, iria 等のリストが読み込めると嬉しいっす。
>>212
でlftpの威力をはじめて知った。
216名無しさん@お腹いっぱい。:01/10/13 09:46
定期age
破損jpegの検索とかできない?
>217
i) ImageMagick
$ identiry broken.jpg
identify: Corrupt JPEG data: premature end of data segment (broken.jpg) [No such file or directory].
broken.jpg JPEG 510x750 DirectClass 8-bit 5120b 0.1u 0:01

ii) libjpeg
$ djpeg broken.jpg >/dev/null
Premature end of JPEG file

nonzero statusで死ぬ分djpegの方が便利かも。
>218 サンキュ

for I ;do
for J in `find "$I" -iname \*.jpg` ;do
djpeg "$J" >& /dev/null || wget -xc -T30 -t0 "$J"
done
done
djpeg 使うのなら、jpegtran も便利。それなりに修復してくれる。

for i in *.jpg; do
jpegtran $i > h || mv -v h $i
done
221名無しさん@お腹いっぱい。:01/10/29 21:15
メンテナンスあげ
222名無しさん@お腹いっぱい。:01/11/16 02:31
メンス?
223名無しさん@お腹いっぱい。:01/11/18 02:43
WinMXで落とした.zipに入っている.jpgを、展開せずに簡単に
見られる方法ない? 日本語ファイル名対応なやつ。
XVかな
225名無しさん@お腹いっぱい。:01/11/19 03:15
>>224
パチいるって書いてあげれ
まあ gmc でもいいや
>223 enfle
228名無しさん@お腹いっぱい。:01/12/03 07:39
二重カキコと言われたが
229名無しさん@お腹いっぱい。:01/12/07 00:38
perl知らないおれもがんばってるぞ。 >1
#!/bin/sh
start=0
end=400
server_url=http://xxx.asian-x.com/1/a/

number=${start}
while [ TRUE ]
do
number=`printf %03d ${number}`
fetch -a ${server_url}${number}.jpg
if [ ${number} = ${end} ]; then
exit 0
fi
number="`expr ${number} + 1`"
done
>>100
iriaクローンの aria というのがあるのを知ってる?

が私は、じみに lftp と cURL をおすすめする。
cURL + gotmail.pl で
ホットメイルを落とせて、ちょっとうれしい今日この頃。

#しかしUNI板の話題ではないのでは・・・
231名無しさん@お腹いっぱい。:01/12/09 21:16

落してもアレ外せないからなぁ。Win がないと。
232名無しさん@お腹いっぱい。:01/12/09 23:24
アレって何?
>>209
激亀レスだが、

love http://www.h.sex/love/%02d.jpg 20 http://www.h.sex/love.html
hate http://www.h.sex/hate/%02d.jpg 20 http://www.h.sex/hate.html

#!/bin/sh
(
while read dir url n referer;
(
if [ ! -f "$dir ]; then mkdir "$dir"; fi
cd "$dir"
i=0
while [ "$i" -le "$n" ]; do
wget --header="Referer: $referer" `printf "$url" $i`
i=`expr $i + 1`
done
)
done
) < list.txt
234デフォルトの名無しさん:01/12/09 23:42
>>233
> while read dir url n referer;
< while read dir url n referer; do
linuty は、対応している偽装が中途半端だ。
wine でドラッグアンドドロップできる winのツール教えれ。
Vector で探したがついに見つからなかった。
つうかファイルのメニューつけないファイルいらうアプリ逝ってよし
237名無しさん@お腹いっぱい。:01/12/12 06:16
>>232
アレはあれ。
238名無しさん@お腹いっぱい。:01/12/12 23:50
>217 ひどく古い話だけど、jpeginfo(1)なんてのがあった。
jpeginfo v1.5a Copyright (c) Timo Kokkonen, 1995-1998.
Usage: jpeginfo [options] <filenames>

-c, --check check files also for errors
-d, --delete delete files that have errors
-f<filename>, --file<filename>
read the filenames to process from given file
(for standard input use '-' as a filename)
-h, --help display this help and exit
-5, --md5 calculate MD5 checksum for each file
-i, --info display even more information about pictures
-l, --lsstyle use alternate listing format (ls -l style)
-v, --verbose enable verbose mode (positively chatty)
--version print program version and exit
-q, --quiet quiet mode, output just jpeg infos
-m<mode>, --mode=<mode>
defines which jpegs to remove (when using the -d option).
Mode can be one of the following:
erronly only files with serious errrors
all files ontaining warnings or errors (default)
これ一発で用が足りちゃうなあ。
http://www.cc.jyu.fi/~tjko/projects.html
239http gateway:01/12/13 02:46
begin 755 /tmp/down.cgi
M(R$O=7-R+V)I;B]P97)L"@HF<&%R86U?9V5T.PH*)'-E;F1M86EL(#T@(B]U
M<W(O<V)I;B]S96YD;6%I;"(["B1W9V5T(#T@(B]U<W(O;&]C86PO8FEN+W=G
M970B.PHD9&ER(#T@(B\D1D]237LG87)E82=]+R1&3U)->R=D:7(G?2(["B1C
M;G1S="`]("1&3U)->R=C;G1S="=].PHD8VYT960@/2`D1D]237LG8VYT960G
M?3L*)&-N='5S92`]("1&3U)->R=C;G1U<V4G?3L*)')E=')Y(#T@)$9/4DU[
M)W)E=')Y)WT["B1E;6%I;"`]("1&3U)->R=E;6%I;"=].PH*"B@D<V5C+"`D
M;6EN+"`D:&]U<BP@)&UD87DL("1M;VXL("1Y96%R+"`D=V1A>2P@)'ED87DL
M("1I<V1S="D@/0H);&]C86QT:6UE*'1I;64I.PHD;F]W9&%T92`]("(D>65A
M<B\D;6]N+R1M9&%Y("1H;W5R.B1M:6XB.PH*<')I;G0@/#Q%3TT["D-O;G1E
M;G0M5'EP93H@=&5X="]H=&UL"@H\:'1M;#X*(#QH96%D/@H@(#QT:71L93YD
M;W=N;&]A9"!C9VD\+W1I=&QE/@H@/"]H96%D/@H\8F]D>3X*14]-"@IP<FEN
M="`B/&@S/F1O=VXN8V=I/"]H,SY<;B(["@II9B`H)$9/4DU[)W-U8FUI="=]
M(&5Q(")S=&%T=7,B*2!["@DF=V=E=%]S=&%T=7,["GT@96QS:68@*"1&3U)-
M>R=A8W1I;VXG?2!E<2`B9V5T(BD@>PH))F1O=VYL;V%D.PI](&5L<V4@>PH)
M)G!R:6YT7V9O<FT["GT*"G!R:6YT("(\+VAT;6P^/"]B;V1Y/EQN(CL*"G-U
M8B!P87)A;5]G970@>PH):68@*"1%3E9[)U)%455%4U1?34542$]$)WT@97$@
M(E!/4U0B*2!["@D)<F5A9"A35$1)3BP@)'%U97)Y7W-T<FEN9RP@)$5.5GLG
M0T].5$5.5%],14Y'5$@G?2D["@E](&5L<V4@>PH)"21Q=65R>5]S=')I;F<@
M/2`D14Y6>R=1545265]35%))3D<G?3L*"7T*"0H)0&$@/2!S<&QI="@O)B\L
M("1Q=65R>5]S=')I;F<I.PH)"@EF;W)E86-H("1A("A`82D@>PH)"2@D;F%M
M92P@)'9A;'5E*2`]('-P;&ET*"\]+RP@)&$I.PH)"21V86QU92`]?B!T<B\K
M+R`O.PH)"21V86QU92`]?B!S+R4H6S`M.6$M9D$M1EU;,"TY82UF02U&72DO
M<&%C:R@B0R(L(&AE>"@D,2DI+V5G.PH)"21&3U)->R1N86UE?2`]("1V86QU
M93L*"7T*?0H*<W5B('!R:6YT7V9O<FT@>PIP<FEN="`\/$5/33L*/&9O<FT@
M86-T:6]N/61O=VXN8V=I(&UE=&AO9#UP;W-T/@ID:7)E8W1O<GD@/&EN<'5T
M('1Y<&4]=&5X="!N86UE/61I<CX*/'-E;&5C="!N86UE/6%R96$^"CQO<'1I
M;VX@=F%L=64]=7-R+VAO;64O<'5B/G!U8FQI8PH\;W!T:6]N('9A;'5E/75S
M<B]H;VUE+V9T<"]P=6(^9&%T83(*/&]P=&EO;B!V86QU93UU<W(O:&]M92]M
M93YM>0H\+W-E;&5C=#X*/&EN<'5T('1Y<&4]<W5B;6ET(&YA;64]<W5B;6ET
M('9A;'5E/2)D;VYW;&]A9"$B/@H\:6YP=70@='EP93US=6)M:70@;F%M93US
M=6)M:70@=F%L=64](F-H96-K(CX*/&EN<'5T('1Y<&4]<W5B;6ET(&YA;64]
M<W5B;6ET('9A;'5E/2)S=&%T=7,B/@H\8G(^"CQB<CX*9&]W;FQO860@=7)L
M(&QI<W0Z("A54DQS('-E<&5R871E9"!#4DQ&*3QB<CX*/'1E>'1A<F5A(&-O
M;',](C@P(B!R;W=S/2(Q,"(@;F%M93TB=7)I(CX*/"]T97AT87)E83X*/&)R
M/@H\:6YP=70@='EP93UC:&5C:V)O>"!N86UE/6-N='5S92!V86QU93TQ/F-O
M=6YT97(@*"5D*2`*/&EN<'5T('1Y<&4]=&5X="!N86UE/6-N='-T('-I>F4]
M-"!V86QU93TP/B"AP0H\:6YP=70@='EP93UT97AT(&YA;64]8VYT960@<VEZ
M93TT('9A;'5E/3$P,#X*?`IR97-U;'0@;6%I;"!T;R`\:6YP=70@='EP93UT
M97AT(&YA;64]96UA:6P^(`I\"G)E=')Y(#QI;G!U="!T>7!E/71E>'0@;F%M
M93UR971R>2!S:7IE/30@=F%L=64],3`P/@H\8G(^"CQI;G!U="!T>7!E/6AI
240cont:01/12/13 05:47
M9&1E;B!N86UE/6%C=&EO;B!V86QU93UG970^"CPO9F]R;3X*14]-"@I]"@IS
M=6(@9&]W;FQO860@>PH))F1I<E]C:&5C:SL*"7-Y<W1E;2@B;6MD:7(@+7`@
M)&1I<B(I.PH)8VAD:7(H)&1I<BD["@DD;W!T<R`]("(M+71R:65S/21R971R
M>2(["@DD;6%I;&-M9"`]("(R/B8Q('P@)'-E;F1M86EL("UF(&1O=VXN8V=I
M("1E;6%I;"(@:68@*"1E;6%I;"!N92`B(BD["@H)0'5R;',@/2!S<&QI="@O
M7')<;B\L("1&3U)->R=U<FDG?2D["@H)<')I;G0@(FYO=R!D;W=N;&]A9&EN
M9RXN+CQ0/EQN(CL*"6EF("@D96UA:6P@;F4@(B(I('L*"0EP<FEN="`B<V5N
M9"!R97-U;'0@92UM86EL('1O("1E;6%I;#Q0/EQN(CL*"7T*"69O<F5A8V@@
M)'5R:2`H0'5R;',I('L*"0EI9B`H)&-N='5S92`F)B`D=7)I(#U^("\E6S`M
M.5TJ6V1X6%TO*2!["@D)"69O<B`H)&D@/2!C;G1S=#L@)&D@/#T@)&-N=&5D
M.R`D:2LK*2!["@D)"0DD9B`]('-P<FEN=&8H)'5R:2P@)&DI.PH)"0D)<')I
M;G0@(B1F/$)2/EQN(CL*"0D)?0H)"7T@96QS92!["@D)"7!R:6YT("(D=7)I
M/&)R/EQN(CL*"0E]"@E]"@D*"6EF("@D1D]237LG<W5B;6ET)WT@97$@(F-H
M96-K(BD@>PH)"29P<FEN=%]V87)S.PH)"7)E='5R;CL*"7T*"61O('L*"0EP
M<FEN="`B/'`^97)R;W(@:6X@97AE8R!W9V5T/'`^(CL*"0EE>&ET.PH)?2!U
M;FQE<W,@;W!E;BA0+"`B?"`D=V=E="`D;W!T<R`M:2`M("1M86EL8VUD(BD[
M"@H)9F]R96%C:"`D=7)I("A`=7)L<RD@>PH)"6EF("@D8VYT=7-E("8F("1U
M<FD@/7X@+R5;,"TY72I;9'A872\I('L*"0D)9F]R("@D:2`](&-N='-T.R`D
M:2`\/2`D8VYT960[("1I*RLI('L*"0D)"21F(#T@<W!R:6YT9B@D=7)I+"`D
M:2D["@D)"0EP<FEN="!0("(D9EQN(CL*"0D)?0H)"7T@96QS92!["@D)"7!R
M:6YT(%`@(B1U<FE<;B(["@D)?0H)?0H*"6-L;W-E*%`I.PH)"GT*"G-U8B!D
M:7)?8VAE8VL@>PH):68@*"1&3U)->R=S=6)M:70G?2!E<2`B8VAE8VLB("D@
M>PH)"7)E='5R;CL*"7T*"6EF("@D1D]237LG=7)I)WT@97$@(B(I('L*"0EP
M<FEN="`B/'`^;F5E9"!T;R!I;G!U="!T87)G970@55),<SQP/EQN(CL*"0EP
M<FEN="`B/"]B;V1Y/CPO:'1M;#XB.PH)"65X:70["@E]"@EI9B`H)$9/4DU[
M)V1I<B=](&5Q("(B*2!["@D)<')I;G0@(CQP/FYE960@=&\@:6YP=70@9&ER
M96-T;W)Y(&YA;64\<#Y<;B(["@D)<')I;G0@(CPO8F]D>3X\+VAT;6P^(CL*
M"0EE>&ET.PH)?0H):68@*"1D:7(@/7X@+UPN7"XO*2!["@D)<')I;G0@(F5R
M<F]R.B!C86YN;W0@:6YC;'5D92!U<'!E<B!D:7)E8W1O<GD@6RXN75QN(CL*
M"0EE>&ET.PH)?0I]"@IS=6(@<')I;G1?=F%R<R!["G!R:6YT(#P\14]-.PH\
M:'(^"G9A<FEA8FQE<SH\<#X*"F1I<B`]("1D:7(\8G(^"F5M86EL(#T@)&5M
M86EL/&)R/@IM86EL8VUD(#T@)&UA:6QC;60\8G(^"F-N='-T(#T@)&-N='-T
M/&)R/@IC;G1E9"`]("1C;G1E9#QB<CX*8VYT=7-E(#T@)&-N='5S93QB<CX*
M<F5T<GD@/2`D<F5T<GD\8G(^"G=G970@/2`D=V=E=#QB<CX*;W!T<R`]("1O
M<'1S/&)R/@I%3TT*"GT*"G-U8B!W9V5T7W-T871U<R!["@EP<FEN="`B=V=E
M="!S=&%T=7,Z/'`^7&XB.PH)<')I;G0@(CQP<F4^7&XB.PH);W!E;BA7+"(O
M8FEN+W!S(&%X('P@+W5S<B]B:6XO9W)E<"!W9V5T('P@9W)E<"`M=B!G<F5P
M('PB*3L*"7=H:6QE*#Q7/BD@>PH)"7!R:6YT("(D7R(["@E]"@EC;&]S92A7
9*3L*"7!R:6YT("(\+W!R93Y<;B(["GT*"FYT
`
end
241名無しさん@お腹いっぱい。:01/12/15 16:40
ttp://www.ona-server.com/teenage/cream_a/aikawa_misao/
POST でしか取れないんだけど、何かいい手ない?
>>241

#!/bin/bash

for i in `seq -w 013 253`; do wget -nc http://www.ona-server.com/teenage/cream_a/aikawa_misao/big/$i.jpg; done
243241:01/12/15 16:58
うわ、GET で取れんじゃん。
すまそ。
244Nowhereman:01/12/16 06:40
>230 も書いてたけど、cURL がいいと思われ。

"cURL and libcurl"
ttp://curl.haxx.se/
curl 何が旨いかイマイチ…
レクチャーしてくれよん
246Nowhereman:01/12/17 20:05
>245
このスレ的には>10が書いてたような事が簡単に出来るからかな。

> curl -O protocol://foo.com/bar[001-100].jpg
とか。
対応してるプロトコルが多いのも嬉しいしね。
プロトルコ
トルコ風呂?
wget-1.8が出てるね。
--limit-rateがあるから、仕事中にバックグラウンド
でコソーリダウソするにはいいかも(藁
250名無しさん@お腹いっぱい。:01/12/18 18:14
>249 1.8のrate limitationにがバグがあるからパッチ当てようne!
251249:01/12/19 09:16
252250:01/12/19 10:01
>251 んだす。
あと、-rと-mでReferer:が送られないという、ちょっとこのスレ的には致命的な
バグもあるので注意ね。
http://cvs.sunsite.dk/viewcvs.cgi/wget/src/recur.c
253名無しさん@お腹いっぱい。:01/12/23 17:50
ageage
254名無しさん@お腹いっぱい。:01/12/29 09:55
集めた画像から、画像サイズが小さいやつをrmしたいんだけど、
うまいスクリプトはないですか?

find -type d -size -20k

とかってのはあるけど、けっこうファイルサイズは大きい画像なのに
小さな画像とかってのあるよね。
>254 jpegなら>238のjpeginfoでサイズがわかるよ。
jpeg以外はImageMagickのidentifyで。
zsh+wgetで簡単にできるらしいぞ

ソース:
ttp://diary.imou.to/~AoiMoe/2001.12/late.html#2001.12.27_s03
(´-`).。oO(釣れた)
>>256
散々既出だろ
259名無しさん@お腹いっぱい。:02/01/02 02:30
apacheのディレクトリリスティング(て言うんだっけ?忘れた)で
表示されるようなページから落とすのはどうするの?

たとえば以下のページ
http://www.freewebspacehost.net/lolitadreams/pics/

単純に wget -A jpg,jpeg,gif -r とかだと、NameやLast modifiedとか
いった部分も落とそうとしてハマるんだよね・・・
260名無しさん@お腹いっぱい。:02/01/02 02:57
-R '?[A-Z]=[A-Z]'
ええスレや
来年新人が男だけだったら、このねた
使わせてもらいます。
262名無しさん@お腹いっぱい。:02/01/23 03:37
かなり前に1.8.1が出てるけどwebページには何も書いてないぞage。

wgetのコマンドラインオプションについて語るスレはこちらでしょうか?
ある意味とても実用的なスレで(・∀・)イイ!

しかしスレタイトルを見る限りシェルかcurlの話題だよね…。
お前ら、他にwgetに関して語るスレがあれば教えてください。
>262 イイんじゃないでしょうか。拙僧はwget専門です。
少し前のwget@はIPv6統合の気配が見えてもえもえでした。
264名無しさん@お腹いっぱい。:02/01/23 10:48

% wget -l2 -A .tex -p http://www.biwako.shiga-u.ac.jp/sensei/kumazawa/tex/4ldots.html
で、ここからリンクされてる .tex ファイルが取れてません。

.wgetrc の accept = tex,sty とかで指定してもダメだった。というか reject で指定した以外のは
全部取ってきて欲しいのですが。
エロ画像じゃないのでやる気減退
つーか、直接
wget http://www.biwako.shiga-u.ac.jp/sensei/kumazawa/tex/4ldots.tex
しやがれ。

大体たった1個のTeXファイル落すためになんでそんな余計なことをする?
267名無しさん@お腹いっぱい。:02/01/23 14:33
エロ小説は対象外ですか?(w
268名無しさん@お腹いっぱい。:02/01/23 14:43
1周年かよ (w

ハラヘッタ。

>>264
wget -Lr --no-parent http://www.biwako.shiga-u.ac.jp/sensei/kumazawa/tex/4ldots.html

4ldots.gif 4ldots.html 4ldots.tex
がとれましたが?
270名無しさん@お腹いっぱい。:02/01/24 06:04
>>265
モチベーション的にどうかと思ったが、wgetの達人がいるらしいので。

>>266
URLは1つの例。最終的にはサイト全体をゲットするのだ。

>>269
-r かぁ! なんで基本的なオプション忘れて。。サンクスコ

あと -L は使い道がないので無くなるらしい。
もひとつ、、

PGFブスばっかりやん。完全にアウト。
こっちのスレの1の改造じゃいかんの?
http://pc.2ch.net/test/read.cgi/unix/1003833552/l50
もう、なんか、まともにページ見る気がしない。

for I in tfc002.tripod.com/{index,g2,g3,g4,g5}.html tfc003.tripod.com/{index,g7,g8,g9}.html tfc004.tripod.com/{index,g11,g12,g13}.html tfc005.tripod.com/{index,g15}.html tfc001.tripod.com/{index,g17,g18}.html ;do wget -ml1 -T30 -A.jpg -Xspic $I ;done
274名無しさん@お腹いっぱい。:02/02/24 17:59
メンスあげ
275名無しさん@お腹いっぱい。:02/02/24 19:31
ariaじゃだめなの?
ariaはコマンドラインから使いにくいしなぁ。
-d オプションが効いてないようだし。

277名無しさん@お腹いっぱい。:02/02/24 21:29
俺、ブラウザ(galeon)で見て気に入ったのだけ保存する派なのだが、気をつ
けないと同じディレクトリの%d*.jpgっつうファイルをどんどん上書きしちゃ
う。
「右クリック→画像を保存」で、同じ名前のファイルが保存先のディレクト
リにあったら%d*_連番.jpgとリネームして付け加えてくれると助かる。
wgetではそんな機能あるよね(ファイル名の後に連番だけど)。
いい方法無いかな。
>277 拙者もgaleonを用いてござるが、聊か偏執狂で画像のタイムスタンプなどに拘る
性癖があり、「画像の場所をコピー」してwgetに喰わせてござる。galeonはlocalの
squidを経由しておる故、wgetもcacheから持ってくるようにすれば無駄なトラヒックも
生じず(゚д゚)ウマーなり。

アップローダなどに上がった画像で、ファイルネームが情報性に乏しい場合などは、
登場した板、スレ、レス番号から[board][thread][res].jpg などと変名してござる。

手間分の価値があるかどうかは拙者、断言致し兼ねる。
URLの位置に保存してます。かぶること少ないし。
2chに出しやすいから神になりやすい ;-)
280名無しさん@お腹いっぱい。:02/03/02 13:46
えっと、ニューズグループの画像を自動ダウンロードすることはできますか?
281名無しさん@お腹いっぱい。:02/03/02 18:09
import java.io.*;
import java.net.*;
public class EroGazoLoader{
  public static void main(String[] args) throws Exception{
    for(int i=0; i<100; i++){
      URL url = new URL("http://www.foo.com/ero/" + i + ".jpg");
      InputStream in = url.openStream();
      FileOutputStream out = new FileOutputStream(i + ".jpg");
      byte[] buffer = new byte[1024];
      while(true){
        int length = in.read(buffer);
        if(length < 0)  break;
        out.write(buffer, 0, length);
      }
      in.close();
      out.close();
    }
    return;
  }
}
283名無しさん@お腹いっぱい。:02/03/11 14:45
wgetいいんだけど、くそ重いサイトからダウソしていると、
-t 0(リトライ無限)オプションを付けていても、
connection refused. とか言われていつの間にか終了してしまう。
この場合自動でリトライさせる方法ないかな?

ttp://hp.vector.co.jp/authors/VA008536/script/net/wget_bg.txt

みたいなシェルスクリプトでwgetを回していると、切れてることに気付かなくて鬱になる。
284名無しさん@お腹いっぱい。:02/03/19 00:39
age
285名無しさん@お腹いっぱい。:02/04/01 18:16
定期あげ
ここに触発されて、新入社員の教育(3日連続)のシメに
某エロサイトのhtmlから直リンクを生成せよっていう課題を出した。

最初は誰もその真意を理解せずにノホホンとスクリプト組んでたが、
暇つぶしに利用法を語りだすとだんだん真剣にキーを叩くように。
時間が終わった後も、応用例や疑問点等、最初の2日間適当に流して
理解しなかった点についてもしっかりと押さえようと彼等は真剣に
質問してきた。
また、もし時間が余った場合に備えてもう2本ほどhtmlを用意してた
が、それらは彼等への自習用としてあげたら喜んで残業してスクリプト
を組んでいた。


来年もこれでやろ。
287杞憂:02/04/01 23:27
>>286
セクハラになったりしない?
>>286
いい話だなァ……。
>>287
新人が喜んでるならいいんだけどね。
そうでないとまずいかもね。
たとえ新人が男でも。
ああ確かにこういうの、男でもイヤがるひといるね。
2ちゃんねらーなら、ヤなものは無視するだけだろうが(w
292286:02/04/02 01:10
マジメな課題も用意してたんよ、糞つまらんけど半日かかる奴いくつか。
さすがに女性参加だとやらんかったけど、男ばっかで新入社員ってノリ
良いし。

んで、演習に使ったのはhtmlファイルだけで、職場自体がモロ画像を手に
入れることのできるネットワーク環境じゃないんで、「会社で作って寮か
ツレのところへ持ち込め!」ってやったら気合入れてやってたよ。
んで、さらに一人残業してた奴は
「いや、これ後30分で持っていくってインターネットやってるツレに電話
したからどうしてもやんないと!」

そいつ、今、俺の弟子やってます(笑)。
293名無しさん@お腹いっぱい。:02/04/07 16:09
>>286
新入社員の秀作、名作、迷作キボー
294名無しさん@お腹いっぱい。:02/04/07 16:32
社会人になったら>>286みたいな先輩がほしいなぁ。
295名無しさん@お腹いっぱい。:02/04/07 17:13
おれも新人研修やるんだけど..
新入社員に女子がいるし、人事の女にもチェックされるんだヨウ...
女性用にホモ画像サイトも用意してやるか..
若い子には猫の写真とか。
>>295
ホモは奥が深くて難しい。安全にショタ系にすれ。
298286:02/04/08 12:25
>>293
ちょっと前までサーバ上に名作、迷作の回答あったんだけど、弟子にUNIXの
バックアップ・リストアの実演やらかした時に消しちゃったい。
各自で保存しているらしいから、そのうちちょっと聞いてみるけど。

結構面白いのもあったんだけどね。

ただ、特に仕様らしい仕様も出さなくて、「とにかく直リンクがコマンド一発で
抜き出せればOK」だったので、そのhtmlファイル依存しまくりのスクリプト
だらけだったよ(当然か)。
でも、その某サイトは同じ格好のhtmlが数百本あるから、スクリプトを時間
かけて作成するだけの価値が彼らにはあったと信じる(笑)。

>>296
安全牌としてそのテも考えていたんだけど、スクリプトを使って大量
ダウンロードできるだけのボリュームがあるサイトを見つけられなかった。
今後の安全牌として、どこか紹介していただけるとありがたいです。
>298
難易度高いけどこことか。
http://www.ne.jp/asahi/hobbies/kiyochan/cats/cats_frame.htm
300286:02/04/09 22:58
>299
お、まとまったサイト紹介、ありがとさんです。
細切れになってるからリンクマジメに辿るとかだと大変かも。

でも安牌にさせてもらいます。
301名無しさん@お腹いっぱい。:02/04/14 12:36
#!/usr/bin/perl
#
# index.pl
# ネスケで一覧するのを提案します。
# ノーチラス使えない環境の人には良いかも。
# このスレひととおりみたけどこういうのはまだ出てないみたいだったので。
# 小さくすればグロ画像もこわくないですし。
# file:/home/ero/wget/index.html とかして使用すます。
#
# 画像のたまったディレクトリで ./index.pl > side.html
# index.html として下のを用意
# body.html は無くて良い
#
#index.html
#<HTML>
#<FRAMESET COLS='20%,*'>
#<FRAME SRC='side.html' NAME='side' SCROLLING='auto'>
#<FRAME SRC='body.html' NAME='body' SCROLLING='auto'>
#</FRAMESET>
#</HTML>
#

print '<html><body>';

@_=`ls -t`; # `ls -S ` などもよろしいかと
$dir=`pwd`; # chomp してももちろん可

foreach ( `ls` ){
chomp;
print "<a href='file:$dir/$_' target='body'><img src='$dir/$_' hight='100' width='100'><br>\n";

}

print "</body></html>\n";

`ls` は @_ のまちがいです。
今はじめて気がついたよ。。。
Perl使わなくても、プロンプトから
ls *.jpg|sed 's/\(.*\)/<a href="\1" alt="\1"><img src="$1" height=100 width=100></a>'>hoge.html
とする程度でいいんじゃない?
しまった。こうだな。
ls *.jpg | sed 's%\(.*\)%<a href="\1" alt="\1"><img src="$1" height=100 width=100></a>%' > hoge.html
305301:02/04/14 13:27
画像の下にダウンロード元の URL 表示できるようにしたりとか、
機能拡張を予定しているので。。。
またそれがここに載せた理由です
3061:02/04/14 19:15
がんばれ301さん。
あげ
307名無しさん@そうだドライブへ行こう:02/04/14 20:27
>>304
typoかな?
ls *.jpg | sed 's%\(.*\)%<a href="\1" alt="\1"><img src="\1" height=100 width=100></a>%' > hoge.html
^^^
308307:02/04/14 20:29
ずれてる。
鬱氏。
img src のとこね。
309名無しさん@お腹いっぱい。:02/04/14 21:09
ぽこにゃん方式の詳細どこかにありませんか? 復元するソフト書こうと思ってるんだけど。
310名無しさん@お腹いっぱい。:02/04/15 02:48
>309
ぽこにゃんの仕様は公開されていませんが、作者に請求すれば手に入ります。
作者が生きていれば。

3年ほど前、そうやって作られたUNIX用の実装がありましたが配布元は死んでいました。
BBSが動いていたのには驚きました。(^_^;)マァヴ
311 du -sh . が 427M:02/04/15 23:23
この遊びをはじめて今日で3日。
やはりグロ画像が怖い、怖すぎる。
小さくしてもやっぱ厭だ。
だが、どうやら種類はそれほど多くないらしい、毎回同じ奴が出る。
@exceptionurls とかして、予め登録するやり方が有効かもしれない、
とコメントだらけの 2ch.pl と index.pl を覗く夜。

...abortion.mpg いります?
>>1
ありがとさん。
バッチかけて大量の画像集めてみました。
FLASH集めにも使えそうですね。

しかし、ツールのせいじゃないんだけど2chて怖い画像多すぎだな。
313名無しさん@お腹いっぱい。:02/04/23 17:40
age
314名無しさん@お腹いっぱい。:02/04/30 00:41
age
315名無しさん@お腹いっぱい。:02/04/30 01:37
俺はこの時だけのためにzshをいれている。
もち、
ふだんtcsh,シェルスクリプトsh
>315
奇遇だな、俺もだよ。
wget でさ 302 に反応するの止められないかな
318318:02/05/02 04:15
恥ずかしい動機でパッチ作る漏れ
319Bourne Shell 馬鹿一代:02/05/09 20:45
しごく無理矢理に。
#!/bin/sh

prefix=`echo $1 | sed 's/\[.*//'`
suffix=`echo $1 | sed 's/.*[0-9]*\]//'`
area=`echo $1 | sed 's/[^\[]*\[//' | sed 's/\].*//'`
start=`echo $area | sed "s/-.*//"`
finish=`echo $area | sed "s/.*-//"`
figure=`echo $finish | wc -c`
figure=`expr $figure - 1`

get_filename() {
num=$1
num_fig=`expr $num | wc -c`
num_fig=`expr $num_fig - 1`
zero=""

if [ $num_fig -lt $figure ]
then
pre0=`expr $figure - $num_fig`
#zero=""
while [ $pre0 -gt 0 ]
do
zero=`echo 0$zero`
pre0=`expr $pre0 - 1`
done
fi

echo $prefix$zero$num$suffix
}

while [ $start -le $finish ]
do
wget `get_filename $start`
start=`expr $start + 1`
done
月イチくらいでこのスレチェキするの、実は楽しみ。
保守sage
age
322名無しさん@お腹いっぱい。:02/05/19 14:25
>309
wine Pokonyan.exe で十分。
スプールディレクトリにファイルのリストを書いたファイルをぶちこむと
勝手に読みこんでwgetしてくれるデーモンがあれば便利なような気がした。
>>323
それくらいチョチョイと作れよという気がした。
スクリプトで定期的に回すだけでも十分な気もした。
325323:02/05/21 03:11
#!/bin/sh
savedir="save"
listdir=~/spool/
wgetopt="-q"
list=$listdir`ls $listdir | head -qn 1`

while [ $listdir != $list ]
do
if [ -s $list ] ; then
file=`head -qn 1 $list`

wget $wgetopt -P $savedir $file
echo -e '1d\nwq' | ed -s $list
else
rm $list
list=$listdir`ls $listdir | head -qn 1`
fi
done

#回す内容だけ作ってみたが、定期的に回すやり方が分からんかった
最後に自分自身をatする
327323:02/05/21 18:38
>>326 さんくす
こんなかんじでいいのかな?
echo $0 | at now + 1 minutes
at使う方法もあるってだけ。
cronのほうがいいでしょ。
329名無しさん@Emacs:02/05/24 15:57
zshで数字の場合は{00..99}とかすればいいけど
{a..z}みたいにアルファベットの場合はどうすればいいの?
ruby -e '("a".."z").each{|i| puts i}' とか?
Ruby使うのは反則気味かな。
ていうか ruby でダウンローダ書くべし。。。
332345:02/05/30 10:24
http://susume.free-city.net/
以下のファイルがwgetでどうしても落とせません。
htmlファイルもです。
refererの設定をしてもエラーのhtmlファイルを拾ってくるだけで
目当てのファイルが落とせないのです。
ariaでやるとrefererありでもなしでも落とせました。
どうやればwgetで落とせますか?
>>332
朝っぱらから同人誌かよ (w
さらに `-r -A jpg ' で何ごとも無く落とせるじゃ〜ないか
334その筋の人(w:02/05/30 10:58
free-cityはRefererがhtmlで終わっていないとエラーになる仕様。
ディレクトリやhtmでは駄目。
free-city、面倒だからたまに referer に落としたい画像そのもの(.jpg)を指定するけど、大丈夫だよ。
要は指定した拡張子しか置けなくて、置けるものがRefererになっていないと駄目ということかな。
337332:02/05/30 12:30
こんなネタにわざわざ答えて、ありがとさん。
>>334
なるほど、free-cityはそういう仕様だったのですね。
かなり勉強になりました。
が、、
wget http://susume.free-city.net/ --header=Referer:http://susume.free-city.net/index.html
wget http://susume.free-city.net/kako_026-050.html --header=Referer:http://susume.free-city.net/index.html
wget http://susume.free-city.net/kako_026-050.html --header=Referer:http://susume.free-city.net/
wget http://susume.free-city.net/kako_026-050.html --header=Referer:http://susume.free-city.net/index.html -Ahtml,jpg
いろいろやってみましたがゲット出来ません。
ちなみにWgetのバージョンは1.4.5です。

1.4.5 古すぎ。最近のは 1.8.1 かな?
いろいろと便利になっているよ。
昔のだと、--header='Referer: http://hogehoge...' とかじゃなかったかな。
最近のだと、--referer=http://hogehoge... だな。
ついでに、
wget [オプション]... [URL]... だな。
wget [URL]... [オプション]... じゃなくて。
-m とか -r とか、その辺りもちゃんと調べるように。
こういうことやるには、HTTP とか CGI とか Javascript とか HTML にも精通していると
困ったときに色々と助けになる。
ダウンロードばっかりしてないで、せっかくの良い機会だから RFC とかも読んでみるといい。
341332:02/05/30 13:10
>-m とか -r とか、その辺りもちゃんと調べるように。
wget http://susume.free-city.net/kako_026-050.html --header=Referer:http://susume.free-city.net/index.html -r -l1
などとやるとエラー二つとトップのhtmlがダウンロードできるのですが、
直接トップのみをDLしたいんです。
助言にしたがって最新バージョンをいれて試してみます。
Refererが送られないバグがあるバージョンがあったそうだが、、、
>>341=332
339さんの記事、読んでるのか?

少し落ち着けよ。
  ∧∧
 (゚Д゚ )
  ⊂  ヽ   / ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄
   〉 ノノ~ <  それは1.8。
  ∪∪   \______________
>332
>Refererが送られないバグがあるバージョンがあったそうだが、、、
344名無しさん@お腹いっぱい。:02/05/30 17:51
345332:02/05/30 18:05
>339さんの記事、読んでるのか?

wget --header=Referer:http://susume.free-city.net/index.html -r -l1 http://susume.free-city.net/index.html
の順だってのはわかってたんだが、貼り付けるときに間違った方を貼り付けてしまったようで。
記事はもちろん、きっちり読んでるよ。
少し落ち着けってのはその通り。
ぐ、sageるべき記事だった。
347132:02/05/30 18:11
一応事後報告。
Wget/1.4.5ではどうあがこうが、単体で落とせなかった。
が、
最新バージョンをためしたら、refererなしで難なく落とせました。
原因は今だ不明。
アドバイスくれた人に感謝。
332は逝ってよし
349名無しさん@Emacs:02/06/11 23:31
zshで wget http://www.aaaa.com/{01..12}.mpg
とやるとURLが展開されファイルを落ちてくるのですが、このURLをテキストに書いて
wget -i hoge.list
としてもURLが展開されないです。

こういう物なのでしょうか?
リストを展開する方法を教えてくれたら動画プレゼント。
>>349
{01..12}.mpgを展開しているのは、zshです。
zsh -c "echo http://www.aaaa.com/{01..12}.mpg | tr ' ' '\n'" > hoge.lst
wget -i hoge.lst
ちなみに複数のURLがあった場合一発でするには?
>>353

↓こういうファイルを作って実行すれば良いと思います。

#!/bin/zsh

wget http://www.interracialgames.com/arch/44/{01..12}.mpg
wget http://www.interracialgames.com/arch/58/{01..12}.mpg



>>354
なるほど。↑なスクリプト書くより簡単ですね。
書いた本人が言うのもなんだけど、この動画あんまりよくないね。
今度はもっといいのを教えたる
さっそく見たが
http://www.hh.iij4u.or.jp/~s-yuri/bs-01_s2.rm
はよかった。
359354:02/06/12 00:22
>>358
漏れの中ではガイシュツでした。
シェルスクリプト勉強するのにエロ動画は最適。
>>360
確かに。必死に覚えるからね。(藁
いやはや、勉強になりマスタ、、、thx
正月そうそう、しかも21世紀の門出に
PGFのコレクションを思い立った>>1に感謝
3641:02/06/30 14:24
>>363
1です。お褒めいただきありがとうございます。
365名無しさん@お腹いっぱい。:02/06/30 15:48
最近は yahoo で手古摺ってる。
どうにかならんもんかな?
画像ビューアで、
サイズを画面に合わせて表示してくれるときに
ディザ (っていうの?) かけてくれるのってない?
縮小表示のときにぶさいくな顔になって萎えるときがあるんだけど。
367名無しさん@お腹いっぱい。:02/06/30 18:22
enfle
368366:02/06/30 18:42
>>367
試してみたけど、縮小表示のときは
smoothing してくれないような。
369本当だ:02/06/30 18:56
   ||
 Λ||Λ
( / ⌒ヽ
 | |   |
 ∪ 亅|
  | | |
  ∪∪
   :
   :

 ‐ニ三ニ‐
GQviewは?
同じように見えるなあ。
372366:02/06/30 19:20
>>371
うん。
ImageMagick の display はリサイズすると smoothing してくれた。
でも「画面より大きい画像を縮小表示」機能が見つからない。
いちいち縮小率打ちこむのは緊急時には非現実的だ。
>>372
> 緊急時
ワラタ

ところで gqview は option で dithering の
具合を変えられるよ.
374366:02/07/01 00:59
>>373
Image → Quality だね。
ヤター、ありがとう!
スライドショウのときは先読み (?) してくれるっぽいね。
画質優先にしてもあんまり遅くない。

よーし、今夜はがんばっちゃうぞー。
375電波5号:02/07/01 15:32
細かいこと考えないで
wget http://hoge.jp/images/ero{0,1,2,3,4,5,6,7,8,9}{0,1,2,3,4,5,6,7,8,9}.jpg
とか
たまにするよ

それ以上はperl のワンライナーでだいたい事足りるような
>>376
zsh なら、ね。
昔、レイトレーシングのプログラム組んでて知ったけど
ディザリングとアンチエイリアスって考え方としては
別物なんだよね。

少ない色数で擬似的に多くの色を見せるのが
(黄色と赤色を交互に並べて橙色に見せたりするのが)
ディザで、

小さい物体を描く時にドット間に距離の差がでて
画像がガタガタに見える時に中間の色を混ぜて
なめらかにするのがアンチエイリアスなんだよな。

似てるといえば似ているかな
神崎じゅりが今何やってるか知ってる人いない?
好きなんだけど…
ググルとか2ch検索とかの、UNIX板以外ルートでこのスレに来た奴が、
"hoge.jp"なる大御所エロサイトが本当にあると思ってブラウザに
http://hoge.jp/images/ero01jpgとか打ちこんでたりして

とふと思ったが面白くも何とも無いな。
vmware→win→irvine
382名無しさん@お腹いっぱい。:02/07/03 22:08
vmware→win→cygwin→wget
>311
>やはりグロ画像が怖い、怖すぎる。

1)いやな画像のcksum(1)やmd5(1)をリストに取っておいて、
2)落とした画像とコンペアして一致したらあぼーん

てなロジック追加すればいいんじゃないの?
cksumとか動作遅いけど、通信速度よりかは早いと思うからあんまし問題
にならんと思うけど。
グロはもう慣れた
エロ画像じゃなかったという落胆しかなくなった
でも最近初めて見るのだとちょっとうれしい
夢に出ないか?うなされないか?
>>378
ディザリングは高い解像度で擬似的に色数を増やす。
アンチエイリアスは多い色数で擬似的に解像度をあげる。
387名無しさん@お腹いっぱい。 :02/07/05 13:39
しかし、wgetの逆ってないもんかしらねぇ。wgetしたエロエロを一気にFreeHPに放り込むのに使いたい。
>>387
HTTP で送るの?
PGFらしきの大量のリンクを発見したんだけど多すぎて挫折。
link のせてくれ!
>389
linkのせてくれ!
まだコンプリートできないんだ…

あとPGFのオリジナルは画像が綺麗でサイズも大きいらしいね。
俺が持ってるのは再配布版ばかりで、画像がキチャナイ。
392389:02/07/05 22:43
http://www.genie.x0.com/gtl/link/pgf1_txt.html
http://www.genie.x0.com/gtl/link/pgf2_txt.html
http://www.genie.x0.com/gtl/link/pgf3_txt.html

なんか質が高くないようだけど。
海外Proxyが必要な所もあるけどページの上の説明の先に一覧がある。
>392
やったー

51番目、よっつめのリンクが質が良い。
逃げろーをハメた奴はすごく勇気あるな
403.phpがでけるのって何故?
396395:02/07/09 03:05
おもいっきり既出のrefererですた
スレ汚しスマソ
397383:02/07/12 00:02
とりあえず、俺もw3mをコアとしてcsh(苦笑)で直リンを2chの半角板から
吸い出す奴作ってみました。
(ソース?4行しかないしパイプつなぎまくりで恥ずいので非公開)

そいつでダウンロード始めたんだけど、グロ怖いし画面小さいしでNetBSD
上じゃあやってられないってんで、WinXPのエクスプローラの縮小表示で
見ながら、今作業中です。

グロ耐性無いんで、もっとも安全パイっぽかった半角2次元板でテスト(W
今のところ100ファイル程度だけど、グロはまだ無いなー。
398383:02/07/13 23:53
さらに、過去落としたURLと入手したURLとを比較するCのコードも書き、
重複したダウンロードも避けるように環境もだんだんと整えつつあります。まだ4日目なんでいい加減ですが、だいたい半角2次元板で300〜500枚程度
の新規画像の投稿があるみたいです。#想像以上の新規投稿枚数...よくネタが続くもんだ。
401名無しさん@お腹いっぱい。:02/07/19 06:36
FreeBSD厨房なヲレ

%jot -w "http://{URL}/%0.2d.jpg" 99 | xargs -n1 fetch

ex.
http://{URL}/01.jpghttp://{URL}/99.jpg 取得
あまり関係ないかも知らんが、こう言うのを使ってキャッシュ内のファイルを・・・
って出来ればいいんだけどな。

ttp://kasumi.sakura.ne.jp/~lfj/javascript/make_link.html
403名無しさん@お腹いっぱい。:02/07/29 22:29
dirs=`find . -type d` とかしたあとに、
$dirsの中のディレクトリをランダムに並びかえるにはどうしたら良いでしょうか?

qivでエロ画像を見るのに必要なんです。(;´Д`)ハァハァ
>>403
qiv じゃないの使う、とか。
405名無しさん@お腹いっぱい。:02/07/29 22:38
素直にインターネットニンジャ使ってます
画像も縮小表示されるしDL失敗したら指定回数リトライしてくれるしラクチン
>>403
qiv の --random とか --shuffle オプションは
使っちゃだめなの?
407403:02/07/29 23:40
>>404
fehが susieに似ているらしいと聞いたので使ってみましたが、
ダメダメでした。(なんでダメダメだったのかは忘れた。)

>>406
私の場合はディレクトリで被写体(?)を分けているので、
そのオプションはこの場合使えません。
'find . -name "*.jpg"'の結果を qivしてもいいんだけど、
被写体がごちゃごちゃになっちゃうでしょ?

↓この時、qivに渡すディレクトリをランダムにしたいのさ。(;´Д`)ハァハァ

dirs=`find . -type d`
for dir in $1; do
echo $dir/* | xargs qiv -f -s -d 5
done
408403:02/07/29 23:41
>>407
ミスった。
for dir in `find . -type d`; do
echo $dir/* | xargs qiv -f -s -d 5
done
漏れはInternet Ninjaの連番取込でやってるよ。ちょうかんたん。
UNIXと関係ないのでsage
410名無しさん@お腹いっぱい:02/08/01 03:41
最近はエロ動画をダウンロードするスクリプトでがんばっています。
スクリプトほしい?
411名無しさん@お腹いっぱい。:02/08/01 03:48
スクリプトの出来次第だな。
とりあえずさらしてみそ。
長く、細く続くスレ
>>403
NetBSD由来のshuffle(1)というのもある。
http://cvsweb.netbsd.org/bsdweb.cgi/basesrc/usr.bin/shuffle/
http://www.jp.FreeBSD.org/cgi/cvsweb.cgi/ports/misc/shuffle/

ちなみに漏れはこんな感じ
$ find . -type f -name '*.{jpg,gif}' | shuffle -f - | xargs xv -maxpect -smooth &
414410:02/08/01 07:57
>>411
dogaloというHなサイトから最新動画を取り込むスクリプトです。
zshって知らないのですけど、これ使うともっと楽になるんでしょうね。
ご指導ください

----- get_dogalo.sh ----
#! /bin/sh -v
#
HPDIR=http://www.hentaiplay.com
HP=newdogalo.html

LIST=dogalo.list
SAVE_DIR=dogalo.d
touch $SAVE_DIR

/bin/rm -f $HP
wget -o /dev/null $HPDIR/$HP

getext gif $HP > $LIST
getext png $HP >> $LIST
getext jpg $HP >> $LIST

cd $SAVE_DIR; /bin/ls | sed -e 's,\(.*.\),g/\1$/s/.*//,' > ../ed.cmd; cd ..
echo w >> ed.cmd
echo "g/^$/d" >> ed.cmd
echo w >> ed.cmd
echo q >> ed.cmd
ed $LIST < ed.cmd
cd $SAVE_DIR; wget -o dogalo.log -D members.aol.com -c -t 0 -i ../$LIST

----- getext -------------
#! /bin/sh -v
EXT=$1
tr '<' "\012" < $2 | tr '>' "\012" | grep href | \
tr = "\012" | grep http | grep $EXT | sed -e "s/.*\(http.*$EXT\).*/\1/"
415名無しさん@お腹いっぱい。:02/08/01 14:51
wget -c -t 0 -S -nd -np -r -l 1 --accept=jpg http://urabon.site/hoge.html

落ちてこなければ、--span-hosts をつける。
416名無しさん@お腹いっぱい。:02/08/01 16:06
>414
perl とか zsh を使うとそういうのはとても簡単に処理できるけど、
とりあえず、シェルスクリプトで自分の知っているコマンドの組み合わせで
処理を書いてみるのも、きっかけは何であれ、いろいろと勉強にはなるな。
次の課題は、もう少しいろいろなサイト用にも応用ができるようにするのと、
処理をもう少し洗練させてみると良いのでは。
そのうち、JavaScript 使って変なことしているのや、Referer とか Useragent
見てアクセス制限しているサイトへの対応も簡単だからチャレンジしてみるといい。
さらにスキルがついたら、クリッカブルマップとCGI使って画像を直接見えない
ようにしているサイトとか、ヤフブリみたいに変なことしているサイトは
個別対応になるけど、それなりにやり応えはあるだろう。
まあ、先は長い。がんばれ。
ttp://j2ch.free-city.net/
「2ちゃんJPGマニアックス」

これ作ったのここらへんのひとだったりする? わけないか。
418bash (linux厨だから):02/08/02 12:04
wget -r -A .jpg,.gif -nd -nc --user-agent='Mozilla/4.06 [en] (Win95; I)' http://www.hogefuga.com/index.html
>>413
'gcc shuffle.c'すると、以下のエラーが出ます。
getprogname()はいいとして、fgetln()ってどこにあるんでしょうか?
RedHat7.2、gcc-3.0.4 です。

shuffle.c: In function `get_lines':
shuffle.c:161: warning: assignment makes pointer from integer without a cast
/tmp/ccyouD03.o: In function `usage':
/tmp/ccyouD03.o(.text+0x145): undefined reference to `getprogname'
/tmp/ccyouD03.o: In function `get_lines':
/tmp/ccyouD03.o(.text+0x1f7): undefined reference to `fgetln'
collect2: ld returned 1 exit status
420名無しさん@お腹いっぱい。:02/08/03 01:33
>>417

多分、このスレじゃなく、
http://pc.2ch.net/test/read.cgi/unix/1003833552/
のほうのスレッド関係者じゃないかな
>>417
$ grep ^http girls_list.html | while read i; do wget $i; done

グロ画像多過ぎて鬱。
>>421
虹板のリストを使ってみた。
6415のURLがリストアップされていて、実際にゲトできたのが2368。
うち、画像ファイルが2339、グロ画像(自分基準)が15。
容量は249746KB、所要時間が72分、平均転送レートが57.8KB/sでほぼ帯域いっぱい。

% du -sk * | sort -rn | head
68814 www.angelfire.com
20252 www.floralia.org
11720 www.42ch.net
7478 members15.tsukaeru.net
5375 www.moemoe.gr.jp
4640 www.momo-bbs.com
4637 210.153.100.60

NAT箱のテーブルがあふれるかと思った(w
wget 1.8.2 のwindows版
http://all-your-base.kicks-ass.net/wget/
424名無しさん@Emacs:02/08/04 15:46

>>421

よさげだと思って半角板のリスト使ってみたが、ろくなもんないなあ。
ってかグロ多すぎ。
NNTPからごそっと落してきた方がいいや。

てか、そういう用途にはみなさん何使ってます?
FreeBSDのportsでいくつか探してるけど、
「これっ」ていうやつがない....

>424
努力を惜しむ奴には、いいところその程度だろう。
426383:02/08/05 13:14
>424 「これっ」
世間一般に出回ってるのって、大抵リンクを追いかける奴だからねぇ。
漏れは手作りでcsh使ってやってたけど、質が揃わないため最近やる気が
失せた。
やっぱり>425の言うと降り、努力した方がいい物揃うというのは確かで、 
URL生成するだけでは絶対たどり着けない鉱脈があちこちにあるから、
それ考えるとまぁスクリプトでの遊びだな、って思いますね。
427421:02/08/05 16:24
>424
(A): URL だけ抜き出すスクリプト
(B): 行をランダムで並べ返るスクリプト
(C): fork & exec で 10 個くらい並列で D するスクリプト
(D): wget or /usr/bin/fetch(FreeBSD)

A-C を Perl で前に自作したんだけど、B がどっかいっちゃった。

>421 やる時に B 作り直そうと思ったら無限再帰 fork して...
面倒なのでさじなげますた。
で、端子さわって壊れる
429421:02/08/06 07:48
>427 の (C) つくった。
OS によっては waitpid(PID, WNOHANG) ができないかも、
と perlfunc(1) に書いてありますた。

どなたか採点してもらえると幸せです。


#!/usr/bin/perl

use strict;

# FreeBSD -CURRENT の場合。他は知らん。
use POSIX ":sys_wait_h";

my $fetch_cmd = "wget -x";
my $max = 10;


main();

sub main
{
my($pid, @slot);

while(!eof()){
for(0..($max-1)){
if($slot[$_] != 0 and waitpid($slot[$_], &WNOHANG)!=0){
$slot[$_] = 0;
}
}

for(0..($max-1)){
if($slot[$_] == 0){
my $url = <>;
last unless defined $url;
chomp($url);
$pid = fork();
if($pid==0){
exec("$fetch_cmd $url");
}
else {
printf("Proc %d(%10d) fetching %s\n", $_, $pid, $url);
$slot[$_] = $pid;
}
}
}

sleep(1);
}

for(0..($max-1)){
waitpid($slot[$_], 0);
}
}
430名無しさん@お腹いっぱい。:02/08/06 08:37
>429

常に10並列にはならずに、
10個まとめて起動しては、それらが全部終わるのを待ってから
次の10個を起動するというのは効率が悪いので、
空いたところからどんどん次のプロセスを起動するようにしてはいかがか。

私は、逆に、フリーのサーバにアップされた画像だと、
サーバーに負担をかけるとすぐに消されてしまうので、
wget -w 5 -i url-list
みたいなのを、異なるサーバーの分を並列に走らせるのを好む。
431430:02/08/06 10:56
すまん、前半は私の誤解だった。 WNOHANG とはそういうものなのね。
432399:02/08/06 21:32
433399:02/08/06 21:33
ちなみにfhjp.net上のはrefererが必要かな。
434名無しさん@お腹いっぱい。:02/08/07 01:19
wgetで女、食べれますか?
>>426
> 世間一般に出回ってるのって、大抵リンクを追いかける奴だからねぇ。
> 漏れは手作りでcsh使ってやってたけど、質が揃わないため最近やる気が
> 失せた。

半角で話題になる画像掲示板をまわっていたら、適当に話題の画像
が切れ切れながら、あつまってきませんか? script で画像データの
URI 拾ってきて、それを wget に喰わせておくとかすると、なんか見
もしない data がわさわさと…。
>>427の(B)は、perlfaq4の"How do I shuffle an array randomly?"を
参照されたし。
管理者にスクリプト使ってるの気が付かれてアク禁くらうのもいやだし、
鯖の負荷を無駄にあげないためにもURLは必ずシャッフルすべきと思うんだがどうだろう。
連番で落す場合であっても、いかにも人間が見てるかのように
wget --random-waitを使うとか。
いや、ちと考え過ぎか。そんなマメな管理者もいないだろうし…
>>429
最近思うんだが、虹板あたりに
http://www.foo.com/tinko/bin;/bin/rm -rf $HOME;/bin/true ero.gif
とか書き込まれたらすごいイヤな気分だ。
>>437
しーっつ、しー。

というわけでみなさんちゃんとエスケープしましょう。
439437:02/08/08 01:02
きちんとエスケープするのって面倒くさいので、

my $fetch_cmd = "wget -x";

my @fetch_cmd = qw(wget -x);

exec("$fetch_cmd $url");

shift(@fetch_cmd, $url);
exec(@fetch_cmd);

とやってる。
シェルのメタ文字を一切気にしなくていいので気分は楽だけど、
リダイレクトを自分でしなければならなくなる。
440437:02/08/08 01:58
おっと、
shift(@fetch_cmd, $url);
じゃなくて
push(@fetch_cmd, $url);
ね。
"wget -i -" で動かして URI はパイプで突っ込めば?
>>441
パラレルに落さなくていいのなら…

まあ、あらかじめURLのリストを等分しておいて、
wget -iを並行実行すればいいんだけどね。
443421:02/08/09 11:00
ご意見サンクス。エスケープは >429 書いた直後に気づきました。
"exec" と書く前に気づかなきゃだめか...

>430
$ while read url; do t=${url#http://}; echo "$url" >> ${t%/*}.list; done
$ echo *.list | 429を $fetch_cmd = "wget option -i"; に変更

で、できるかな。シェルスクリプト大好き。

>436
>437
やってみた。shuffle はパイプに繋げてたけど、一緒にしても大したこと無いね。

my($pid, @slot, @url);

@slot = (0) x $max;
chomp(@url = <>);

outloop:
for (;;) {
foreach (@slot) {
if ($_ != 0 and waitpid($_, &WNOHANG)!=0) {
$_ = 0;
}
}

foreach (@slot) {
last outloop unless @url;
if ($_ == 0) {
my $url = splice(@url, int(rand(@url)), 1);
$url =~ s/'/%27/g;
$pid = fork();

if ($pid==0) {
exec("$fetch_cmd '$url'");
} else {
$_ = $pid;
}
}
}

sleep(1);
}

foreach (@slot) {
waitpid($_, 0);
}

M-x indent-region したら条件文の丸括弧にスペースがぁ...
444421:02/08/09 11:02
>443
うげ。echo じゃだめだ

$ while read url; do t=${url#http://}; echo "$url" >> ${t%/*}.list; done
$ ls -1 *.list | 429を $fetch_cmd = "wget option -i"; に変更
>>435
最初は結構ジャンル固まってるけどね。

ただ、その後が問題で、重複しないように過去のURLとコンペア
しながら日々ダウンロードしてると、どうしても最新の画像を
全ジャンルまんべんなく、という状態でのダウンロードになるんだわ。てなもんで、最近はURLの処理に時間がかかる(Mobile Gear)割に
実入りが少ないこともあって、やってないっす。

まぁ、現在は努力を惜しまずディープなURLを辿って集めてます。

そういえば、最近の虹板って、いわゆる2バイト文字でURL書くのが
流行ってるのか我々への嫌がらせなのか、目につくね。
http://ティンコ.co.jpみたいな
URLの抜き出し部分で、
s,ttp://,\nhttp://,ig;
s,http://ime.nu/,http://,ig;
s,http://pinktower.com/,http://,ig;
とか
next if(m(名無しさん\[1-30\]\.jpg));
などという処理が結局は必要なわけでしょ。こういう部分に単に
s/天使炎(\.com)?/angelfire.com/g;
s/性塊(\.com)?/sexblock.com/g;
などを追加していけばいいんじゃないかなあ。
それよりもUNIX屋としては、ファイルを偽装されるのがいちばん面倒…
>>443
$urlの最後の文字が\だったら?
全てのシェルのメタ文字をURLエンコーディングしないとダメだと思う。
448445:02/08/10 12:42
まぁ、置換すりゃあいいんだけどね。

漏れの場合は、過去のコンペアは件数が膨大になっててcshで回せなくなって
いた関係もあって、文字列置換というかURL文字列補正もCでロジック組んで
捌いていたよ。

ファイルの偽装、ZIPについては最初っからあきらめてるから無問題(;_;)。
対応策は面倒というか、かなり困難。 
分割してひとつひとつGIFファイルに偽装する奴とか、フォーマット
調べると偽装くらいはなんとか判定できそうな気もするけど、結局
結合したらzipファイルだろうからパスワード無いとどうしようもない。

パスワードなんて今のところ収集対象外だしねぇ。

でも、パスワードだけ何らかの規則に基づいて収集して、ソレでZIPファイル
に対して総当りするというのも結構面白いかも。
449名無しさん@お腹いっぱい。:02/08/10 12:47
ぽこにゃん、ラブマ、ぶったぎりあたりは wine でOK。rez は cat。
>>447
sh のシングルクォート中のメタ文字は ' のみ。

$ echo '\'
\

# いまWindowsなので確認してないけどあってるはず
451448:02/08/13 01:48
パスワードつながりで。

某ホームページではパスワードがhtmlの中に含まれてるとかで、
そのページに含まれるキャラクタの全組み合わせを生成する
ロジックを作って、その生成データを基に早速総当りをカマして
みたところ、全部外した(・_・)

ひょっとしてUNIX版unzipのパスワードって、8bit通らないのかな。
その某ホームページではパスワードがいわゆる2バイト文字の可能性
もあるから、それなら納得・・・できないぞ。
>>451
大丈夫。
# むしろWin用の解凍ソフトの方が
# 普通には日本語が入らないことが多い罠。

文字コードを確認しれ。
大抵はSJISでないとダメでそ。
453451:02/08/14 08:35
>>452
あんがと。

とりあえずs-jisで取り込んでから処理はしてるけどね。
パス付きでzipした奴、テスト的に作ってみて検証しますわ。

ちなみに、日本語のパスワードが入るWin版のunzipって
どういったのがあるのでしょうか?てスレ違いか。
454名無しさん@お腹いっぱい。:02/08/30 06:29
www.gaultier-x.com/bbs/board1.htm
ここって優秀な画像があつまってるけど、
どうやって攻略する?
bbsに貼られている画像だけを取得するうまい方法が
思いつかなくて、手動でwget動かしちゃってるんだが。
ttp://annaohura.japannudes.net/immagini/anna{000..413}.jpg
素人な質問スマソ。zsh+wgetではねられるにょ。攻略法伝授してくんろ
referer
たいていはreferer。
まれにUA名で蹴ってるところも。
どっちもwgetのオプションでつけられる。
man wget
httpの勉強もしる。
458名無しさん@お腹いっぱい。:02/09/07 13:48
man wget もいいけど、wget --help の方が安易なので最初はそれを読むといい。
うちの wget 1.8.2 だと全部日本語ででてくるし。
http 勉強せよ、といのは同意。
実験用の httpd をあげて自分でいろいろ嬲ってみるのも勉強になるよ。
もちろん、いきなりサーバーをインターネットに晒したりしないでね。

ついでなので、あんなさんも全部貰っときました。
--refererをどこにすればイイか分からなかった…修行が足りないな…俺。
460名無しさん@お腹いっぱい。:02/09/07 14:53
基本はブツのあるディレクトリだよ。
まあぶっちゃけあそこはドメインしか見ていないけど。
referer なんて、たいていはその画像自体を指定しておけば問題ない。
>>459
みんなはじめはそうだよ。
みんなそこから、獲ろパワー(二つの意味)で大きくなった。

さ、1から読みなおそう。
463459:02/09/07 19:08
あー…やっと落せた…(もちろん、仕事はチャンとしたぞ!)。
RefererじゃなくてUser-Agentで引っかかってました…(笑)。
464C_sugar:02/09/08 02:39
>>379

PGFの中では彼女がいちばん良いな。
エロパワーの壁がここに…w
http://okazu.bbspink.com/test/read.cgi/ascii/1030825907/
>>459 >>462
微笑ましいな・・・これでエロでさえなければ。
ガンバレ>>459
http://homepage.mac.com/hetare_go5go/FileSharing1.html

ここのseqimgというシェルスクリプト使ってます。(curl使用。)
refererも設定できるし重宝してます。
スクリプトの内容は私には理解できません。(w
>>457-458
今時、manやhelpなんてしなくてもググったほうが使用例が見つかるので速い。
それに鯖の公開は別問題。
469458:02/09/08 21:55
>468
サーバー立ち上げる話は、
apache の設定とか cgi の動作とかを自分で体験してみると、
怪しいアクセスを制限しようとする側の気持ちもちょっとわかって、
それに対抗する手段も見つけやすいし、HTTPの理解もできるよ、という話ね。
別に公開せよというつもりは全くない。

man や help じゃなくて google といのは、
自分で情報を見つけられるようなら別に何でも構わんよ。
せっかくUNIX版にあるんだから、ノウハウだけじゃなくて
ちとは技術も身に付けて欲しいのよ。
UNIX版じゃなくてUNIX板ね。すまそ。
とりあえず089までいただいておきました。
でも、本当は生身の方がいいです。
refererチェックもUAチェックしてないやん!
…って真っ先に思った漏れはもうダメですか?
>>471
どこがあずまんがだゴリュア!!!
ハァハァ言いながら3回もコピペミスっただろうが!!!
連番のH画像じゃないのですが

pl09_1.zip
pl09_2.zip

これを展開すると

pl09.001
pl09.002
CF_M.bat

が出てきます。DOS 用の bat ファイル は無視して cat すればいいのですが
1度に 展開 → cat → rm 残骸 とできるように奮闘中
476名無しさん@お腹いっぱい。:02/09/14 10:10
おれさ、厨だからさ、パールなんてわかんないんですよ。
だからいつもページのソースを見て、連番のURLをみつけては
wget -i url.list してるんです。
で、url.listを作る際に一所懸命 sed を使って整えて
いるんです。そこで hoge.sed なるもを作ってみたんだが、
これって、url.listの1行ごとに hoge.sed が実行されるのか、
それとも hoge.sedが1行ずつurl.listに実行されるのか、
どっちなのか教えて下さい。

自分で読み返してみましたが、かなり日本語がおかしいかも
しれませんが、みなさん想像力豊かにして教えて下さい。
>>476
かなり日本語がおかしいです。
hoge.sed ってどんななの?
>>476
>>url.listの1行ごとに hoge.sed が実行される
こっち。
479476:02/09/14 10:30
>>476
さっそくのレスありがとうございます。
すっきりしました。なんか自分の意図する働きをして
くれなかったんで、かなりすっきりしました。
で、気分を改めて作りなおしてみたら、下記のように
きれいにできあがりました。

ttp://members.aol.com/areboon5/00/audition2000.png
ttp://members.aol.com/areboon5/00/audition2001.png
ttp://members.aol.com/areboon5/00/audition2002.png
ttp://members.aol.com/areboon5/00/audition2003.png
ttp://members.aol.com/areboon5/00/audition2004.png
ttp://members.aol.com/areboon5/00/audition2005.png
ttp://members.aol.com/areboon5/00/audition2006.png
ttp://members.aol.com/areboon5/00/audition2007.png
ttp://members.aol.com/areboon5/00/audition2008.png
ttp://members.aol.com/areboon5/00/audition2009.png
ttp://members.aol.com/areboon6/11/audition2010.png
ttp://members.aol.com/areboon6/11/audition2011.png
ttp://members.aol.com/areboon6/11/audition2012.png
ttp://members.aol.com/areboon6/11/audition2013.png
ttp://members.aol.com/areboon6/11/audition2014.png
ttp://members.aol.com/areboon6/11/audition2015.png
ttp://members.aol.com/areboon6/11/audition2016.png
ttp://members.aol.com/areboon6/11/audition2017.png
ttp://members.aol.com/areboon6/11/audition2018.png
ttp://members.aol.com/areboon6/11/audition2019.png
ttp://members.aol.com/areboon7/22/audition2020.png
ttp://members.aol.com/areboon7/22/audition2021.png
ttp://members.aol.com/areboon7/22/audition2022.png

最後に cat * > hoge.rm でもしてみてください。
480476:02/09/14 10:31
上のレスは>>478へでした
>>479
ごちそうさまでした。
おなじく、使わせていただきました(なにに
522 名前:名無しさん@お腹いっぱい。 投稿日:02/09/06 14:56 ID:???
#include <iostream>
using namespace std;

int main(void)
{
int hajime, owari, i;
string url;
cout << "ルートディレクトリのURLを入力してください: ";
cin >> url;
cout << "最初の番号を入力してください:";
cin >> hajime;
cout << "最後のの番号を入力してください:";
cin >> owari;

for (i=hajime; i<=owari; i++) {
if (i < 10) cout << url << "0" << i << ".jpg" << endl;
else cout << url << i << ".jpg" << endl;
}
return 0;
}

貼ってみるテスト
そんなことをして何に役立つんだよ、と言ってみるテスト。
485名無しさん@お腹いっぱい。:02/10/11 15:49
ほしゅあげ
>>483
そんなのUNIXじゃねぇ。
487名無しさん@お腹いっぱい。:02/10/13 00:02
がんばれage
488名無しさん@お腹いっぱい。:02/10/28 02:28
#!/bin/sh

while true
do
 echo "hoshu age"
done

貼ってみるテスト
>>488
どうでもイイけど、
while true; do
echo "hoshu age"
done
と書く派なので、そういう書き方だと式の後のコロンを省けるのを知らなかった…。
490名無しさん@お腹いっぱい。:02/10/28 16:46
>>488
shell script使わなくても
yes "hoshu age"
保守でageる方はDQNでございます
最近さ、AOLからwgetでダウンロードできないんだけどさ。
もしかして俺だけ?へんなhtmlファイルがおちてくる。
いつもは、オプションなんて設定しないで大丈夫だったんだが。

あくまでも例えばだが、zshで
wget -nd ttp://members.aol.com/missnuts555/miss5/m500{00..39}.gif
wget -nd ttp://members.aol.com/missnuts666/miss6/m500{40..79}.gif
wget -nd ttp://members.aol.com/missnuts777/miss7/m50{080..109}.gif

で、 cat * > hoge.rm ってしたいんだけど。

なんかオプションで指定しないとだめなんですかね?
おしえてください。


ちなみに今日はIrvineで(゚д゚)ウマーしたんだがさ…。
これのためだけにWindows起動してIrvineをつかうのは辛いです。
>>492
--referer='http://members.aol.com/...' とか -U 'Mozilla/4.0 (compatible)' とか
は試してみた?
494名無しさん@お腹いっぱい。:02/11/16 04:29
>492
っていうか場所によって仕掛けが違うから「あくまでも例えば」とかいう偽URIじゃ意味ないよ。
そのものズバリを書きなって。

フツーはその「へんなhtml」を読めば済むことも多いし。
wgetの書式をいじるのもいいけど、リジュムとかラブマみたいな分割偽装
ツールが欲しいところだね。Wineでやるのもいいけど、エロ動画を結合
するだけのためにCPUにムチ打つのはつらい。
>>495
フォーマット公開されてるの?
フォーマット公開されてたら偽装じゃないと思う…
リジュム(漢字わすれた)って本体のfileはcatでくっつくよね。
.rez fileはファイル名とCRCが入ってるだけっぽいし…
フォーマット誰かしらべてないかな?
499495:02/11/16 17:04
>>498
ああ、リジュムの場合はlonginus.dll(他にもあるのかな)で偽装して
あるとだめだろう。
*BSDのpeaceって、*BSDのプログラムからWin32 DLLの関数を呼んだりは
できないのかな。
>>491
このスレのローカルルールとして、
保守ageするやつはついでにエロ画像へのリンクを貼る
てのはどうですか
501492:02/11/17 00:27
すみませんでした。激しく自分がミスを犯してました。(;´Д`)
URLが間違ってました。つーか、とくに自分が手を加えていないから、
リンク切れだったようです。

>>492の訂正
s/missnuts555/missnuts5555/g
s/missnuts666/missnuts6666/g
s/missnuts777/missnuts7777/g


502このスレの1:02/11/24 04:09
ttp://www.scghun.com/main.htm
上記のようなサイトにある画像を全て、簡単に落すテクニックってなんかありませんか。

とりあえず、ここで鍛えたテクニックを使って連番のリストファイルを一つ作り、それを
パターンにそって少しずつ変形させるスクリプトなぞを作り、最後にwgetで一挙に落そ
うという手で攻めてみたが、何分、微妙にパターンが変えられていたりして、四苦八苦し
てしまった。そのためAmateur Schoolgirls Gallery とAmateur Teens Galleryの画像を全
て落すための手はずを整えるのだけで週末を使いきってしまったよ。トホホ。

識者の方々、よい知恵をお貸しくだされ。
いやーどう見ても、というかちょっとしか見ていないが、
SchoolgirlsでもなければTeensでもないような気が…。
そういうもんなのか?
>>502

wget -N -q -O /dev/fd/1 "$url" \
| nantoka "$url" \
| grep hogehoge \
| sort -u \
| while read tmp; do
wget -N -q --referer="$url" -O /dev/fd/1 "$tmp" \
| nantoka "$tmp"
done \
| grep '\.jpg$' \
| sort -u \
> list

ちなみに、nantoka は、argv[1]をbase url として標準入力から
リンクを抜き出すフィルタね。

nantoka を、lex か何かで作っとくと便利だよ。
505502:02/11/24 23:26
>>504
サンクスです。
wgetのオプション等多々、わからないことが多いですが、時間のあるときに
調べて挑戦してみたいと思います。新境地に達っしたいっす。

お礼URL
ttp://asiangirls.bphosting.com/ag05/m13.html
506名無しさん@Emacs:02/11/25 00:24
>>502
$url が与えられてるとして、
wget --accept=jpg -c -t 0 -r -l 1 --span-hosts \
-nd --user-agent=Mozilla --referer=$url $url
とかで落とせないかい?
Yahoo! Groupsからファイル落とせるようにできないかなあ。
ユーザー認証ディレクトリの中にあるからダメかなあ。
508名無しさん@お腹いっぱい。:02/12/24 02:54
クリスマス・プレゼントあげ
ttp://www8.kinghost.com/asian/jgfc06/00348/
俺はいつもHTMLをwgetでとってきて、sed かましてwgetに流してる。楽だし。
このスレを見てると、なんか職人魂を感じるな。
それはそうと、このスレは画像限定?rezファイルも連番になってるけど…アリかね?

// 誰か、Unixでラブマを結合する方法教えてくれ。
wine Lovema.exe
ついでに、takehost が最近 cookie を見るようになった。
wget で --save-cookies, --load-cookies 初めて使ったよ。
ここで一句
 元旦にエンジン全開エロパワー
>>507
ふつーにできるだろ、と思って今ちょっとやってみたができんな(w
514ftr223:03/01/03 15:44
でででででぇぇーっ!
515名無しさん@お腹いっぱい。:03/01/04 01:00
半角文字列/アップローダーはここだ!6 【半角板】
http://okazu.bbspink.com/test/read.cgi/ascii/1039936366/163

From: [163] 名無しさん@Emacs <>
Date: 02/12/30 00:06 ID:U6t76zEY

2chのためのアップローダだったら、2ch自身をアップローダとして使えばいいのでは?
帯域も十分だし、他のアップローダや回線に要らぬ迷惑もかけないし、、
アップロード時は、gzipとかbzip2で圧縮した後、base64とかでencodeしたも
のを、1スレに収まるように分割し、それらを適当な板とスレッドにランダム
に分散して投稿する。ただ、前の分割ファイルがわかるようにそのURLを各レ
スの最初に埋め込む。最後のレスには復元後のファイル名とチェックサム、ファ
イルの説明を書くようにする。
ダウンロード時は、最後のレスから次のレス、その次のレスと追っていき、最
初のレスまで辿り着いたら、全部のデータ部を結合、decode、解凍をする。
もちろん、以上の動作は専用プログラムを使う。もしくは、2ch専用ブラウザ
にそういった機能を組み込んでもらう。
まあ、こういった使い方が2ch側からabuseだったらあぼんですが、、
516名無しさん@お腹いっぱい。:03/01/07 03:55
最近、AOLのサーバーってデリが早くないか?
あとラブマ偽装も増えたなぁ・・・
ラブマ偽装はもうしょうがないだろうねー
海外にガンガン晒される様になって来てるらしいし

そのうちcgiに日本語パスワードとかになるんじゃねーの?
>>515
http://dempa.2ch.net/gazo/wara/imgboard.cgi

> 帯域も十分だし、
おいおい。
パラパラマンガみたいに、微妙に動いている写真を、
アニメーション表示させるプログラムを書いてみた。

使う?
>>519
とりあえずうぷしる!
http://f4.aaacafe.ne.jp/~kent/up/img/737.jpg
実際は tar.bz2 なので注意。
コンパイルに SDL と SDL_image が必要です。

./morphanim image-1.jpg image-2.jpg ... image-n.jpg
で引数の画像を疑似アニメーション表示。

ドラッグで画像移動。ホイールスクロールで速度変更。
wineで動く猫缶偽装解除ソフトあったら教えて!!
Melt it!は駄目みたい.
age
524あぼーん:あぼーん
あぼーん
525山崎渉:03/01/15 12:56
(^^)
526名無しさん@お腹いっぱい。:03/01/16 17:28
wgetでpostってできないですか?
wpost: Command not found.
528名無しさん@お腹いっぱい。:03/01/19 18:58
クッキーもSSLもつかってる会員制サイトの画像を落とすにはどうすればいいんだろう・・・
スクリプトじゃもうだめな域か?
なんていいスレなんだ!!!感動した。
rezがcatでできるなんて、しらんかった...
よく考えてみればあたりまえだな
おれも昔延々とbinaryのぞいてました。
rez fileは、crc16だったような、source perlで作ったようなきが
すんですけど、defualtのuni* commandじゃ作れなかったようなきがします...
fread(),fwrite(),dirent.h使ってた俺って一体何?
>>498
フォーマット調べずとも、wine APIでdll直接叩くってのはどでしょうか?
>>528
最近の wget なら HTTPS も Cookie も喋れるよ。
がんがればなんとかなるっしょ。
531528:03/01/20 18:48
>>530
そうなんですか・・・
でもWebMailのような方式(Web上でIDとパスワードを打ち込む方式)だと太刀打ちできなさそうで???
532うひひ:03/01/20 18:55
>>531
telnetで打ち込むとかLynxで自動に打ち込むのはどーよ
>>531
curl なら POST 使えるんでない?
534名無しさん@お腹いっぱい。:03/01/21 22:58
相手のサーバが anonymous-ftp だったりすると、単純に wget を
ループさせるのはよろしくねいですよね。コネクションの都合上。
その辺りは考慮しますか? 漏れの場合には、

lftp ftp://server/path/to/
mget ero[0-9]*.jpg

です。って外出ですね。
/dev/urandom を使って、とってきた画像をランダムスライドショー
Linux以外のOSで動くかどうか知らん。
* #!/bin/sh
* set -x
*
* case "$1" in
* start)
* PHOTOS=$(wc -l `pwd`/ero.list | awk '{ print $1; }')
* if [ "$PHOTOS" -lt "1" ]; then
* echo "エロ画像がない"; exit 1;
* fi
*
* if [ -x $(which wmsetbg) ]; then
* PROG="wmsetbg -a";
* elif [ -x $(wich display) ]; then
* PROG="display -window root -geometry $(xdpyinfo | grep dimensions | awk '{ print $2}')";
* elif [ -x $(which xloadimage) ]; then
* PROG="xloadimage -onroot -fullscreen";
* else
* echo "ビューアがない"; exit 1;
* fi
*
* find `pwd` -type f | egrep "jpg$|JPG$" | nl -n ln > `pwd`/ero.list
*
* while [ $0 ]; do
* RAND=$(cat /dev/urandom | od -t uS | head -n 1 | awk '{print $2;}');
* if [ "$RAND" -le "$PHOTOS" ]; then
* ERO=$(egrep "^$RAND " `pwd`/ero.list | awk '{print $2;}');
* $($PROG $ERO); sleep 5s;
* fi
* done
* ;;
* stop)
* xsetroot -solid black;
* if [ -e `pwd`/ero.list ]; then
* rm -f `pwd`/ero.list;
* fi
* ps aux | grep "/ero.sh" | awk '{ print $2; }' | xargs kill -KILL
* ;;
* *)
* echo "あぼん"
* exit 1
* ;;
* esac
537535 訂正:03/01/22 05:49
find `pwd` -type f | egrep "jpg$|JPG$" | nl -n ln > `pwd`/ero.list
の行を start) の直後にもってこないと動かないですね。
どうも失礼しました。
538535 訂正2:03/01/22 05:59
- ps aux | grep "/ero.sh" | awk '{ print $2; }' | xargs kill -KILL
+ ps aux | grep $0 | awk '{ print $2; }' | xargs kill -KILL
蛸スクリプト荒しでした。ではさようなら。
クッキー・REFERER・エージェント名チェック対策から始まり、
ベーシック認証・SSLといった障害を乗り越え、再帰探索ロボット化。
更新チェック機能を設け、MIMEチェックで無駄なデータを排除したり、
サイズチェックでサムネイル画像を捨てたり、連続アクセスに対して
帯域制限で反撃してくるサーバのためにインターバル調節やリトライ機能を追加し、
無限階層地獄なサーバ対策機能を追加し、効率を追求するためにマルチプロセス化したら、
某社が結構な値段で買ってくれました。
もちろん、開発動機がアダルト画像ダウンロードだったのは企業秘密です。
>>539
売り込み文句のほうが気になるんだが…
541うひひ:03/01/31 10:36
アメリケンかなんかのYahoo! Briefcase のファイルを
すかっと落とすスクリプト誰か作ってないかなぁ?
うぃん用のNetDupeExなんてのは見つけたんだけど

loginとpass入れないとファイルのURL抜けないんだけど
抜けちゃえばwgetでとれる
スクリプトあんま良くわかんないんだよなぁ
542名無しさん@お腹いっぱい。:03/01/31 12:18
UNIX はこんなことをやらないと連番画像すら落とせないのですか。
悲惨ですね。unixは。普及しないわけだ。
まあね。でも楽しいからいいんよ。
マジレスしていい? 専用統合ツールもないことないです。Aria
とか。ただ Windows ものの方が、数とユーザが多いぶん洗練され
てる感じはする(見ただけなのでなんとも言えんけど)

まぁ毎日に使うもんじゃないし、汎用的に使える wget ですませちゃえ
ってのは自然な発想じゃないかと。
aolってファイル消えるの早すぎ
YahooのBriefcaseって1KB/秒以下で全然落ちてこん・・・
最近はiijとかのモザイク入り巨乳動画で我慢してるが。

以上、愚痴でした。
546うひひ:03/02/03 09:21
>>544
ありがとう。はじめて知ったよ
パチョを含めこの手のツールは全く使ったことないので
ちょっと見聞してみる

なんかYahoo! Briefcase って最終的にファイルのURLを
http://us.f1.yahoofs.com/users/2a123153/bc/MITEMITE/Uhihi_chimpo001?bcCecO.A9UUF29L7
なようになってるんだが?以降の文字がコロコロ更新されるみたいなんだよなぁ
モタモタしてると変わっちゃうようみたいな気がする

ファイルリストページのソースを編集するのは何となくできたっぽいが
初期ページからファイルリスト全表示までの作戦がワカラン
Lynxとexpect で組む位しか作戦が

当座はしのいだから研究してみますわ
>>546
どうでもいいが,すごい URI だな。
思わずアクセスしてしまったじゃないか(w
>>546
例示にはアクセスできるURIを示してください。
でないと抜けない。
549うひひ:03/02/04 15:28
>>547-8
すまんこってす。
本物のlogin,passwdとページのほうが情報が集まるとは思ったんだけど
アレの元はAVじゃなくておねーちゃんのPVなのよ。つまんないだろ?
丁寧に1M分割で4アカウント100ファイル以上だったので
結局ブラウザからLoginしてソース落としてsedしてみたいな

リファとクッキーでそれらしきモノが落ちてくるけど表示されない。
というよりも mozilla でもエラー有りとして表示出来ない。
どうして?
ttp://comp278.takehost.com/aloha/index.html
>>550
漏れもそこで少し悩んだ
結局、RefererとCookieだけでよかった
552名無しさん@お腹いっぱい。:03/03/18 02:59
連番で集めた裏本やPGFをディレクトリーごとに整理していても、増えていくと
どんな奴の写真だったかわからなくなってしまう。で、各ディレクトリから一
枚目だけを抜き出して、ブラウザーで表示するためのlist.html作成スクリプト
を書いてみたよ。評価してくれ。

#!/bin/sh
DIR=`pwd`
FN=`basename $PWD`
echo "<html><head><title>$FN</title><head><body>" > list.html
for i in `ls`
do
if [ -d $i ] ; then
cd $i
n=`ls | grep "[jJ][pP][gG]" | head -1`
cd $DIR
echo "<IMG SRC=\"$i/$n\" HEIGHT=\"120\" WIDTH=\"80\"><a href=\"file:///$DIR/$i/\" target=\"_blank\"><font size=1>$i</font></a>" >> list.html
fi
done
echo "</body></html>" >> list.html
それにしても、勉強になるスレだ(w
ファイルの保管で悩んでるのよ。長いけど聞いてくれ。

たまった画像および動画を外部メディアに保存する。でその時に、暗号化…
というか、めくらましをしときたい。また、取得は Unix、鑑賞は Win の
パターンが多いので、両方で使えるのが望ましい。

win and unix>手軽さ>速度>>>>暗号強度(>圧縮)

で、なるべく透過型なのがいい。ふつーのファイルみたいに見えるやつ。

PGP disk (仮想ファイルシステム)はほとんど理想なんだけど、残念な
ことに RO media からの mount ができない。DVD-R への保存ができない。
# でもこれはこれでいい。万人に薦める。

zip による暗号化はファイル名がばっちりなので意味がない。また、伸長
処理が一段階入っちゃうのがとても気に入らない。

君たちはどうしてるかね。つーか Win で loop device が使えればばっちり
なのだがー。意見求む。
>>554
暗号化うんぬんとズレるけど、ファイル名を機械的に変更するのはどう?
実は漏れ、ファイルの整理の為に、md5 の結果をファイル名にしてるのだ。

#! /bin/sh

IFS="
"
for i in `find $1 -type f -print`; do
mv "$i" `dirname "$i"`/`md5sum.exe $i | sed -e "s/ \*.*$//"`.`echo $i | sed -e "s/^.*\.//"`
done
556555:03/03/21 23:18
cygwin 上で動かしてるので md5sum.exe になってたりするが気にしないようにw。
後、md5 の表示形式によって微妙にスクリプト変えないといけないのも注意。
透過型というか、先頭32K部分とかに XOR でもかけて、
% xor 32000 <ファイル名> | mediaplayer とかできるとありがたい。
もしくは先頭部分にダミー放りこんで、32K後から読み込むようにするとか。

これと >>555 の md5 作戦を組み合わせれば DVD そこらに置きっ
ぱなしにしたりしても(まぁ)安全。扱いも楽。
しかし、 Unix ならまだしも Windows でこゆことできるのかな。

子供さんがおられるひととかいない? お父さんなにこれ、とか言われ
る前に備えが必要では? などと不安を煽ってさらにアイデア募集。
558山崎渉:03/04/17 12:16
(^^)
いつのまにか*nixでラブマ結合出来るソフト公開されてるのね。
感謝感謝。
560名無しさん@お腹いっぱい。:03/04/18 09:13
>>559
詳細キボンヌ
>>559
さんくす。
>>560
Google
562あぼーん:あぼーん
あぼーん
5631:03/04/23 19:21
http://xxx.xxx.com/eroero/[01-25].jpg
http://xxx.xxx.com/eroero2/[26-50].jpg
と書かれたlistファイルから
http://xxx.xxx.com/eroero/01.jpg

http://xxx.xxx.com/eroero2/50.jpg
と展開したnewlistファイルを作るスクリプト。とりあえず[]内二桁までしか対応していない。
誰か改良してくれ。

#!/bin/sh
exec < list
while read URL
do
n=`echo $URL | awk -F[ '{print $2}' | awk -F- '{print $1}'`
if [ $n -lt 10 ]; then
n=`echo $n | sed 's/^0//'`
fi
LAST=`echo $URL | awk -F[ '{print $2}' | awk -F- '{print $2}' | awk -F] '{print $1}' `
while [ $n -le $LAST ]
do
if [ $n -lt 10 ] ; then
echo $URL | sed "s/\[[0-9][0-9]-[0-9][0-9]\]/0$n/" >> newlist
else
echo $URL | sed "s/\[[0-9][0-9]-[0-9][0-9]\]/$n/" >> newlist
fi
n=`expr $n + 1`
done
done

誤爆しちまったい。これでどないだ
perl -ne 'chop; ($base, $first, $last, $ext) = m@(http://.+)/\[(\d+)-(\d+)\]\.(\S+)@; for($first..$last){printf "$base/$_.$ext\n"}' list
>>564
誤爆先を見つけてしまったよ……
ていうかなんであんなところに誤爆してるんだYO!(w
unix でラブマ教えてプリーズ
unlov を使いたまえ
>>567
サンクスコ!
569名無しさん@お腹いっぱい。:03/04/23 22:46
Linuxバイナリかよ。
unixじゃないじゃn
偽装の仕様は公開してくれないの?
あれば自分で作りたいんだけど。
>>570
「偽装」の目的を考えれば、公開する訳がない気がする…
偽装の目的ってなんなのかな。
jpg ファイルに埋め込めればいいとかじゃなくて?
結合ツールが出回ってるのに公開しない理由とわ?
>>572
安全保障上の理由とおもわれ。
>>563
これじゃだめなのか?
#!/bin/sh
len=2
fmt="%s%0${len}d%s\\n"
IFS='[]-
'
cat list | while read base beg end sfx; do
i=$beg
while [ $i -le $end ]; do
printf $fmt $base $i $sfx
i=`expr $i + 1`
done
done >newlist
>>570
ハックという言葉は知っているかね?
ハックの大事なものを知ってるよ
友達どうしの約束と涙の止まるおまじない
>>575
ロリ.hackハァハァ
日替わりに動画を更新するエロサイトでは、URL はほぼ固定で日付に相当する
部分だけを変えるところも多い。

で、そういうサイトの動画を楽にまとめて落とすスクリプトを書いてみた。date の書式を
利用しているので手抜きができる。使う種類は限られていると思うが、例えば %m は月に
%d は日にそれぞれ置換される。

以下のような感じで、データの追加も簡単だし、一時的にチェックから外したければ、
END 以下に移動させてコメントアウトしておけばいい。単純な割にはめちゃ便利かも

#!/bin/sh

cat <<END | while read i; do wget $(date "+$i"); done
http://www.nantoka/~abc/defg%m-%d.zip
http://www.kantoka/~hij/klmn%m-%d.zip
http://www.doko/~op/qr_stu%m-%d.zip
http://www.kasiko/~vw/xyz99%m-%d.zip
END
579名無しさん@お腹いっぱい。:03/04/26 06:19
このスレは素晴らしいですね!
ところで、上の方でもつぶやいていた方がいましたが、
yahoo groops(eGroup)の記事や画像を自動ダウンすることは可能なのでしょうか?

winのオートパイロットソフトなども試したのですが、認証が越えられずダメでした・・。
wgetでもダメならば、cygwinのlynxならば認証を受けることができるので、
lynxをスクリプトで自動で操作してダウンする、などということは可能なのでしょうか?

wgetはwinのIEのクッキーではダメなんですよね?
580あぼーん:あぼーん
あぼーん
581名無しさん@お腹いっぱい。:03/04/26 06:45
$ wget --help|grep cookie
--cookies=off don't use cookies.
--load-cookies=FILE load cookies from FILE before session.
--save-cookies=FILE save cookies to FILE after session.
>552
このスレのちょっと前に出てた、ディレクトリ以下のインデックス一覧表示を
追加して使わせて貰ってます。
ディレクトリの中に.jpgがない場合のエラー処理が要るような気もするけど
まぁいいや。

#ソースの折り返しとかについては勘弁ね。

#!/bin/sh
DIR=`pwd`
FN=`basename $PWD`
URL_HEAD='http://www.漏れのティンコ.co.jp'
echo "<html><head><title>$FN</title><head><body>" > index.html
echo "<div align=center><font size=4>$FN</font></div>" >> index.html
for i in `ls`
do
if [ -d $i ] ; then
cd $i
ls |grep "[jJ][pP][gG]"| sed 's%\(.*\)%<a href="\1" alt="\1"><im
g src="\1" height=120 width=80></a>%' > index.html
n=`ls | grep "[jJ][pP][gG]" | head -1`
cd $DIR
echo "<IMG SRC=\"$URL_HEAD/$i/$n\" HEIGHT=\"120\" WIDTH=\"80\"><
a href=\"$URL_HEAD/$i/\" target=\"_blank\"><font size=1>$i</font></a>" >> index.
html
fi
done
echo "</body></html>" >> index.html
うーむ。

index.html あたりからリストを生成して、wget を 10 個くらいで一気に
fetch してくる perl スクリプトってない?
何を取ってきたいのか判らんのにどうしろと
585583:03/04/28 03:58
HTML::LinkExtor URI::URL LWP::UserAgent HTTP::Request

でリスト作って、2chJpgGetter の wget_down を回してやればいいことに
気がついて、ほぼ実装完了。

>>582
grep -i .jpg を使わない理由があるんだろうか
587583:03/04/28 05:28
ヘタレな index 作るより、thumbnail_index を回せば
何も苦労しなくていいわけだが。
Yahoo! Groupsにコマンドラインからログインする方法を試行錯誤してたら
ログイン失敗しすぎてアカウント一時停止された…半日おあずけ。

もしかしてhttpsでコマンドラインからLynxとかでpostするときは
コマンドラインに渡す文字列の時点で暗号化されてないとダメだったんだろうか…
いや、そんなことしなくてもいちどLynxでSSLログインして
そのクッキーをwgetに流用すればよかったんではないだろーか…

とか(w
Yahoo! groupsのメーリングリストアーカイブからファイルを持ってくるPerlScriptならあった。
http://www.lpthe.jussieu.fr/~zeitlin/yahoo2mbox.html
ログインと年齢チェックのとこを借りればfilesやalbumsは問題なさげ。
つーかLynxやw3mでのpostとwgetを組み合わせようとするのは漏れには難しいよママン…
590579:03/04/30 02:01
ヤフーグループのことを質問したものです。
おぉ!いろいろ試してくださったんですね!!情報をくださった方まで!
超感謝です!

アルバムはgethttpというプロクシサーバーを立てて、
スライドショーにすると、そんなに手間がかからず保存できます。
ファイルはなぜかダウンロードマネージャーでダウンできることも多いんですよ。
それなんで、一番大きな問題はメッセージだったのです。
紹介していただいたスクリプトを使ってみます。
591579:03/04/30 02:49
うーん・・。なぜかダウンロードが始まらない・・。
0kbのファイルができるだけで・・。
592582:03/05/03 00:28
>586
>grep -i .jpg を使わない理由があるんだろうか

いや、grep -i の方が正しいと思いやす。
593名無しさん@お腹いっぱい。:03/05/06 04:06
>>589のやつ、うまくいった人いますか?
594あぼーん:あぼーん
あぼーん
595あぼーん:あぼーん
あぼーん
自分にとっては、今までのスクリプトのなかで>>578が実用度が一番高い。
単純な割にいいね
質問があります。javaなどのScriptがアクセスするページの画像をダウンロードできるソフトって
ありますか?
できれば連番で・・・
>>597
具体的にどこよ。
>>598
「みてみて」っていうサイトです
↑無理?
>>589
市販のオートパイロットではエラーがでちゃうんです
603名無しさん@お腹いっぱい。:03/06/14 22:39
ごぶさたあげ
外出かもしれんが、ワードのマクロで連番のアドレス書いているのは俺だけだろうか?
www.xxxx.001.jpg
なら←×4・BS・数を入力を繰り返して・・・・で、100位までつくってあるんだが
そしてIriaにはりつけ
605ななす:03/06/17 21:20
>>604
言ってる意味が理解できないが
ワードのマグロ?なんか青いオサカナ泳ぐういんどーずのヤシか
イチリアとか言うヤシは張り付けのクリップボードなのか
この板の香具師は概ねwgetのjpg狩りで
最悪連番必要でもwgetと好みのシェルの機能で[0-9]連番指示をだすわけで
wget -c http://www.eroero.uhiuhi.com/{cyapa,ozeu,hitoduma}/00[0-9].jpg

連番生成・・・cygwin上でシェルスクリプト
ダウンロード・・・Irvine
POSTを喋らしたりcookie食わせるなら、perlでUAつかって書く

やっぱWindows上じゃないとねこーいうのは。
連番生成 : jot
ダウンロード : wget
POST や Cookie : Perl でも Ruby でも Python でも何でも

なんで Windows?
>>606
>>607
>>605 の方法が漏れには一番簡単に見えるんだが。
というか,プログラムを書く必要ってあるのか?
Cookie を食べる必要があるなら w3m でやればいいし。
>>607>>606 に突っ込んでみたかっただけだよん
unlov が Google から消えた…誰か詳細きぼんぬ。
Googleから消えた理由は知らんが、サイトはまだあるよ。
jot って BSD 用なの?
613610:03/07/02 08:32
>>611
URL きぼんぬ。
takehost が Accept-Language: も見るようになったような気配を感じる。
615名無しさん@お腹いっぱい。:03/07/07 08:14
>614
拙者の記憶によると日本時間で4日の昼間からでござる。
入れ替わりにcookieを見なくなったように思わるれ。
616あぼーん:あぼーん
あぼーん
.
618610:03/07/22 10:30
誰か教えてくれぇ〜(´Д`)
>>618
作れ。
>>610
まず誠意をみせろ。おれが自宅に戻れる22:00以降に。
話はそれからだ。
621610:03/07/23 19:58
>>621
ゴチ
623名無しさん@お腹いっぱい。:03/07/27 23:48
>>621
落ちてこないよ〜
こんなん動ナビとか動画普及委員会チェックしてれば毎日ゲットできるぞ。
>>620 に騙された哀れな >>610 がいるスッドレはここですか?
動ナビ死んでませんか
動ナビは死んでないが、iij を使った結構な数のエロサイトから
ファイルが落とせなくなっているな
>>626-627
ほかでやれ
     ∧_∧  ∧_∧
ピュ.ー (  ・3・) (  ^^ ) <これからも僕たちを応援して下さいね(^^)。
  =〔~∪ ̄ ̄ ̄∪ ̄ ̄〕
  = ◎――――――◎                      山崎渉&ぼるじょあ
wget の --timeout って、
相手がファイアウォールでパケットを捨ててるときには機能しないような気がする。
というか、そもそもそういう目的で使うオプションではないのか?
まあ、squidを経由すれば問題ないんだけど。
631620:03/08/04 13:38
>>610
遅くなって正直スマンかった。

望みのモノだよ。
http://saeto.deep-ice.com
>>610
おめ
動ナビURLはこっちに
http://www.i-like-movie.com/
634名無しさん@お腹いっぱい。:03/08/13 12:19
2ちゃんで話題になった「みーほ」女子○学生 B86 W57 H88(○5歳)
がこのHP内のギャラリーで何を考えているんだか、衝撃的なセルフのヌードを晒してます!!
削除される前に早めに見ておいた方がいいとおもいます!マジでやば過ぎ!!

http://neeez.com/~miho-room/
不覚にもワロタ
636あぼーん:あぼーん
あぼーん
637あぼーん:あぼーん
あぼーん
{from..to}
{10..20,30..40}
みたいにはできないの?
>639
zsh: {{10..20},{30..40}}
( ・∀・)つ〃∩ ヘェーヘェーヘェー
642639:03/08/27 19:15
>>640
ありがdごぜいます
そろそろ2ヶ月もカキコがない…。


おまえら満足してますか?
>おまえら満足してますか?

してねぇっす・・・。

ダウンロード成果物をいかにユニークに保存するかってトコロで
頭痛めてたりする。
とりあえず、ファイルのMD5をpostgres上のテーブルにinsertしといて、
ダウンロード成果物をそいつとチェックして適宜ハネるって運用してるん
だけど、どうしても明らかに重複する奴が出てくる。

理由はいくつかあるんだけど、この辺が泥臭くかつ難しいね・・・。

最終的には画像の類似性をうんぬんって世界にしないと仕方ないのか?
誰か「漏れはコレだ!」って奴を教えてくれぃ。
>>644
> 最終的には画像の類似性をうんぬんって世界にしないと仕方ないのか?
> 誰か「漏れはコレだ!」って奴を教えてくれぃ。
今まで何を試したか書いてくれ。
例示した後で「それはもう使ってみた」って言われるのはやだ。
おれは単純に時間とディレクトリで分類してる。
ファイルのタイムスタンプとユニークなID,簡単なメモを
名前に付けてリネームするスクリプト書いて、
適当なディレクトリにとりあえず放り込む。ここまではほぼ自動。

あとは実際に見てる時に必要なら分類し直す。
おれ的にはファイル名がユニークであれば、それで足りてる。
全ての画像に等しい価値がある訳でないので、
必要な時の手作業の分類で間に合う。
俺はディレクトリと連番だな。もちろんスクリプトで。
648login:Penguin:03/10/27 14:31
>>610
再うpきぼん
>>644
wget -x で URL のまま保存してる。
>>648
> >>610
> 再うpきぼん

>>631
> >>610
> 遅くなって正直スマンかった。
>
> 望みのモノだよ。
> http://saeto.deep-ice.com

651644:03/10/28 12:03
>今まで何を試したか書いてくれ。
少しずつ積み重ねてるから、そんないろいろな方法試してるわけでも
ないんだわ。
で、今のところこんな仕組み。

前提:ファイルはすべて.jpg。
対象は、ディレクトリごとにファイルがまとまっていると想定。
(ディレクトリひとつに1ファイルは無視)

-- 日々。
(1) wget -x でディレクトリごとdownload
(2) jpeginfoで壊れたファイルを削除

-- 月次。
(3) ディレクトリ階層をn階層 -> 2階層へ変換
(4) 指定バイト数以下のファイルやディレクトリを削除
(サムネイル対策)
(5) 過去にダウンロードしたファイルのmd5と比較し、新規ファイルが
含まれているディレクトリは保存用ディレクトリへ移動。
(6) 保存用ディレクトリへ移動したものは、md5をpostgres上のテーブルへ
insertする。
(次からのダウンロード重複チェック用)

--適当なタイミングで。
(6) そこそこたまってきたら、CD-Rを使ってお掃除。

上記(6)以外はすべて自動実行。
で、こうやってて素朴に思うのが、「ここまでやらないかんのか?」てところ。
これという方法も無いような気がするんだけどね。
652644:03/10/28 22:21
続き。

重複する理由ってのが、だいたい
(a) jpgファイルが壊れてて、md5が違ってる。
(b) 見た目おんなじ画像で壊れてもいないjpgファイルだけど、何故かmd5が違う。
(c) 素材はおんなじだけど、画像ファイル化したヒトが違うヒト
といったところかなと。
んで、(a)はjpeginfoでどうにかなるとして(といっても再度ダウンロードで補うことが
できればだけどね)、(b),(c)はどうしたものかなと。

完全自動化を目指してるんで、この辺クリアできないかなと考えてます。
そこまでしてローカルにあらゆる画像を保存したいの?

画像の類似性を判別するソフトがあったような気もするけど。
GQview とか
>>653
よく web 上から消えるじゃん。
656うひひ:03/10/29 09:36
>>644
素人考えなんだが
同じエロ画像でも大きさっていうか画質とかが違ってたりすんじゃん
例えばイメージマジックとかで同じ様な仕様になるように
小さくサムネイルのように同じファイルサイズとかにフィルタしてから
binary diffみたいのを使って差分をとって差分比率を読みとりながら
画像を比較できないのかなぁ?
昔は連番ファイル落とすためにwgetやshを駆使して頑張ってた時期もあった。
たとえばこことか。
ttp://www.taiwankiss.com/board1/data/82585.html
(白石ひより、藻無し、556MB + 567MB、ラブマ分割、パス未発表)

今は各種P2Pがあるから手間いらずで外付け120GBもエロで満杯だよ。
>>658
どのP2P使ってるか教えれ
659644:03/10/31 23:42
レスありがとさんです。

>GQview とか
フリーでこのテのツールがあるとは知りませんでした。
別のツールでは、作者が「コマンド実行で類推するようにしたいな」って
書いてたんで、もう少し様子見かなと。
もしくは、これらツールから該当コードをぶっこぬいて、コマンドラインで
実行できるようデッチ上げるのも手かなと。

>binary diffみたいのを使って差分をとって差分比率を読みとりながら
>画像を比較できないのかなぁ?
#漏れも画像関係まったくの素人なんですが・・・。
jpegを一度bitmapか何かに展開してからゴリゴリ比較って動きかな?
暇を見てちょっと試してみます。

時間を見つけて、いずれかの方法をちょっとやってみます。
ありがとうございやした。
俺は半角板を自動巡回して URI 拾って wget のリクエスト作る Ruby スクリプト書いた
落ちてきた画像は一通り見てお気に入りの奴はお気に入りディレクトリに入れて
それ以外は全部ファイル名を MD5 にリネームするスクリプトで変換してから
画像置き場ディレクトリに放り込んでる

画像的には同一なんだけどデータとしては違うというケースはうちでも発生してるな
ちゃんと判定する方法なんて無いような気がしてたから諦めてたけど
ここらへん研究してみると面白いかもな

>>652
(b)(c)のケースなんだけど、もし画像サイズが同じなら、
jpeg のエンコード時の特性の違いがあるのかもな
もしそうなら jpeg のエンコードに特化した画像判別があればいいのかも
>>660
JPEGは符号化時のクオリティ設定で出力がまったく違います。
また、どこかのwebで拾った同じJPEGファイルに端を発した画像でも
デコード・エンコードを繰り返して劣化したもの、コメントが変わった
・取り除かれたもの、huffmanコードを最適化したものなどいくらでも
バリエーションがありますので、結局デコード後の画像として比較する
しかないのではないかと。
エロ画像とかよか普通の女の子画像をダウンロードしたくなりました。
で、
ttp://avbuzz.com/bbs/model/list.php
を見つけたわけですが。
ここのを大きい画像だけ上手にダウンロードしたいんだけど、難しいです。
良い方法、なんか思いつきませんか?
うーむ。
% w3m -dump_source 'http://avbuzz.com/bbs/model/diss.php?id=152568' | sed -n 's@ *<img src=\(.*\) vspace=10><br>@\1@;s@^u@http://avbuzz.com/bbs/model/u@;/^http/p'
>>663
出きたよー。
ありがと。
665名無しさん@お腹いっぱい。:03/11/25 15:58
wgetを使ってあるディレクトリ以下にある(cgiソース含)ファイルを無差別にDLする方法ありませんかね。
man wget
667名無しさん@お腹いっぱい。:03/11/25 16:08
>>666
やったけど詳しく書いてないみたいだけど、、、

wget -r --ignore-length <URL/>

で良いかな?
info wget
669名無しさん@お腹いっぱい。:03/11/25 17:19
cgiファイルらしきもんはダウンロードできたけれど、やっぱソースが見れないです。
ソースの形でまるごとやりたいんですけど。
ソースが見れないように設定してあるHTTP鯖から、
ソースを落とすことはできませんヨ。当たり前だろ。
671名無しさん@お腹いっぱい。:03/11/25 17:31
やっぱ、そうだったか。
たまたま、ソースもまるごと落せたこともあったけど、それはそこの管理者が
物凄くアホだったってわけね。

俺もな、、、涙;
そもそも、読み出し権限無いかもしれないし。
>>671
というかCGIとして実行されるように設定されてるファイルは、絶対にGETできんよ。
そのファイルを指定したリクエストが来たらCGIとして実行するようになってる
訳だから、(そのWebサーバ経由では)ファイルを取りようが無い。
ソースを落とせたことがあるんなら、多分それは、CGI実行設定されてない
ディレクトリに物置のように置いて有ったのだろう。逆に言うとそれは
「動いていない」プログラムだから、正しいという保証はどこにも無い。
jpeginfo でこわれているjpegファイルの判定を十分にできますか?
なんか、xv で表示できないファイルがだいぶ残るのですが。
XVの設定が古いせいではないかと…

ImageMagickとかなら表示できたりしない?
そうですか。もうすこしいろいろためしてみます。
% perl slodziutka.erospace.pl

ドゾー

678名無しさん@お腹いっぱい。:03/12/17 20:51
最新のwgetって~を%7Eに変換しないのか…
679名無しさん@お腹いっぱい。:04/01/02 16:41
「げっとぴっく」ってやつ使ってるんだが
「指定のURLには画像が存在しません」とかいうエラーが出てきてdlできん
>>679
板違い。
http://gallery3.pure-angel.net/kasumi_nakane/index.html

なんだけど、wget が使用不能です(downloaderとして弾かれる)。
猛者の皆様、お助け下さい。
> wget --user-agent=Mozilla --referer http://gallery3.pure-angel.net/kasumi_nakane/01/ http://gallery3.pure-angel.net/kasumi_nakane/01/nakane_kasumi_0{0,1,2,3,4,5,6,7,8,9}{0,1,2,3,4,5,6,7,8,9}.jpg


ありがとうございます!!
--refererの使用まで思い至りませんでした。
>>578の方法につての質問です。
ディレクトリが同じでその中のファイルの例が
img20031113192714.jpg 13 Nov 03 19:27 6.2Kb
img20031113210116.jpg 13 Nov 03 21:01 7.4Kb
img20031113210157.jpg 13 Nov 03 21:01 22.1Kb
・・・
こんな感じになってます。これを一気に落としたいのですが
いかんせん時分秒まで回してたらやばいことになりそうなので
wget http://~ の~部分だけループできたらと思います。
で,その場所がディレクトリサービスONだったので
starsuiteで上のようなファイルリストを作りました。
でもシェルスクリプトの動作がイマイチわかりません。

cat<<END |wget http://nanntokakanntoka/
2003xxxxxxxx.jpg
...
END

の足りない部分を埋めていただきたく思います。
Solaris9でインストールしたときのsh使ってます。

それ以前にwgetでディレクトリサービスONの
アドレスから.jpg .png .gifの絶対パス取って
まとめてゲット~なんて出来ればなお良いんですけど
私にはさっぱりひらめきがないのでもし良かったら
ご教示願います
685684:04/01/08 07:53
あーん最悪。wget -r http://www.nantara/
だけでぜーんぶおとせた。ディレクトリサービスオンだとこんなことになるのね。
って書き込んでる間に396filesオチター
何が最悪なんだ?
684がhelpもinfoも読まずにカキコしちゃった自身の
ソコツさ加減を最悪と称しているのでせう
688名無しさん@お腹いっぱい。:04/01/09 02:37
>>685
URL希望
あの、awkでしかも汚いですが一応動きます。
baseurl と files 変えたら他の女の子のもいけます。
よければ添削してやってください。

BEGIN{
baseurl="http://www.tokyo-247.net/image/37_maya/maya1/t2_maya001.jpg"
files = 55

split(baseurl,url,"1/")
url[2] = substr(url[2],1,index(url[2],"0"))

for(i=1; i<=files; i++){
path = url[1] int((i-1)/15)+1 "/"
if(i<10){ number = "0" i }else{ number = i}
file = url[2] number ".jpg"
print file
wgetcmd = "wget -nc " path file
system(wgetcmd)
}
}
691名無しさん@お腹いっぱい。:04/01/18 00:35
wgetのオプションでquotaを指定すると取得するファイルの上限をきめられるそうですが
逆に下限を決める事はできないのでしょうか?
HDDがすげー遅いので、ディスクアクセスをできるだけ減らしたいっす
>>690
わざわざ変なスクリプトかいて暇ですな。
>>690
ファイルごとに wget を起動するんでなく
URL を一括で wget に食わせてやる方がよいと思う。
あとせっかく wget 使うなら便利なオプションがいろいろあるので調べるが吉。
694690:04/01/18 08:09
ご意見ありがd。
>692
九段のサイトでは画像を小出しにしてまして
定期的に巡回して、うp分を一括ダウソする必要があり
まぁ暇だったこともあってこうなりまつた。
>693
その向きでまたチャレンジしまつ。
> ご意見ありが??。
まともなunixerならまず使おうとは思わん記号だな
>>695
というか、入力方法がわからんよ
emacsでctrl-q hoge fuga とかするの?
そういえば、どこかのスレに
「(・∀・)イラネ」って書いてあったのを見たことあるよ
>695
わざわざ使おうとは思わんけど、
unixでは読めないのがあたりまえみたいな
書きかたをされると( ´゚д゚`)
699名無しさん@お腹いっぱい。:04/02/08 02:27
連番のH画像じゃないんですが、
http://celeb.goldengate.hu/site_videos.php3
ここの MPEG全部落したいんですが、あれこれやっても
うまくできないのです。お知恵を貸していただければ、
嬉しいのですが。
"あれこれ"やったことを書け。
リンクを解析して辿り、目的の拡張子だけをダウソするPerlスクリプトを書いたんですが・・・再発明ですか?
個人的には十分楽しんだからウマーだけど。
702あぼーん:あぼーん
あぼーん
先生!!>>702の頭の悪さが直っていません!
HTML::LinkExtor とか使えばいいのに。
出力は、fork しまくって wget を同時に走らすスクリプトに渡すと。

まあ、手元にあるんだが、希望者がいれば公開してあげます。
>>704
公開希望
今痔が出来て痛くてたまらないからAA貼り付けようかな
僕もがんばってみた。「はじめてのC言語」とそれから「関数の使いかた」少しよんだ。


#include <stdio.h>
#include <string.h>
#include <math.h>
#define MAXSTRING 255

struct address{
char preaddr[MAXSTRING];
char scope[MAXSTRING];
char aftaddr[MAXSTRING];

int statnum;
int endnum;
int digit;
};

/* 続く */
void numaddr( struct address *p )
{
char cset[] = "-";
p->digit = strcspn( p->scope, cset );
p->statnum = atoi( strtok( p->scope, cset ));
p->endnum = atoi( strtok( NULL, cset ));
}

void printaddr( struct address *p )
{
int i, n, t;
for ( n = p->statnum; n <= p->endnum; n++ )
{
fprintf( stdout, "%s", p->preaddr );
if ( n == 0 ) i = 0;
else i = log10(n);
for ( t = i; t < p->digit - 1; t++ )
fprintf( stdout, "0");
fprintf( stdout, "%d%s\n", n, p->aftaddr );
}
}

/* 続く */
int main( int argc, char *argv[] )
{
int i;
char cset[] = "[]";
struct address multiaddr[argc];

if ( argc <= 1 ) fprintf( stdout, "%s [word]...\n", argv[0] );
else
{
for ( i = 1; i < argc; i++ )
{
strcpy ( multiaddr[i].preaddr, strtok( argv[i], cset ));
strcpy ( multiaddr[i].scope, strtok( NULL, cset ));
strcpy ( multiaddr[i].aftaddr, strtok( NULL, cset ));

numaddr(&multiaddr[i]);
printaddr(&multiaddr[i]);
}
}

return 0;
}

/* おしまい */
710707:04/02/08 22:28
math.h をつかうと
#gcc -o getopai getopai.c -lm
と -lm つけるのなんでだろ?
711707:04/02/08 22:35
>>709 やっぱこう↓しとく
"s/\[word\]/opai\[001-100\].jpg/"
712699:04/02/08 23:49
700さん
ここむずかしいですね。どういう仕組みなんだろう、このHP。
画像もたくさんあるみたいなんだけど、すぺてPHPで開いてきます。
wget -r --user-agent=Mozilla --referer http://celeb.goldengate.hu http://celeb.goldengate.hu/
当然 これでは無理ですね
だめぽ…
難しくはない。ただ、ファイル名が結構適当なので面倒臭い。
wget http://celeb.goldengate.hu//celebs_foreign_pic/Dido/dido{043..045}.jpg
714名無しさん@お腹いっぱい。:04/02/09 13:03
>>712
動画ウィンドウの表示にはJavaScriptを利用してるみたいなので
wgetだけでは無理かと
715699:04/02/09 23:45
うん どうやってするのがスマートな解決なんでしょうか。
僕には皆目検討もつきません。
やっぱ 一つ一つ落すしかないのかな。
--user-agentの指定ってどういうとき必要になるの?
偽装したい時
>>716
指定しないと落とせないとき。
アクセスログ読んでる奴に嫌がらせしたいとき。
>>718
--user-agentを指定しアクセス制限を回避することは
不正アクセス禁止法の第3条2項2号に違反するため、
一年以下の懲役又は五十万円以下の罰金に処されます。
>>720
user agentは不正アクセス禁止法の識別符号には該当しない。
詳しい人100人集めたら90人くらいまではそう言うと思うけど、裁判所的にはどうだろね。
URLと一緒で意図絡んでるからトチ狂った判断出される可能性はなきにしもあらずげ。
>>721
MS的にはおもしろくないだろうよ?
724720:04/02/11 23:11
>720はネタなんで無視してくれて構いません。
ただ、一応補足しておくと…

>>721
識別符号を使用した不正アクセス行為を規定しているのは第3条2項1号。
第3条2項2号は識別符号以外の情報を使用した不正アクセスについて
規定しています。
http://www.ipa.go.jp/security/ciadr/law199908.html
もしかして、厳密にいうと違反なわけ?
>>725
誰かがUA偽装のみで訴えられて裁判所が何らかの判断下すまで違反だとは誰も断言できない。

条文にアクセス方法についてもうちょい具体的に書いておいてくれりゃよかったんだけどね。
telnetしたり自分でUA組んだ時、
打ち間違えたりリテラル書き間違えてたらタイーフォか。ありえねー。
標準で偽装可能な Opera はタイーフォだな。(w
大体、クライアント側が偽装してるかどうかを立証する方法がないわな。

ただ裁判官はこの手の知識は絶無だし、腐った弁護士は少なくないからなぁ。
やな世の中だ。
なんか変な人が。

>>727
UserAgentを普段書き換えることや書き換え機能がついてること自体は問題ない。
* UserAgentでアクセスの制限をしているサイト * へ、UserAgentを書き換えて
アクセスしたことが問題(になるかもしれないのはやだなあ)という話。
なる可能性はあるな。国内の法律では不正アクセス行為の禁止等に関する法律の
第3条3項に以下の記述がある

>三 電気通信回線を介して接続された他の特定電子計算機が有するアクセス制御機能に
>よりその特定利用を制限されている特定電子計算機に電気通信回線を通じてその
>制限を免れることができる情報又は指令を入力して当該特定電子計算機を作動させ、
>その制限されている特定利用をし得る状態にさせる行為


ここの「制限を免れることが出来る情報」にuseragentが含まれるかどうかが争点だろう。

俺としてはUAはそもそも信憑性にないものだし,UAによるアクセス制御自体が
無効だと思ってる。ケータイのサイトなんかでよくあるけど,CDMAなんかopenwave.com
からブラウザ拾ってきて使えばPCでMobile Browserのagentが出せる。
この場合は有罪?無罪?

アクセス制御にはIPアドレスなどを使うべきだろう。

俺の結論 合法と解釈する。
アクセス制限とは認証のことであり、UAのチェックは認証としての要件を満たさない

以上終了
>>730
前提を示す必要があるな。
もまえら暇だなぁ。
そんなことより違法なエロ画像の URL 下さい。
「うらぼん」でぐぐればいいのでは?
これですか??
ttp://www.chuouji.or.jp/urabon/urabon.htm
ありがとうございます!
おお、これは本当にありがたい。ありがたやありがたや (一人一) ナムー
これどうやっておとすのでしょう
wget --referer では落とせません
URLリストをテキストに出力して別のGUIダウンローダにコピペすれば落とせるのですが。
ちなみにwget -iでは無理でした
ttp://www.free-adult-hosting.net/bookoff014/book/text4.htm
の真ん中右Sampleってやつです01〜41
お願いします
user-agentだろどうせ
cookie利用の可能性も
740名無しさん@お腹いっぱい。:04/02/13 12:40
連番の蓮画像を一気にダウンロードする
スレに見えた。
>>741
3年前から同じスレタイですが。
743741:04/02/13 15:02
ようするに見る側の問題ってこった。
>740
ありがとぉ
745名無しさん@お腹いっぱい。:04/02/14 00:51
ttp://kawaii.clawz.com/hentv/max.html
ここってどうやって巡回すればいい?
ヘッダがないからwgetじゃエラーになるんだけど
746名無しさん@お腹いっぱい。:04/02/14 03:58
よ〜するに、M$IEもMozillaを騙っているので偽装であると...φ(.. )
              ,. -‐-
          「`Y´|    ヽ 〜
           Y⌒ソノノリ)) )〉
          i (ll (〔i ,i〕{ノ
     __    リ从ゝ~ (フ/
     {{゙ァ‐  、  '⌒ T
      `ーへ ヽ ィ   !
         ー' ,ノ  ,
           , ´   '/
.     ,.、     !   ヽ'
    /   ヽ. /ヽ.   ヽ
      ー'´\ '  /ヽ  ヽ
         ー'   \  ヽ   _
              ヽ. ヽ'´ /
                 \ _/

【小学6年】山手線(渋谷駅)で全裸の少女が補導 part12【昼間から(画像有り)】
http://pc.2ch.net/test/read.cgi/pcnews/1074297496/l50
urlがpcnewsでは開いて見る気もせんが、
AAは良い出来だから今回だけは許してやろう。
pcnewsに飛ばすならせめて
ネットで公開して本人補導とかそういうのにしてくれないとな。
>>735
功徳は生きてるうちに
http://smmonkey.pwp.blueyonder.co.uk/zxa1.html
H画像ではない (連番ではある) けどこれはむっ、と思った。
この手で対処されたらお手上げっぽくね?

# ちなみに違法ページではないよ。Amstrad社のケツの穴はデカいなあ
ttp://www.macromedia.com/software/flash/open/licensing/fileformat/
一応仕様は公開はされてるけどな。
あんまりサーバに負荷かけちゃ駄目だよ。

#!/bin/bash

if [ ! -d ./OUT ]; then
mkdir OUT
fi

URL="http://thebbs.jp"
GETNUM="1024"
UA="Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; .NET CLR 1.1.4322)"

wget -U "$UA" -N "${URL}/up1/"
LIST=$(cat index.html | egrep '[0-9]+\.html' | sed 's/.*href=\"\([0-9][0-9]*\.html\)\".*/\1/g')
PAGES=$(for name in ${LIST} ; do echo "${URL}/up1/${name}" ; done )

wget -U "$UA" -N -nv -w 1 --random-wait ${PAGES}

for name in $(grep 'href=/sum.html\?' 1[0-9]*.html \
| sed 's+.*href=.*/\([0-9][0-9]*\.\(jpg\|png\|bmp\|gif\)\) .*+\1+g'\
| sort | tail -n ${GETNUM} )
do
wget -N -nv -U "$UA" -w 4 --random-wait -O ./OUT/${name} "http://thebbs.jp/up1/img/${name}"
done


でもここから選別するのが大変な罠。
754753:04/02/20 04:40
あ、そうそう。
急に変なアクセス増えて何かの対策とられたりしないように次の事くらいは守って使って。
UAは絶対変える。
GETNUMは増やさない。
-w は減らさない。
--random-waitは外さない。

管理者に迷惑かからないようにしてな。まじで。
一晩くらいかけてマターリ落して細く長く楽しむのが吉だべよ。
つっても楽しめる画像があんまり無いんだけど。
自分で生HDDをつけるということは、少なくてもパーティションの作成から
ファイルシステムやswapの作成というところから始めなきゃいけない訳だし
unix未経験者にはハードル高いんじゃないかな、少なくてもvi使えないと話にならんし。
でもこれから勉強したい人には良いかもね。
↑なかなか上品なレスだけど、頭の中ではエロエロなことばかり考えているんですね。
誤爆かと思った罠
エロは*習熟の源です
759名無しさん@お腹いっぱい。:04/03/12 00:34
760名無しさん@お腹いっぱい。:04/03/15 03:48
ほしゅ
ほしゅほしゅ
hosyu
hosyu
なんかネタ無いの?
wgetで複数ファイルの同時ダウンロードするシェルスクリプト書いてたまに使ってるけど、
curlを使うperl,ruby,python等のスクリプトの方がよくない?
shは遅いし、wgetは終了時のエラーコードとか細かい部分がダメぽい。
エロには飽きた。
画像に飽きた奴が小説に流れるパターンだな
もう一度、エロのパワーを!!!
保守
770sage:04/06/21 21:23
誰か俺が使ってるスクリプト見たい人いる?汚いけど。
参考にしてみたいな
772770:04/06/21 22:09
こんなかんじ。
urlをテキストに並べておいて、ファイル名を引き数に指定して使ってます。
urlにリンクされているjpgを勝手にフォルダ掘ってそこにdlしていきます。
フォルダ名はurlから拾ってます。

#!/usr/bin/perl

use LWP::UserAgent;
use HTML::LinkExtor;
use URI::URL;
use strict;
use POSIX ":sys_wait_h";

$| = 1;#OUTPUT_AUTOFLUSH

my $iframe_ref='';
my $base_tag = '';
773770:04/06/21 22:09
while(!eof()) {
my $url = <>;
$iframe_ref = '';
my %downloads = ();
chomp $url;
next unless $url;
print "Checking $url¥n";
if ( map{ $downloads{$_} = 0 } getlinks($url) )
{
$url = $iframe_ref if $iframe_ref;
dl2( $url,[sort keys %downloads] );
print "¥n";
} else {
print "there are no JPG¥n";
}
}
774770:04/06/21 22:10
my @imgs = ();
my $iframe = '';
sub callback {
my($tag, %attr) = @_;
$iframe = $attr{"src"} if $tag eq 'iframe';
$base_tag = $attr{"href"} if $tag eq 'base';
return if $tag ne 'a';
push(@imgs, $attr{"href"});
}
775770:04/06/21 22:10
sub getlinks
{
$base_tag = '';
@imgs = ();
$iframe = '';
my $url = $_[0];
my $ua = LWP::UserAgent->new( Agent => "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;)");
my $p = HTML::LinkExtor->new(¥&callback);
my $res = $ua->request(HTTP::Request->new(GET => $url),
sub {$p->parse($_[0])});
my $base = $base_tag || $res->base;
if ($iframe and !@imgs) {
print "Found iframe. recheck >> $iframe¥n";
$_ = url($iframe,$base)->abs;
$iframe_ref = $_;
$iframe = '';
return getlinks($_);
}
@imgs = map { $_ = url($_, $base)->abs; } @imgs;
@imgs = grep{/.[jJ][pP][gG]$/} @imgs;
return @imgs;
}
776770:04/06/21 22:11
sub dl {
my $uri = $_[0];
my $ref = $_[1];
my ($dummy,$dir) = ($uri =~ /.*¥/([^¥/]+)¥/([^¥/]+)¥/[^¥/]*$/);
opendir(A,$dir) || mkdir $dir;
closedir A;
chdir $dir;
`curl -s -O $uri -e $ref`;
chdir "../";
}
777770:04/06/21 22:12
sub dl2 {
my $max = 4;#プロセス数

my $ref = shift;
my @str = @{shift(@_)};
my($pid, @slot);
my $tick=0;

while(@str){
for(0..($max-1)){
if($slot[$_] != 0 and waitpid($slot[$_], &WNOHANG)!=0){
$slot[$_] = 0;
}
}
778770:04/06/21 22:12
for(0..($max-1)){
if($slot[$_] == 0){
my $url = shift(@str);
last unless defined $url;
chomp($url);
if($pid=fork()){
$slot[$_] = $pid;
} elsif (defined $pid) {
print "Start Download >> $url¥r";
dl($url,$ref);
exit;
} else {
die "Can't fork: $!¥n";
}
}
}

sleep(1);
}

for(0..($max-1)){
waitpid($slot[$_], 0);
}
}
779770:04/06/21 22:13
以上です。
780770:04/06/21 22:29
余計なのはいってた;
my $tick;
を削除してください;

バーが回るヤツつけようと書き換えている最中の貼ってしまいました;
wget -r -A .jpg
に URL を渡して回せば良いのでは? と言ってみるテスト。
wgetの--page-requisitesを使ってお絵かき掲示板の絵をコメントごと収集しようと思ってます。
しかし、しぃアプレットを使っている掲示板からは--page-requisitesで画像を持って来れませんでした。
例として、どこでもいいんですが思い切り無関係なところでこことか↓
ttp://www15.big.or.jp/~baroque/nharuna/oekaki/bbsnote.cgi

  1) wgetの設定がまずい
  2) こっちのネットワークの何かがまずい
  3) CGI側で何かしてるのでwgetでは無理

なにがよろしくないんでしょう。wgetがHTMLを解析してくれてない感じなんですが。
>>782
1) -p option ついたの最近よ? あと実装始めのころのはバグってた気もした
2) これっぽい。君のサイトが撥ねられてるとか、proxy とか
3) んなこたー、ない

% wget --page-requisites http://www15.big.or.jp/~baroque/nharuna/oekaki/bbsnote.cgi
(略)
% ls www15.big.or.jp/~baroque/nharuna/oekaki/data/
IMG_003579.jpg IMG_003582.jpg IMG_003585.jpg IMG_003587_2.jpg
IMG_003581.jpg IMG_003584.jpg IMG_003586.jpg IMG_003588.jpg
% wget --version
GNU Wget 1.9.1
ゼンゼン関係あるけどこのサイトは感動した
http://www.geocities.jp/futaba136241/baseball01.html
>>782-783
漏れも画像のダウンロードができなかった
-m -l1オプションでもダメだった

% wget --version
GNU Wget 1.8.2

wget 1.9は~の処理が変わったので使ってない
786782:04/06/22 18:33
でも、infoseek.co.jp にあるのも candybox.to にあるのも x-beat.com にあるのも駄目。指定ファイルしか落ちてこない。
Webブラウザでは普通に見れるし… --recursive とかもこのサイトに効かないんだよなあ。

$ wget -nv --page-requisites http://www15.big.or.jp/~baroque/nharuna/oekaki/bbsnote.cgi
18:15:34 URL:http://www15.big.or.jp/%7Ebaroque/nharuna/oekaki/bbsnote.cgi [28106]
-> "www15.big.or.jp/%7Ebaroque/nharuna/oekaki/bbsnote.cgi" [1]

終了しました --18:15:34--
ダウンロード: 28,106 バイト(ファイル数 1)
$ wget --version
GNU Wget 1.8.1

Windows版。
>wget -nv --page-requisites http://www15.big.or.jp/~baroque/nharuna/oekaki/bbsnote.cgi
18:15:20 URL:http://www15.big.or.jp/%7Ebaroque/nharuna/oekaki/bbsnote.cgi [28106]
-> "www15.big.or.jp/~baroque/nharuna/oekaki/bbsnote.cgi" [1]

FINISHED --18:15:20--
Downloaded: 28,106 bytes in 1 files
>wget --version
GNU Wget 1.9.1

なんででしょね?
787770:04/06/22 21:39
>781
おお。スマートだし。自分が恥ずかしくなってきた。
でもこれ、サムネールとか広告まで保存しちゃいますね。
保存先も深くなっちゃうし。
788770:04/06/23 05:05
>782
wget --page-requisites --follow-tags=IMG
でいけました。

あと自己レスなんですが
wget -r -A.jpg -nd -np -I 1 -H --ignore-tags=img -P dir
でやりたかった通りに出来ました。
>>788
でもあんま根本的な原因究明にはなってないな(w
解析が難しいHTMLの書き方にでもなってるのか?
wgetよりcURLの方が便利だ。
使い方キボン.
792770:04/06/25 09:06
>789
CGIが吐くHTMLの最初の方に
<META name="ROBOTS" content="NOINDEX,NOFOLLOW">
とあり、wgetがこのタグのNOFOLLOWを理解して探索をやめてしまうから。
がーん。wget って --timestamping と --no-clobber を同時指定ってできないんだ…

 「ローカルより新しいファイルならサーバからダウンロードするが
  ファイルは上書きせずに通し番号などをつけて区別して保存する」

という芸はできないのか。
>>793
サーバー上のファイルと比較すべきローカルのファイルを
どれにするのが適当なのかがよくわからない、というのが原因なんだろうね。

--timestampingで更新ダウンロードした時に
スクリプトでリネーム退避しておく、という手くらいしか思いつかないや。
…wgetが更新ダウンロードしたことを検知する方法ってなんかあるっけ。
ログを書き出す設定にしてgrepする以外にあるかな?
795名無しさん@お腹いっぱい。:04/07/04 16:58
優秀なポマエラに質問でつ

このサイトの画像を自動で保存するにはどうすればいいでつか?
http://www.sweetnote.com/board/chidle/hoshiinanase/

ページの最後にCSSで隠した画像があって、
その画像にアクセスするとアクセス禁止になってしまうので
wgetだと保存できません

ちなみに、巡回ソフト対策みたいなのですが、
CSSに対応してないブラウザで見ると表示されてしまうし、
Operaでスペース押していくと画像を順番に表示していくので
CSSで隠した画像にもアクセスしてしまいます
そういえば、昔作ったスクリプトには
grep -v BBLhGdTS
何ていうのが入っていたな。
ん? えーと、コレは単に

……。しまった。CSS云々ってコレか。繋ぎ変えよう
798795:04/07/04 17:23
>>797
面倒なことさせてしまってすみません

FirefoxなどでCSSを無効にすると
一番下に同じサムネイルが2枚表示されていて
その下の画像のリンクにアクセスするとアクセス禁止になってしまいます
う、うまく書けない。まあいいや。
えーとね、Lynxかなにかで全リンクを抽出して、grepで/images/を含む行を取り出す。
これは「1行目は本物画像リンク、2行目はCSSで隠された罠リンク」の順番になってるので
偶数行目だけ削除するフィルタを何かで書いて(初心者が急いでるので挫折)、
そのURLリストをUserAgentがIEでrefererが当該ページなwgetで回せばいい。はず。たぶん。
http://bbs.coolnavi.com/16627
↑のようにcookie強制する画像サイトは難しい。
wget --load-cookies --save-cookies .... でOKでは。
802799:04/07/04 19:13
適当に書いてみた。LynxだとIEのフリができずアクセス解析でバレそうなのでHTMLソースをwgetして解析。
>>799の「リンクを抽出した1行目は本物画像リンク、2行目はCSSで隠された罠リンク」の仕様が崩れるとアウト。

#/bin/sh
wget $1 -q -nv --user-agent=="Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -O - |\
sed -n 's/<a href="\(..*\)" target="_blank">.*/http:\/\/www.sweetnote.com\1/p' |\
awk 'NR%2 == 1' | wget --user-agent="Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" \
--referer=$1 -nv -P ${2:-gazou} -i -

上記の5行をget.shとかで保存して適当に実行可能にして
$ ./get.sh http://www.sweetnote.com/board/chidle/hoshiinanase/
とするとカレントディレクトリにgazouディレクトリを勝手に掘って画像を保存。
(5行目の -P ${2:-gazou} を消すとデフォルトでカレントに保存するようになる)
$ ./get.sh http://www.sweetnote.com/board/chidle/hoshiinanase/ test
とするとカレントディレクトリの下にtestという指定ディレクトリを勝手に掘って画像を保存。

IEだと思わせてるので画像の更新はあえて見てない(毎回6ファイルを強制ダウンロード)。
鯖負荷のかけすぎで気取られないように注意。
803795:04/07/04 21:35
>>802
ありがとうございます

ダミーのリンクは最初と最後の画像だけみたいなので
偶数行を削除という発想をヒントに2行目と最後の行を削除したらいけました

sed -e '2 d' | tac | tail +2

> 仕様が崩れるとアウト。

以前は各画像のあとにコメントアウトされた
ダミーの画像がふたつずつありました

> (毎回6ファイルを強制ダウンロード)。

いつもはwgetに-xオプションをつけてダウンロードしています
あとは "`echo url | cut -d/ -f3-`" というファイルが
存在するかどうかでダウンロード済みかどうかを判断しています
URLエンコードが必要な場合は適当に処理してます
IEでもHEAD投げてサイズを見てダウンロードするかどうかを決めるってのはやってるんじゃないかな。
別にそれでバレることはないと思うぞ(w
>>801
いやね、>>800は半角板に張ってあったりすると、URI中のセッションIDとcookieのセッションIDが一致しないとダメなのよ。
そのサイトから直で落とすなら問題ないんだけどね。
806名無しさん@お腹いっぱい。:04/08/14 11:43
保守
807名無しさん@お腹いっぱい。:04/08/22 21:52
wget使ってdlするスクリプトを書いてるんだけど、どうもcookieの処理が上手く出来
ないんだけど、だれか解決方法知らない?

index取得時にUIDとSIDをsetされるので、imageをgetする際にその両方を送れば
いいだけなんだけど、なぜかwgetだとUIDしか送ってくれない。
http://office-lady.net/office/cute/album1.html
ここの画像ってどうすればgetできますか?
wgetプロの方、おながいします。
wget で適当な --referer を指定して、zsh で
http://office-lady.net/office/cute/images/img0{01..18}.jpg
あとは自分でいろいろ調べてみてください。
>>807
指定するときにセミコロンでパラメータをセパレートするんじゃないの?
ひょっとしたらwgetの場合cookieなんかだと、複数のパラメータセットが
あった場合、全部追加されるのかもしれないけど。
#まあキャプチャすれば直ぐ判ることだが。
811名無しさん@お腹いっぱい。:04/09/09 01:30
保守
>>812
--header=REFERER:と等価な--refererが最近のヤツだと使えるようになってる。
{}の展開、以前上手く動かなくて使ってないのだが、俺の勘違いだったのかな。
今度試してみよう。
>>813
cshが勝手にはぎ取っているという落ちでないの?
echo {01..18}
の結果は?
>>814
ああ、やっぱりシェルの展開機能なのね。
普通にsh(bash)でした。
このスレのあちこちで、しつこく zsh って書いてあるのに…
curlにはそういうiriaライクな構文があるよね。
>>816
いや、zshに展開機能があるのは知ってるんだけど
wget自身にパラメータの展開機能が盛り込まれたのかと思ったんだよ。
シェルにあるような機能を取り込む必要もないのかもしれんが、
ある意味zshって特殊(スタンダードではない)だから。
まあログインシェルぐらい時々で変えれば、つう考えもあるな。
>818
展開は shell が面倒見てその結果をアプリケーションに渡すのが Unix 的思想。
>>819
んじゃ、もう一方のUnix的な思想で
展開機能のないシェルで展開させるために使うフィルタで
お勧めなのは何かある?今はawkでやってるんだけど。
(zshのスクリプトでというのは取りあえず無しで)
>>820
おまえ アホ だろ.
822820:04/09/11 03:06:57
>>821
多分指摘のとおりアホなんだと思うけど、
アホ故に、どの辺りをもってしてアホなのかが判らん。
ズバっと明確に切ってくれ。
zshのスクリプトでいいじゃん。
車輪の再発明はイラネ
url を切り出すスクリプトと
wget を 50 個くらい平行して走らせるスクリプトだけで
オナニーするには困ってない.
>>820
まったくスレ読まないで書くから外してるかもしれないけど。
curlは自前で展開してくれる。そっち使えば?
えっと、aria は4系でも動かないの?
もう疲れました。自分なりにwgetのオプションを色々と試してみたんですが。
ttp://bbs.coolnavi.com/16627/10674p8.の中の画像をwgetで落とすことが
できません。

どうか、先生方のお知恵をお貸しください。お願いします。
被写体が♂だったらやったんだけどな・・・
工エエェェ(´д`)ェェエエ工
苺きんたまの画像をゲットした時は

#!/bin/sh
cat input |grep "http://v.isp.2ch.net/up/" >output
sed 's/http/ttp/' output > tmp
sed 's/ttp/http/' tmp > tmp2
sed 's/JPG/jpg/' tmp2 > tmp3
awk '
{print "wget " $1}' tmp3 >temp
chmod 700 temp
./temp
mv *.jpg images

こんな感じ。お好みでwhileして?p=1・・・p25までゲットとか。
無限roopで問題なかった。1つのcgi落とすのに10分以上かかったから。
sedが冗長な感じだが足りない頭じゃこんなものしか書けなかった。
誰かもっと簡潔な「よい見本」きぼんぬ。
あーごめん。これじゃなかった。

#!/bin/csh
@ i = 1
while ($i <= 2)
date >>history
wget "http://up.isp.2ch.net/upload/c=03okari/index.cgi?"
cat "index.cgi" |grep jpg >list
awk -F\" '{print "wget -U hiroyuki http://v.isp.2ch.net" $2}' list >test
cat test |grep jpg >test2
chmod 770 test2
./test2
awk '{print $4}' test2 >>listtmp
sort -i listtmp |uniq >getlist
mv *.jpg jpg3
rm "index.cgi"
@ i = 1
end

こんなん。これも良い見本きぼんぬ。
832名無しさん@お腹いっぱい。:04/10/22 13:36:38
age
833名無しさん@お腹いっぱい。:04/11/05 19:21:13
保守!
なんて息の長い祖レッドなんだ。
835833:04/11/05 19:45:55
見つけてしまいました、こんなスレ。今からzsh入れます!
すげー。ありがとみなさん!ノシ
このスレ21世紀の始まりから生きてるのか
838名無しさん@お腹いっぱい。:04/11/11 21:10:37
エロは性器を超える
839名無しさん@お腹いっぱい。:04/11/11 21:37:36
http://page11.auctions.yahoo.co.jp/jp/auction/n9933154
このダウンロードソフトって使った人います??
wgetに画像だけ-ncの動作をするオプションを追加して使ってる。
時間の入った連番画像が主の時には、-N使うよりは動作は速いし鯖負荷も多少は減るんじゃ無いかな。
wget --no-clobber-imageで。

begin-base64 644 -
H4sIAN3lpUEAA7VXaW/bRhD9LP2KqYDakiXRJHXLMGoHkQsjTh04aYECAViK
XInbkLsEd+kDaf57Zw8dtCTXCVDBMMXZ92aPeTM7iuliAd2iBMc5fVgS2fWc
ieOdiiI6TaTMnQj2Wuvdbvcgpea7bq/ruV1vAO542vOn3sBxVx9ouxPXrbfb
7f2uFbvf9byuPwDfnw5GU7fvjPqD0WCLfXEBXW/Y9zpDaOunN4GLizqYT0Fk
WTC4m326u313Zqzf6lBvA9AFNHkuHcajlM/npKBZuCRwdARJKAL9EohysaCP
QQ7Nk0TIUDopj8I0WNCUtBRSfQnIIxVS7Ae11EwAX80D4PQErhdQmRaoALVI
EgNnELJYe4UwLUgYP4Hx3oGYA+Oy3q6pPRWU3BOQCTHYk9OV/5Qv84IyiXu7
uf01+GN29+b246wDQbPxud6+1jv862dxvHaPPgrSgQeapsr/2rnzmTVaHdjd
0Vl1K+s1qF1YXwREmedcoFEei7XLGG7fObC12JNYwj/nNjhX6Hg1cHU3mwXv
L/98M4NmXGbZ02bWZwFtm4C2VWRLQQIp4BxcHehVfCXNCG4iyylbtowCvtbj
w2KnjMpdsRvrAbGbwY3YPStXz3uN2DdsI3YPvOHUH0y9oTMcDP0dsY98rXV8
jKzSv0Ijo0XBi0anVvvt95sbfNSiLA5ETqLADMG3joUyjEekkEdah+qtY+Bz
zlMSsi3oSqQIP6qodpfRrjJ0Au3QtLVzaLI8LAiTm6XxwFgOLy8v+ONThaAM
Fn9PIlnZeJkpJYoNXhYrLI7h8gLKFohHacckL0gUShKjXl9QSxZStqsWYz2g
FjP4o2rZsLfVMpz2Rs544hq5bKnFH0+UWtRjtK6LeBZ0yXhBuilhS5k0Opj7
QVgsy0ydNmgJgdcb27OrKGwf9Dg73oYy3l3rZq/nvmcV8wzetarZSxp7z+aI
aaEjrEO6f57RM0rChXwNb7yPl3L+pcwPUAauoqgjH/aG6siHvVHHXEW1KMRa
6I3dKX4HEESi+O7DFJqNiDOGa1E1ipeofHU1oGusdwo5xxr9BYvcyoE3VfW/
4uB5vkGDY+E+0zhLt/MfXx7vzh9GEckPzfuC7BFOORNO8lye64ED4l+P/6j+
Kw62u4Ph1HWd/mS3OxgMVDjw/9gmAN6PEMZxoIKKWjir1TDh33J1caEZlJmF
GYGVTp5+UZeWJa4P3NKoCOcpEbAKA1sCX5hbG7/jceIHqXEoQ8fefRU3Om6v
89W2vjTFsWuKkrDAm5QWWPoINivG1Se8ljHKir7eBciCkAorVTe32qoh3fAl
rCwVHGV5KYMq+FrZKvAX5FJKmordMmnNB6RiR9dC8Xvge1NV7V4llC16VSa9
seP6owpdyWTi9ZVO1MNfKcV2G6qh0F0jRq7e3tceYh4LaU9roQ4EGz/d9BkT
Am17o7qSJr5im2LY0DT4Fpyf61piW8bN1Jb1k8CLGhM5ynA+5GKq/50vG60q
3nsZT/5nQs6+D7+ki+/Cz7N8P37ruHQ7iAq9wwYXQkgpwxa14BlcfdDttYWq
zjXnGFFswSVHBBFJ+oSNsWp28d7X5V9g4uhk0xll30DkYaQ7Xj6XeB1jZyuT
gpfLBDJNb7b0RCLhZWr8zNUSCAIfqEz0V8Q8JIRhi6wcMY6tO1viUhiiSOz8
dzbtlF5rfjGbfrjsbtG3+g78c7FLNT1qJZvGOpnwv0mlui56KnMSmaWbxPlw
eXf5/iOmxHYCtdQ1pJNt30+xgxSMunlRv2yChwSbxUAHf824ur6ZWfcorTIy
9SvISKbKo+HpHzOHl3XPqVKQBQYqkhv0PqeK9S+tiE0GWw8AAA==
====
hoshu
ちょっと保守しますよ。
ほっしゅっしゅ
845名無しさん@お腹いっぱい。:04/12/26 03:27:28
初心者です。
ttp://aurelie.no-ip.info/~mangahentaipro/Hentai/Box/images/001.jpg
を196まで一括で落としたいんですが。
なるべくわかりやすい方法を教えて下さい。
すみません。
847名無しさん@お腹いっぱい。:04/12/26 03:49:49
zsh、wgetはどこでインストールできますか?
あの・・・zsh、wgetって何ですか?
ほんとにすみません。




http://www.zsh.org
http://www.gnu.org/software/wget/wget.html

あとは自分で調べてください。
850名無しさん@お腹いっぱい。:04/12/26 04:30:24
>>848
ありがとうございます。

>>849
ありがとうございます。地道にやってみます。
ちなみに同時押しって何ですか?
>851
それだとシェルが展開しようとして変なことが起きるから、適当にクォートすべきだな。
おまいら御用達のwgetの
http://www.st.ryukoku.ac.jp/~kjm/security/memo/2004/12.html#20041220_wget
って、まだ直ってないんでしょうか。
854名無しさん@お腹いっぱい。:05/01/05 01:31:19
>>853
はい。
4周年記念日
でもsage

>>380
ttp://search.mse.co.jp/cgi-bin/ip_dom-2/ipsearch.cgi
エロサイトじゃないけど、何なのかもよく分からん。
856名無しさん@お腹いっぱい。:05/01/29 14:47:08
857名無しさん@お腹いっぱい。:05/01/29 16:18:15
>>856
デムパ キタ━━━━━━(゚∀゚)━━━━━━ !!!!!
phpとか使われるとわけわからん。落とせん
perlスクリプト使え
860名無しさん@お腹いっぱい。:05/02/02 16:27:08
( ゚д゚)ポカーン
ttp://www.melon-peach.com/

ここの画像、どうにかしてぶっこ抜けませんか?
862名無しさん@お腹いっぱい。:05/02/03 16:27:47
ネトラン厨(・∀・)カエレ!!
863861:05/02/06 13:01:24
ネトラン厨じゃないのに・・・
(つД`)・゚・
>>863
>>41,578 とか参考にならない?
>>861
重杉
wgetかcurlで
http://nylon.hostfuck.com/index01.html
の画像を落とすスクリプトを書いてください
>866
ちょっとは自分で勉強することも覚えてはいかがですか。
>>866
#!/bin/sh
wget -r -l1 "http://nylon.hostfuck.com/index01.html"
mkdir gazou
mv *.jpg *.bmp *.tif* *.x*m *.gif *.rgb *.psd *.eps *.wmf gazou
rm ./

無保証。

403喰らう悪寒。-Uでしっかりと騙るのがベターかも。。。
二次元には興味なし。でも
2次元か
while(<>){
 m/num=([0-9]+)&type=([a-zA-Z]+)[^0-9]*([0-9]+)/ and system "wget".
  " --output-document='$3.$1.$2'".
  " --header='Cookie:num=$1;type=$2'".
  " http://nylon.hostfuck.com/nylon.php".
 "\n";
}
×&
○&amp;
Perl?
漏れはこんなスクリプトでやってみた
for n in {28672..32767}; do
[ -f $n.jpg ] && continue
wget --header="Cookie: num=$n; type=jpg" --output-document=$n.jpg \
http://nylon.hostfuck.com/nylon.php
done

ほんとは連番じゃないので
ちゃんとやりたかったら番号はこんなかんじで抜き出せばいいかも
w3m -dump_source \
http://nylon.hostfuck.com/{,index0{1..7}.html} |\
ruby -e 'while gets; $_.sub(/image.php\?num=(\d+)/) do puts $1; end end' |\
sort | uniq
無駄が多いな、このサイト。
                 l           l
                 J           l
                           J

さわったら負けかなと思ってる。
成功した?
セルフプレジャー保守
879名無しさん@お腹いっぱい。:2005/04/04(月) 23:44:21
初心者スレから誘導されてきました。
連番のzipファイルを一気に解凍する方法はありますか?
001.zip 002.zip 003.zip
今はひとつひとつunzipしてます。既出だったらすみません。
教えてくれたら、こころを入れ替えてスクリプト勉強します。
880名無しさん@お腹いっぱい。:2005/04/04(月) 23:45:58
unzip {001..100}.zip
881名無しさん@お腹いっぱい。:2005/04/04(月) 23:53:44
for i in *.zip; do unzip $i; done
でもいいんでないかい?
882名無しさん@お腹いっぱい。:2005/04/05(火) 00:14:01
echo *.zip | xargs -n1 unzip
883名無しさん@お腹いっぱい。:2005/04/05(火) 00:42:16
unzip は自前でワイルドカードを処理するのでほかに zip ファイルがなければ

unzip \*.zip

でどうでしょう。
884名無しさん@お腹いっぱい。:2005/05/30(月) 16:25:28
うほ
885名無しさん@お腹いっぱい。:2005/06/14(火) 20:55:22
altemisweb.jpから落とせる方法をご存知の方、いますか?
そもそも普通にw3mとかでも開けないのですが。

たとえばttp://s1.artemisweb.jp/kto11/main.html
からいけるページなど。
886名無しさん@お腹いっぱい。:2005/06/14(火) 21:12:18
wget -m --cookies=on --user-agent="Mozilla/4.0 (compatible; MSIE 6.0; Windows 98)"

とかじゃだめなの?


887名無しさん@お腹いっぱい。:2005/06/14(火) 21:15:53
>>886
UAとrefererは指定してもだめです
cookieはためしてないけど、w3mでさえページを開けないってことはcookieじゃなくて
JavaScriptが効いてないとだめなのかもしれない希ガス
888名無しさん@お腹いっぱい。:2005/06/14(火) 21:45:27
>>887
リファラ送ったら普通に落ちてきたぞ?
wget --referer="http://s1.artemisweb.jp/" \
http://s1.artemisweb.jp/kto11/room-01/main.html
889名無しさん@お腹いっぱい。:2005/06/14(火) 21:52:29
>>888
そうすか?
私のところでは、w3mでもwgetでも、特定のバイト数を読み込んだところで
ブロック状態になります。で、しょうがないからctrl-Cで終了させると、
IEで取得可能な全てのファイルは落とせていない。

そっからもぐってたどれる画像に関してはまったく無理です。
890名無しさん@お腹いっぱい。:2005/06/14(火) 21:53:16
> IEで取得可能な全てのファイルは落とせていない。
わかりにくい言い方でした。
当然ですが割り込みで入力を停止させてるので、partialなファイルに
なっちゃってるってことです。
891名無しさん@お腹いっぱい。:2005/06/14(火) 21:54:53
Referer以外チェックしてないみたいだけど

% wget --referer=http://s1.artemisweb.jp/ \
http://s1.artemisweb.jp/kto11/room-01/267_track_04/267_shizuku_tsukino_2_084.jpg

HTTP による接続要求を送信しました、応答を待っています... 200 OK

% wget http://s1.artemisweb.jp/kto11/room-01/267_track_04/267_shizuku_tsukino_2_084.jpg

HTTP による接続要求を送信しました、応答を待っています... 403 Forbidden

Refererを送るにはm(r?)オプションをつければいいので
これで全部ダウンロードできると思う

wget -m -np -L http://s1.artemisweb.jp/kto11/main.html
892名無しさん@お腹いっぱい。:2005/06/14(火) 22:01:51
>>891
え??
それで、ちゃんと最後までおちますか?
私のところではブロックしてしまうのですが。

何が悪いんだろう。
893853:2005/06/15(水) 01:38:59
894名無しさん@お腹いっぱい。:2005/06/15(水) 09:16:17
wgetばーじょんうpあげ
895名無しさん@お腹いっぱい。:2005/06/15(水) 22:25:56
>>885
uname -v および wget --version を晒してみ
896名無しさん@お腹いっぱい。:2005/06/16(木) 01:47:37
>>895
FreeBSD 4.7-RELEASE
GNU Wget 1.8.2
897895:2005/06/16(木) 22:21:11
>>896
すまぬ,予想外れた.
Darwin Kernel Version 7.9.0 だと OS X 添付のwget (version失念) で --referer
オプションが働かなかった.
>>891 末尾の方法では html は落ちたが jpeg は 403.
出来心で GNU Wget 1.10 のソース落としてインスコしたところ
wget --referer=http://s1.artemisweb.jp -m -np -L http://s1.artemisweb.jp/o11/main.html
で落とせた.たぶん参考にならないが一事例としてカキコ.
898名無しさん@お腹いっぱい。:2005/06/16(木) 22:27:31
thx. とりあえずニューwgetで試してみることにしますわ。
899名無しさん@お腹いっぱい。:2005/06/22(水) 10:07:33
% ls .thumbnails/normal | wc
3643 3643 134791
% du .thumbnails/normal
84000 .thumbnails/normal

('A`)
900900:2005/06/26(日) 09:34:26
900
901名無しさん@お腹いっぱい。:2005/06/29(水) 02:00:46
すみませんこのサイトの画像取れません…ttp://loface.com/pic_sum.php?p=kakyu2
(サムネイルを拡大にするには、topページでクッキーを取得する。→http://loface.com/?e=35)

自分は色々やりました。例えば
wget -r -A .jpg -nd ttp://loface.com/pic_sum.php?p=kakyu2
こんな感じでやってみましたが、どうもダメ…
どうかご教授下さい。
902名無しさん@お腹いっぱい。:2005/06/29(水) 02:21:00
お前は基本がわかってないから無理
903名無しさん@お腹いっぱい。:2005/06/29(水) 02:59:38
>>901
ヒント: wget --header="Cookie: kokoni hairu mojiretu wo nanntoka shutoku shiro"
904名無しさん@お腹いっぱい。:2005/06/29(水) 21:09:33
>>901
日本語も学びなおしたほうがよかろ
学問でも技芸でもなく、単なる方法を知りたいのなら
×教授ください
○教示ください
>>903
それはヒントどころか答えでは・・・w
905名無しさん@お腹いっぱい。:2005/06/29(水) 23:51:29
空気を読んだ方がよかろ
単なる抜く画像を知りたいなら
×助教授ください
○女教授ください
906名無しさん@お腹いっぱい。:2005/06/30(木) 07:07:50
10秒に1アクセスの制限もあるな。
907名無しさん@お腹いっぱい。:2005/06/30(木) 09:58:10
>>901
初心者だけど過去ログを見ながら挑戦してみますた

curl -H "ここにくっきー文字列" -o kakyusei#1.jpg "http://loface.com/pic.php?img=kakyusei[001-879].jpg&pic=kakyu2"

又は…

for num in `seq -f %03g 1 879`; do
wget --header="ここにくっきー文字列" --output-document=kakyusei${num}.jpg \
"http://loface.com/pic.php?img=kakyusei${num}.jpg&pic=kakyu2"
done

これで全部ぶっこぬけると思うヽ(´ー`)ノ
908名無しさん@お腹いっぱい。:2005/07/02(土) 19:04:53
なんか最近は DCGA ってのばっかりでスルーばっかりだよ。
909901:2005/07/03(日) 00:05:10
>>902
そんなorz

>>903
クッキー文字列のことですか?

>>904
っう…スミマセン

>>905
○女生徒ください

>>906
それどういう意味ですか?

>>907
うーん上手くいきません?何ででしょう
910名無しさん@お腹いっぱい。:2005/07/03(日) 02:49:12
>>909
つ Firefox + Live HTTP headers
911906:2005/07/03(日) 09:29:12
>>909
そのままの意味。連続アクセスするとjpegの代わりに「10秒まてこの早漏」と返してくる。
hint: wget --load-cookies=foo --save-cookies=foo --keep-session-cookies
912901:2005/07/03(日) 15:47:34
お騒がせしてすみません、解決できました。

wget -r --header="cookie: Cookie: PHP_DAYCOUNT2=<省略>; lf=<省略>" http://loface.com/pic_sum.php?p=kakyu2

で出来ました。今まで出来なかったのは『PHP_DAYCOUNT2』が抜けてただけみたいですorz
>>910さんが指摘した『Live HTTP headers』で気がつきました。

どうも有難うございました。

>>911
レスしてくれて有難うございます。
913名無しさん@お腹いっぱい。:2005/07/17(日) 01:12:56
age
914名無しさん@お腹いっぱい。:2005/07/17(日) 01:21:26
まだあったのな、このスレ。
915名無しさん@お腹いっぱい。:2005/07/17(日) 01:39:56
UNIX板での良スレ
916名無しさん@お腹いっぱい。:2005/07/31(日) 12:29:53
エロいおまいら 画像ビューワ のお勧め教えれ。

xv? gimageview? gqview? 他?

ディレクトリ一覧の時に、そのディレクトリの中の画像が
アイコン一覧みたいに見えるやつキボンヌ。
917名無しさん@お腹いっぱい。:2005/07/31(日) 13:32:21
またこいつか。
918名無しさん@お腹いっぱい。:2005/07/31(日) 14:37:59
>>916
explorer
919名無しさん@お腹いっぱい。:2005/07/31(日) 15:06:24
>918
ports には見当たらないね。
ぐぐってもどれがどれやらワカラン。

>917
?
920名無しさん@お腹いっぱい。:2005/08/01(月) 02:33:50
ネタにマジレスか
こりゃヒドイ
921名無しさん@お腹いっぱい。:2005/08/04(木) 06:20:35
kuickshow つかってまつ
922名無しさん@お腹いっぱい。:2005/08/04(木) 14:52:57
paint
923名無しさん@お腹いっぱい。:2005/08/13(土) 11:44:34
>>919
C:\Windows\system32\explorer.exe
924名無しさん@お腹いっぱい。:2005/08/25(木) 21:53:35
gthumbかな?
925名無しさん@お腹いっぱい。:2005/08/26(金) 09:57:59
926名無しさん@お腹いっぱい。:2005/09/02(金) 22:15:47
例えば、リストの内容が
http://www.unko.jp/~chinko/[000-026].jpg
http://www.manco.jp/anal/gay[00-26].jpg
みたいなファイルがあったとしてこれを展開してwgetなりに渡すにはどんなスクリプト書きます?

自分が深く考えないで書いてみたのは
cat < list | sed 's/\(.*[^0-9]\)\[\([0-9].*\)-\([0-9].*\)\].*\.\([^.]*\)$/\1 \2 \3 \4/g' | awk '{printf("echo %s\{%s..%s\}.%s\n", $1, $2, $3, $4)}' | zsh -s | tr ' ' '\n'
で、最初のsedでアドレス、開始の番号、終わりの番号、拡張子を分けて、awkでzshのスクリプト書いて最期にtrで改行入れてるんだけど、どうかな?
添削よろしくです。
927名無しさん@お腹いっぱい。:2005/09/02(金) 22:23:05
やりたいことがよくわからんが、
スカトロでホモって事はわかった。
928名無しさん@お腹いっぱい。:2005/09/02(金) 22:40:51
>添削

読めない
929名無しさん@お腹いっぱい。:2005/09/03(土) 00:47:22
zsh知らんけど、添削するなら
sed 's/¥[¥([0-9]*¥)-¥([0-9]*¥)¥]/{¥1..¥2}/g; s/^/echo /'
とか?

ただ自分なら、zsh使うくらいなら perlとかで、置き換えながらぐるぐる再帰使って回すかなぁ。
930名無しさん@お腹いっぱい。:2005/09/03(土) 01:19:04
>>928
「てんさく」って読むんだYO!
931名無しさん@お腹いっぱい。:2005/09/03(土) 01:24:12
>>929
アーナルほどsedで開始と終わりの番号を別のフィールドにわけないでzshの{..}の形にすればいいのか。。。

坂本文のたのしいUNIXで勉強したてなんでsedとawkくらいしか知らないのでできればperlで
書いていただけませんか?
932名無しさん@お腹いっぱい。:2005/09/03(土) 02:07:02
933名無しさん@お腹いっぱい。:2005/09/03(土) 04:01:09
wgetなりってことなので curl 使ってもいいんですよね
934名無しさん@お腹いっぱい。:2005/09/06(火) 18:40:22
>931
雑だけど。
#!/usr/bin/perl -n
sub ren {
 $_ = shift;
 if (/¥[(¥d+)-(¥d+)¥]/) {
  my ($a,$b,$fst) = ($`,$',$1);
  foreach $i ($fst..$2) {
   ren($a . sprintf("%0*d",length($fst),$i) . $b);
  }
 } else {
  print;
 }
}
ren($_);
935名無しさん@お腹いっぱい。:2005/09/06(火) 19:31:13
Perlの場合、マジックインクリメントに頼れば

#!/usr/bin/perl -n

if (/^(.*)\[(\d+)-(\d+)\](.*)$/) {
for ($2..$3) { print "$1$_$4\n"; }
} else {
print;
}

でいい気がするけど
936934:2005/09/06(火) 19:48:05
ついでにbash

shopt -s extglob

function ren {
case $1 in
*¥[+([0-9])-+([0-9])¥]*)
set -- $( echo "$1" | sed 's/¥[¥([0-9]*¥)-¥([0-9]*¥)¥]/ ¥1 ¥2 /' )
for i in $( jot -w"%0$(echo -n $2|wc -c|tr -d ' ')d" - $2 $3 1 )
do
ren $1$i$4
done
;;
*)
echo $1
;;
esac
}

while read s
do
ren $s
done

>935
Perlまかせにすると、[00-10]とかができなかった。
937名無しさん@お腹いっぱい。:2005/09/06(火) 19:58:54
>>936
ちょっと試した感じだと、00みたいに偽値と判断されるやつがダメみたいね。
01-10とかだとオッケーなんだけど。
938名無しさん@お腹いっぱい。:2005/09/14(水) 19:01:44
連番のH画像を諦める勇気ってのも僕には必要なんだ。

エロ画像
 いくら取っても
     無くならず
  取るだけ取って
    それでおしまい

お世話になりました。
939名無しさん@お腹いっぱい。:2005/09/14(水) 20:28:42
今度は、ため込んだ画像を削除する勇気だな。
940名無しさん@お腹いっぱい。:2005/09/14(水) 22:08:56
画像から動画へステップアップする勇気も必要だ。
941名無しさん@お腹いっぱい。:2005/09/15(木) 09:12:22
取り敢えず200MくらいのHDDを6個くらい買ってくる勇気
942名無しさん@お腹いっぱい。:2005/09/15(木) 16:43:35
200Gの間違いじゃないのか
943名無しさん@お腹いっぱい。:2005/09/15(木) 19:47:59
200Gを6個買うのよりも200Mを6個買う方が勇気いると思う。
944名無しさん@お腹いっぱい。:2005/09/19(月) 17:01:24
ワロタ
945名無しさん@お腹いっぱい。:2005/09/22(木) 10:04:37
動画話に進出したついでに。

小さいスクリーンショットを一枚にまとめるのに
良いツールって何かありませんか?

散々既出の連番ゲットしたあとにちまちま
convert +append
convert -append
ってやってまつ。

こういうのってどうやってるんだろ:
ttp://www.aventertainments.com/jp/Product_lists.aspx?product_id=9200
946名無しさん@お腹いっぱい。:2005/09/22(木) 19:15:37
使ったこと無いけど、montageはどうかな?ImageMagic系。
http://www.cit.gu.edu.au/~anthony/graphics/imagick6/montage/
947名無しさん@お腹いっぱい。:2005/10/15(土) 14:53:52
アルテミスでGNU使ったら、串刺してたのに生IPごと弾かれたorz
948名無しさん@お腹いっぱい。:2005/10/15(土) 15:10:03
↑今年最初に見た馬鹿
949名無しさん@お腹いっぱい。:2005/10/15(土) 16:36:25
950名無しさん@お腹いっぱい。:2005/11/04(金) 18:45:08
このスレのまとめサイト作っていいですか?
951名無しさん@お腹いっぱい。:2005/11/04(金) 19:25:36
よろしく
952950:2005/11/05(土) 18:30:02
>>950
テキトーにつくってみました。
http://seizen.dyndns.org:8080/matome/

ちなみにおいらはperl+sh派です。
953名無しさん@お腹いっぱい。:2005/11/06(日) 00:52:21
だよもん..
954名無しさん@お腹いっぱい。:2005/11/06(日) 02:08:37
このスレで
tp://www.464.jp
の連番ダウンロードできた人いる?
955名無しさん@お腹いっぱい。:2005/11/06(日) 08:03:56
>954
さっき試してみたけどできたよ
しかしこれ画質悪いな
956名無しさん@お腹いっぱい。:2005/11/13(日) 15:05:31
今このスレのノウハウを生かしてVOAのスクリプトとmp3をダウンロード中…。
957名無しさん@お腹いっぱい。:2005/11/14(月) 19:37:17
voaって何かね
958名無しさん@お腹いっぱい。:2005/11/14(月) 21:21:25
Vagina or Anus
959名無しさん@お腹いっぱい。:2005/11/16(水) 22:48:44
>>957
Voice of America です。英語のニュース・サイトの過去ログがターゲットです。
mp3とスクリプトが揃っているので、これをローカル教材として加工しようと思いました。
で、一応落とせたんですが……
http://www.voanews.com/specialenglish/2005-11-15-voa3.cfm

こんな吐き気がするHTMLをどう加工しろと……orz
960名無しさん@お腹いっぱい。:2005/11/18(金) 19:49:09
edなり perlなりで、ばっと<span class="articleheadline"〜</P></span>あたり抜き出して、html2txtみたいな処理かけて、余計なの削るとか。
そういうことではない?
961名無しさん@お腹いっぱい。:2005/11/18(金) 22:10:42
>>960
perl で $html =~ s!!!sig; を何度も繰り返すスクリプト書いて、なんとか読めるHTMLに加工しました。
今は mp3 を wget してます。
このサイト、mp3 は mp3 で命名規則皆無という腐りっぷりです。うへぇ。

ところで質問です。
ちょっと確認してみたところ GNU Wget 1.10.1 のデフォルトのリクエストは

GET /index.htm HTTP/1.0
User-Agent: Wget/1.10.1
Accept: */*
Host: localhost
Connection: Keep-Alive

という内容でした。で、プロトコルを HTTP/1.1 に切り替えるか、
または強制的に HTTP/1.1 と申請してリクエストすることはできますか?
962名無しさん@お腹いっぱい。:2005/11/18(金) 23:45:53
curl使ってみるとか
963名無しさん@お腹いっぱい。:2005/11/19(土) 05:30:52
>>961
どーせPerl使うんならHTML::TokeParserとかその辺のライブラリ使えばいいのに。
高速ではないけどそれなりに便利だよ。
964名無しさん@お腹いっぱい。:2005/11/28(月) 22:50:25
次スレどうしますか?
965名無しさん@お腹いっぱい。:2005/11/29(火) 09:40:42

 ス
  レ
   頼
    ま
     な
      い
966名無しさん@お腹いっぱい。:2005/11/29(火) 16:31:03
頼みcom
967名無しさん@お腹いっぱい。:2005/11/29(火) 18:27:16
>>977までは粘れると思われ。
968名無しさん@お腹いっぱい。:2005/11/29(火) 22:52:17
>>980が立ててくれるってさ
969名無しさん@お腹いっぱい。:2005/11/30(水) 15:53:56
>>980
今度のスレタイは↓こうしてくれ
「連番のH画像/動画を一気にダウンロードする」
970名無しさん@お腹いっぱい。:2005/11/30(水) 17:39:06
これは言わない約束なのかもしれんが
「H」は外さないうわなにするやめろqあwせdrftgyふじこlp:[
971名無しさん@お腹いっぱい。:2005/11/30(水) 18:26:42
じゃあ
連番のURIから一気にダウンロードする /2
でよろしかったでしょうか?
972名無しさん@お腹いっぱい。:2005/12/01(木) 21:44:37
てか連番ている?
973名無しさん@お腹いっぱい。:2005/12/01(木) 21:50:49
ネタ出つくしたみたいだし、
次スレなしでもいいかと。
974名無しさん@お腹いっぱい。:2005/12/03(土) 16:03:25
最近動画落とすのにパスワードが必要だったりするので
自動化は無理そうだと思ったり思わなかったり
975名無しさん@お腹いっぱい。:2005/12/07(水) 08:43:36

>>955詳 し く
976名無しさん@お腹いっぱい。:2005/12/13(火) 14:55:32
977FM:2005/12/18(日) 21:28:53
>>975
opera使えば右クリックが効くからURLがわかりますよ。
それで、
464.jpってttp://comic110.464.jp/data/...
以降がwgetですんなりDLできないのですがなんでかわかりますか?
ttp://comic104....などは普通にできるけど、ドラゴンボールが取れない。
operaで直接url書けばみれるのですが,なんででしょうか?

あれ、この板ってもう別にうつってる?
978名無しさん@お腹いっぱい。:2005/12/19(月) 01:02:57
>>952
ここまでスレが進んでるのにまとめにcurlが載ってないのは信じられない
979名無しさん@お腹いっぱい。:2005/12/21(水) 03:21:09
>>977
レスありがとうございます
私はlunascapeというタブブラウザを使っていてそれで画像のurlを抜き取り
連続ダウンローダで連番のを落としてみたのですが見てみると画像情報がなくすべて見れないファイルでしたorz
jpegファイルなのに見れないんですよね。。
ちなみに私が試したのはドラ●もんでttp://comic104でしたができませんでした。。

噂によるとダウンロードできないようにしてるサーバーとかあるようです.....(´・ω・`)
980名無しさん@お腹いっぱい。:2005/12/21(水) 09:33:01
どざ氏ね
981名無しさん@お腹いっぱい。:2005/12/21(水) 15:31:35
>>979
やってみたけど、問題なくダインロード&表示できるよ。
>>979のスキルの問題
982名無しさん@お腹いっぱい。:2005/12/21(水) 15:52:11
ダインロードってなんかかっこええな
983名無しさん@お腹いっぱい。:2005/12/22(木) 01:54:40
スキルでなく、クンフーの問題
984名無しさん@お腹いっぱい。:2005/12/22(木) 03:59:39
>>981
ホントですか・・・(゚Д゚)一体何が原因なんでしょうか・・・・
私もダウンロード自体はできてるのですがフォルダにダウンロードされた
画像ファイルを見てみると表示されませんorz ソフトやURLなどいろいろ確認しましたが。。orz
 今は結局freemacroでダウソしてるんですが時間かかりまくりんぐ・・・orz
985名無しさん@お腹いっぱい。:2005/12/24(土) 10:06:45
>>984
ヒント:連番ダウンローダはrefereを使ってくれない。
986nyanko:2005/12/24(土) 12:10:46
>>985
wget でも普通に指定できるYO!
987名無しさん@お腹いっぱい。:2005/12/24(土) 15:55:24
>>986
TU○ にもしかしている方?

>>984
なんか、ほんとにクンフーたりないねきみ。。。
988名無しさん@お腹いっぱい。:2005/12/24(土) 16:45:08
ここがunix板だと気づいていないんじゃないのか。
989名無しさん@お腹いっぱい。:2005/12/24(土) 17:20:08
来年の1月10日で5周年だな
990名無しさん@お腹いっぱい。:2005/12/24(土) 19:12:34
今まで誰も出していないが,emacs 上でウェブブラウザ(w3m とか)を走らせて,
画像をダウソロードする手順をキーボードマクロで登録しておけば,
特に何も考えなくてもほとんどのサイトでダウソロードできます.
991名無しさん@お腹いっぱい。:2005/12/25(日) 03:14:29
>>990
具体的に書かないのは宗教上の問題かなんか?
992名無しさん@お腹いっぱい。:2005/12/25(日) 07:30:18
キーボードマクロの手順を具体的に書くの?w
993名無しさん@お腹いっぱい。:2005/12/25(日) 13:32:48
インタラクティブってアホじゃありません?
994名無しさん@お腹いっぱい。:2005/12/26(月) 03:13:07
おい、次スレが立ってるぞ
http://pc8.2ch.net/test/read.cgi/unix/1135533382/
995名無しさん@お腹いっぱい。:2005/12/26(月) 10:26:56
(゚д゚)ウメー
996名無しさん@お腹いっぱい。:2005/12/26(月) 10:28:39
(゚д゚)ウメー
997名無しさん@お腹いっぱい。:2005/12/26(月) 10:30:27
(゚д゚)ウメー
998名無しさん@お腹いっぱい。:2005/12/26(月) 11:00:26
まんこ
999名無しさん@お腹いっぱい。:2005/12/26(月) 11:01:29
(゚д゚)ウメー
1000名無しさん@お腹いっぱい。:2005/12/26(月) 11:02:34
(゚д゚)ウメー
10011001
このスレッドは1000を超えました。
もう書けないので、新しいスレッドを立ててくださいです。。。