連番のＨ画像を一気にダウンロードする

>おまえら満足してますか？

してねぇっす・・・。

ダウンロード成果物をいかにユニークに保存するかってトコロで
頭痛めてたりする。
とりあえず、ファイルのMD5をpostgres上のテーブルにinsertしといて、
ダウンロード成果物をそいつとチェックして適宜ハネるって運用してるん
だけど、どうしても明らかに重複する奴が出てくる。

理由はいくつかあるんだけど、この辺が泥臭くかつ難しいね・・・。

最終的には画像の類似性をうんぬんって世界にしないと仕方ないのか？
誰か「漏れはコレだ！」って奴を教えてくれぃ。

645 ：名無しさん＠お腹いっぱい。：03/10/27 02:18

>>644
> 最終的には画像の類似性をうんぬんって世界にしないと仕方ないのか？
> 誰か「漏れはコレだ！」って奴を教えてくれぃ。
今まで何を試したか書いてくれ。
例示した後で「それはもう使ってみた」って言われるのはやだ。

646 ：名無しさん＠お腹いっぱい。：03/10/27 04:18

おれは単純に時間とディレクトリで分類してる。
ファイルのタイムスタンプとユニークなID,簡単なメモを
名前に付けてリネームするスクリプト書いて、
適当なディレクトリにとりあえず放り込む。ここまではほぼ自動。

あとは実際に見てる時に必要なら分類し直す。
おれ的にはファイル名がユニークであれば、それで足りてる。
全ての画像に等しい価値がある訳でないので、
必要な時の手作業の分類で間に合う。

647 ：名無しさん＠お腹いっぱい。：03/10/27 04:30

俺はディレクトリと連番だな。もちろんスクリプトで。

648 ：login:Penguin：03/10/27 14:31

>>610
再うpきぼん

649 ：名無しさん＠お腹いっぱい。：03/10/27 20:36

>>644
wget -x で URL のまま保存してる。

650 ：名無しさん＠お腹いっぱい。：03/10/28 00:30

>>648
> >>610
> 再うpきぼん

>>631
> >>610
> 遅くなって正直スマンかった。
>
> 望みのモノだよ。
> http://saeto.deep-ice.com

651 ：644：03/10/28 12:03

>今まで何を試したか書いてくれ。
少しずつ積み重ねてるから、そんないろいろな方法試してるわけでも
ないんだわ。
で、今のところこんな仕組み。

前提：ファイルはすべて.jpg。
対象は、ディレクトリごとにファイルがまとまっていると想定。
(ディレクトリひとつに1ファイルは無視)

-- 日々。
(1) wget -x でディレクトリごとdownload
(2) jpeginfoで壊れたファイルを削除

-- 月次。
(3) ディレクトリ階層をn階層 -> 2階層へ変換
(4) 指定バイト数以下のファイルやディレクトリを削除
(サムネイル対策)
(5) 過去にダウンロードしたファイルのmd5と比較し、新規ファイルが
含まれているディレクトリは保存用ディレクトリへ移動。
(6) 保存用ディレクトリへ移動したものは、md5をpostgres上のテーブルへ
insertする。
(次からのダウンロード重複チェック用)

--適当なタイミングで。
(6) そこそこたまってきたら、CD-Rを使ってお掃除。

上記(6)以外はすべて自動実行。
で、こうやってて素朴に思うのが、「ここまでやらないかんのか？」てところ。
これという方法も無いような気がするんだけどね。

652 ：644：03/10/28 22:21

続き。

重複する理由ってのが、だいたい
(a) jpgファイルが壊れてて、md5が違ってる。
(b) 見た目おんなじ画像で壊れてもいないjpgファイルだけど、何故かmd5が違う。
(c) 素材はおんなじだけど、画像ファイル化したヒトが違うヒト
といったところかなと。
んで、(a)はjpeginfoでどうにかなるとして(といっても再度ダウンロードで補うことが
できればだけどね)、(b),(c)はどうしたものかなと。

完全自動化を目指してるんで、この辺クリアできないかなと考えてます。

653 ：名無しさん＠お腹いっぱい。：03/10/29 00:51

そこまでしてローカルにあらゆる画像を保存したいの?

画像の類似性を判別するソフトがあったような気もするけど。

654 ：名無しさん＠お腹いっぱい。：03/10/29 02:28

GQview とか

655 ：名無しさん＠お腹いっぱい。：03/10/29 02:29

>>653
よく web 上から消えるじゃん。

656 ：うひひ：03/10/29 09:36

>>644
素人考えなんだが
同じエロ画像でも大きさっていうか画質とかが違ってたりすんじゃん
例えばイメージマジックとかで同じ様な仕様になるように
小さくサムネイルのように同じファイルサイズとかにフィルタしてから
binary diffみたいのを使って差分をとって差分比率を読みとりながら
画像を比較できないのかなぁ？

657 ：名無しさん＠お腹いっぱい。：03/10/29 14:12

昔は連番ファイル落とすためにwgetやshを駆使して頑張ってた時期もあった。
たとえばこことか。
ttp://www.taiwankiss.com/board1/data/82585.html
（白石ひより、藻無し、556MB + 567MB、ラブマ分割、パス未発表）

今は各種P2Pがあるから手間いらずで外付け120GBもエロで満杯だよ。

658 ：名無しさん＠お腹いっぱい。：03/10/29 22:59

>>658
どのP2P使ってるか教えれ

659 ：644：03/10/31 23:42

レスありがとさんです。

>GQview とか
フリーでこのテのツールがあるとは知りませんでした。
別のツールでは、作者が「コマンド実行で類推するようにしたいな」って
書いてたんで、もう少し様子見かなと。
もしくは、これらツールから該当コードをぶっこぬいて、コマンドラインで
実行できるようデッチ上げるのも手かなと。

>binary diffみたいのを使って差分をとって差分比率を読みとりながら
>画像を比較できないのかなぁ？
＃漏れも画像関係まったくの素人なんですが・・・。
jpegを一度bitmapか何かに展開してからゴリゴリ比較って動きかな？
暇を見てちょっと試してみます。

時間を見つけて、いずれかの方法をちょっとやってみます。
ありがとうございやした。

660 ：名無しさん＠お腹いっぱい。：03/11/13 05:03

俺は半角板を自動巡回して URI 拾って wget のリクエスト作る Ruby スクリプト書いた
落ちてきた画像は一通り見てお気に入りの奴はお気に入りディレクトリに入れて
それ以外は全部ファイル名を MD5 にリネームするスクリプトで変換してから
画像置き場ディレクトリに放り込んでる

画像的には同一なんだけどデータとしては違うというケースはうちでも発生してるな
ちゃんと判定する方法なんて無いような気がしてたから諦めてたけど
ここらへん研究してみると面白いかもな

>>652
(b)(c)のケースなんだけど、もし画像サイズが同じなら、
jpeg のエンコード時の特性の違いがあるのかもな
もしそうなら jpeg のエンコードに特化した画像判別があればいいのかも

661 ：名無しさん＠お腹いっぱい。：03/11/14 22:06

>>660
JPEGは符号化時のクオリティ設定で出力がまったく違います。
また、どこかのwebで拾った同じJPEGファイルに端を発した画像でも
デコード・エンコードを繰り返して劣化したもの、コメントが変わった
・取り除かれたもの、huffmanコードを最適化したものなどいくらでも
バリエーションがありますので、結局デコード後の画像として比較する
しかないのではないかと。

662 ：名無しさん＠お腹いっぱい。：03/11/22 23:24

エロ画像とかよか普通の女の子画像をダウンロードしたくなりました。
で、
ttp://avbuzz.com/bbs/model/list.php
を見つけたわけですが。
ここのを大きい画像だけ上手にダウンロードしたいんだけど、難しいです。
良い方法、なんか思いつきませんか？

663 ：名無しさん＠お腹いっぱい。：03/11/23 00:16

うーむ。
% w3m -dump_source 'http://avbuzz.com/bbs/model/diss.php?id=152568' | sed -n 's@ *<img src=$.*$ vspace=10><br>@\1@;s@^u@http://avbuzz.com/bbs/model/u@;/^http/p'

664 ：名無しさん＠お腹いっぱい。：03/11/23 03:04

>>663
出きたよー。
ありがと。

665 ：名無しさん＠お腹いっぱい。：03/11/25 15:58

wgetを使ってあるディレクトリ以下にある(cgiソース含)ファイルを無差別にDLする方法ありませんかね。

666 ：名無しさん＠お腹いっぱい。：03/11/25 16:00

man wget

667 ：名無しさん＠お腹いっぱい。：03/11/25 16:08

>>666
やったけど詳しく書いてないみたいだけど、、、

wget -r --ignore-length <URL/>

で良いかな?

668 ：名無しさん＠お腹いっぱい。：03/11/25 16:16

info wget

669 ：名無しさん＠お腹いっぱい。：03/11/25 17:19

cgiファイルらしきもんはダウンロードできたけれど、やっぱソースが見れないです。
ソースの形でまるごとやりたいんですけど。

670 ：名無しさん＠お腹いっぱい。：03/11/25 17:25

ソースが見れないように設定してあるHTTP鯖から、
ソースを落とすことはできませんヨ。当たり前だろ。

671 ：名無しさん＠お腹いっぱい。：03/11/25 17:31

やっぱ、そうだったか。
たまたま、ソースもまるごと落せたこともあったけど、それはそこの管理者が
物凄くアホだったってわけね。

俺もな、、、涙;

672 ：名無しさん＠お腹いっぱい。：03/11/25 17:35

そもそも、読み出し権限無いかもしれないし。

673 ：名無しさん＠お腹いっぱい。：03/11/25 22:14

>>671
というかCGIとして実行されるように設定されてるファイルは、絶対にGETできんよ。
そのファイルを指定したリクエストが来たらCGIとして実行するようになってる
訳だから、(そのWebサーバ経由では)ファイルを取りようが無い。
ソースを落とせたことがあるんなら、多分それは、CGI実行設定されてない
ディレクトリに物置のように置いて有ったのだろう。逆に言うとそれは
「動いていない」プログラムだから、正しいという保証はどこにも無い。

674 ：名無しさん＠お腹いっぱい。：03/11/26 00:38

jpeginfo でこわれているjpegファイルの判定を十分にできますか？
なんか、xv で表示できないファイルがだいぶ残るのですが。

675 ：名無しさん＠お腹いっぱい。：03/11/26 01:21

XVの設定が古いせいではないかと…

ImageMagickとかなら表示できたりしない？

676 ：名無しさん＠お腹いっぱい。：03/11/26 01:53

そうですか。もうすこしいろいろためしてみます。

677 ：名無しさん＠お腹いっぱい。：03/11/26 14:35

% perl slodziutka.erospace.pl

ﾄﾞｿﾞｰ

678 ：名無しさん＠お腹いっぱい。：03/12/17 20:51

最新のwgetって~を%7Eに変換しないのか…

679 ：名無しさん＠お腹いっぱい。：04/01/02 16:41

「げっとぴっく」ってやつ使ってるんだが
「指定のＵＲＬには画像が存在しません」とかいうエラーが出てきてdlできん

680 ：名無しさん＠お腹いっぱい。：04/01/02 16:44

>>679
板違い。

681 ：名無しさん＠お腹いっぱい。：04/01/05 09:57

http://gallery3.pure-angel.net/kasumi_nakane/index.html

なんだけど、wget が使用不能です（downloaderとして弾かれる）。
猛者の皆様、お助け下さい。

682 ：名無しさん＠お腹いっぱい。：04/01/05 10:22

>>681
あんま好きなおなごじゃないな

wget --user-agent=Mozilla --referer http://gallery3.pure-angel.net/kasumi_nakane/01/ http://gallery3.pure-angel.net/kasumi_nakane/01/nakane_kasumi_0{0,1,2,3,4,5,6,7,8,9}{0,1,2,3,4,5,6,7,8,9}.jpg

683 ：名無しさん＠お腹いっぱい。：04/01/05 14:01

> wget --user-agent=Mozilla --referer http://gallery3.pure-angel.net/kasumi_nakane/01/ http://gallery3.pure-angel.net/kasumi_nakane/01/nakane_kasumi_0{0,1,2,3,4,5,6,7,8,9}{0,1,2,3,4,5,6,7,8,9}.jpg

ありがとうございます！！
--refererの使用まで思い至りませんでした。

684 ：名無しさん＠お腹いっぱい。：04/01/08 07:39

>>578の方法につての質問です。
ディレクトリが同じでその中のファイルの例が
img20031113192714.jpg 13 Nov 03 19:27 6.2Kb
img20031113210116.jpg 13 Nov 03 21:01 7.4Kb
img20031113210157.jpg 13 Nov 03 21:01 22.1Kb
･･･
こんな感じになってます。これを一気に落としたいのですが
いかんせん時分秒まで回してたらやばいことになりそうなので
wget http://~　の~部分だけループできたらと思います。
で，その場所がディレクトリサービスONだったので
starsuiteで上のようなファイルリストを作りました。
でもシェルスクリプトの動作がイマイチわかりません。

cat<<END |wget http://nanntokakanntoka/
2003xxxxxxxx.jpg
...
END

の足りない部分を埋めていただきたく思います。
Solaris9でインストールしたときのsh使ってます。

それ以前にwgetでディレクトリサービスONの
アドレスから.jpg .png .gifの絶対パス取って
まとめてゲット~なんて出来ればなお良いんですけど
私にはさっぱりひらめきがないのでもし良かったら
ご教示願います

685 ：684：04/01/08 07:53

あーん最悪。wget -r http://www.nantara/
だけでぜーんぶおとせた。ディレクトリサービスオンだとこんなことになるのね。
って書き込んでる間に396filesオチター

686 ：名無しさん＠お腹いっぱい。：04/01/08 09:52

何が最悪なんだ？

687 ：名無しさん＠お腹いっぱい。：04/01/08 13:32

684がhelpもinfoも読まずにカキコしちゃった自身の
ソコツさ加減を最悪と称しているのでせう

688 ：名無しさん＠お腹いっぱい。：04/01/09 02:37

echo "wget http://www.hoge.he.jp/hoge/ero{001..100}.jpg" | zsh -s

689 ：名無しさん＠お腹いっぱい。：04/01/09 13:54

>>685
URL希望

690 ：名無しさん＠お腹いっぱい。：04/01/17 18:58

あの、awkでしかも汚いですが一応動きます。
baseurl と files 変えたら他の女の子のもいけます。
よければ添削してやってください。

BEGIN{
baseurl="http://www.tokyo-247.net/image/37_maya/maya1/t2_maya001.jpg"
files = 55

split(baseurl,url,"1/")
url[2] = substr(url[2],1,index(url[2],"0"))

for(i=1; i<=files; i++){
path = url[1] int((i-1)/15)+1 "/"
if(i<10){ number = "0" i }else{ number = i}
file = url[2] number ".jpg"
print file
wgetcmd = "wget -nc " path file
system(wgetcmd)
}
}

691 ：名無しさん＠お腹いっぱい。：04/01/18 00:35

wgetのオプションでquotaを指定すると取得するファイルの上限をきめられるそうですが
逆に下限を決める事はできないのでしょうか？
HDDがすげー遅いので、ディスクアクセスをできるだけ減らしたいっす

692 ：名無しさん＠お腹いっぱい。：04/01/18 00:39

>>690
わざわざ変なスクリプトかいて暇ですな。

693 ：名無しさん＠お腹いっぱい。：04/01/18 00:45

>>690
ファイルごとに wget を起動するんでなく
URL を一括で wget に食わせてやる方がよいと思う。
あとせっかく wget 使うなら便利なオプションがいろいろあるので調べるが吉。

694 ：690：04/01/18 08:09

ご意見ありが㌧。
>692
九段のサイトでは画像を小出しにしてまして
定期的に巡回して、うｐ分を一括ダウソする必要があり
まぁ暇だったこともあってこうなりまつた。
>693
その向きでまたチャレンジしまつ。

695 ：名無しさん＠お腹いっぱい。：04/01/18 11:26

> ご意見ありが??。
まともなunixerならまず使おうとは思わん記号だな

696 ：名無しさん＠お腹いっぱい。：04/01/18 11:53

>>695
というか、入力方法がわからんよ
emacsでctrl-q hoge fuga とかするの?

697 ：名無しさん＠お腹いっぱい。：04/01/18 11:55

そういえば、どこかのｽﾚに
「(･∀･)ｲﾗﾈ」って書いてあったのを見たことあるよ

698 ：名無しさん＠お腹いっぱい。：04/01/18 15:40

>695
わざわざ使おうとは思わんけど、
unixでは読めないのがあたりまえみたいな
書きかたをされると( ´ﾟдﾟ｀)

699 ：名無しさん＠お腹いっぱい。：04/02/08 02:27

連番のH画像じゃないんですが、
http://celeb.goldengate.hu/site_videos.php3
ここの MPEG全部落したいんですが、あれこれやっても
うまくできないのです。お知恵を貸していただければ、
嬉しいのですが。

700 ：名無しさん＠お腹いっぱい。：04/02/08 03:24

"あれこれ"やったことを書け。

701 ：名無しさん＠お腹いっぱい。：04/02/08 14:32

リンクを解析して辿り、目的の拡張子だけをダウソするPerlスクリプトを書いたんですが・・・再発明ですか？
個人的には十分楽しんだからｳﾏｰだけど。

702 ：あぼーん：あぼーん

あぼーん

703 ：名無しさん＠お腹いっぱい。：04/02/08 15:29

先生！！>>702の頭の悪さが直っていません！

704 ：名無しさん＠お腹いっぱい。：04/02/08 15:50

HTML::LinkExtor とか使えばいいのに。
出力は、fork しまくって wget を同時に走らすスクリプトに渡すと。

まあ、手元にあるんだが、希望者がいれば公開してあげます。

705 ：名無しさん＠お腹いっぱい。：04/02/08 17:50

>>704
公開希望

706 ：名無しさん＠お腹いっぱい。：04/02/08 18:24

今痔が出来て痛くてたまらないからAA貼り付けようかな

707 ：名無しさん＠お腹いっぱい。：04/02/08 22:22

僕もがんばってみた。「はじめてのC言語」とそれから「関数の使いかた」少しよんだ。

#include <stdio.h>
#include <string.h>
#include <math.h>
#define MAXSTRING 255

struct address{
char preaddr[MAXSTRING];
char scope[MAXSTRING];
char aftaddr[MAXSTRING];

int statnum;
int endnum;
int digit;
};

/* 続く */

708 ：名無しさん＠お腹いっぱい。：04/02/08 22:23

void numaddr( struct address *p )
{
char cset[] = "-";
p->digit = strcspn( p->scope, cset );
p->statnum = atoi( strtok( p->scope, cset ));
p->endnum = atoi( strtok( NULL, cset ));
}

void printaddr( struct address *p )
{
int i, n, t;
for ( n = p->statnum; n <= p->endnum; n++ )
{
fprintf( stdout, "%s", p->preaddr );
if ( n == 0 ) i = 0;
else i = log10(n);
for ( t = i; t < p->digit - 1; t++ )
fprintf( stdout, "0");
fprintf( stdout, "%d%s\n", n, p->aftaddr );
}
}

/* 続く */

709 ：名無しさん＠お腹いっぱい。：04/02/08 22:24

int main( int argc, char *argv[] )
{
int i;
char cset[] = "[]";
struct address multiaddr[argc];

if ( argc <= 1 ) fprintf( stdout, "%s [word]...\n", argv[0] );
else
{
for ( i = 1; i < argc; i++ )
{
strcpy ( multiaddr[i].preaddr, strtok( argv[i], cset ));
strcpy ( multiaddr[i].scope, strtok( NULL, cset ));
strcpy ( multiaddr[i].aftaddr, strtok( NULL, cset ));

numaddr(&multiaddr[i]);
printaddr(&multiaddr[i]);
}
}

return 0;
}

/* おしまい */

710 ：707：04/02/08 22:28

math.h をつかうと
#gcc -o getopai getopai.c -lm
と -lm つけるのなんでだろ?

711 ：707：04/02/08 22:35

>>709 やっぱこう↓しとく
"s/\[word\]/opai\[001-100\].jpg/"

712 ：699：04/02/08 23:49

700さん
ここむずかしいですね。どういう仕組みなんだろう、このHP。
画像もたくさんあるみたいなんだけど、すぺてPHPで開いてきます。
wget -r --user-agent=Mozilla --referer http://celeb.goldengate.hu http://celeb.goldengate.hu/
当然これでは無理ですね
だめぽ…

713 ：名無しさん＠お腹いっぱい。：04/02/09 12:51

難しくはない。ただ、ファイル名が結構適当なので面倒臭い。
wget http://celeb.goldengate.hu//celebs_foreign_pic/Dido/dido{043..045}.jpg

714 ：名無しさん＠お腹いっぱい。：04/02/09 13:03

>>712
動画ウィンドウの表示にはJavaScriptを利用してるみたいなので
wgetだけでは無理かと

715 ：699：04/02/09 23:45

うんどうやってするのがスマートな解決なんでしょうか。
僕には皆目検討もつきません。
やっぱ一つ一つ落すしかないのかな。

716 ：名無しさん＠お腹いっぱい。：04/02/10 03:47

--user-agentの指定ってどういうとき必要になるの？

717 ：名無しさん＠お腹いっぱい。：04/02/10 03:56

偽装したい時

718 ：名無しさん＠お腹いっぱい。：04/02/10 08:30

>>716
指定しないと落とせないとき。

719 ：名無しさん＠お腹いっぱい。：04/02/10 10:44

アクセスログ読んでる奴に嫌がらせしたいとき。

720 ：名無しさん＠お腹いっぱい。：04/02/11 12:14

>>718
--user-agentを指定しアクセス制限を回避することは
不正アクセス禁止法の第3条2項2号に違反するため、
一年以下の懲役又は五十万円以下の罰金に処されます。

721 ：名無しさん＠お腹いっぱい。：04/02/11 13:22

>>720
user agentは不正アクセス禁止法の識別符号には該当しない。

722 ：名無しさん＠お腹いっぱい。：04/02/11 15:23

詳しい人100人集めたら90人くらいまではそう言うと思うけど、裁判所的にはどうだろね。
URLと一緒で意図絡んでるからトチ狂った判断出される可能性はなきにしもあらずげ。

723 ：名無しさん＠お腹いっぱい。：04/02/11 20:32

>>721
MS的にはおもしろくないだろうよ？

724 ：720：04/02/11 23:11

>720はネタなんで無視してくれて構いません。
ただ、一応補足しておくと…

>>721
識別符号を使用した不正アクセス行為を規定しているのは第3条2項1号。
第3条2項2号は識別符号以外の情報を使用した不正アクセスについて
規定しています。
http://www.ipa.go.jp/security/ciadr/law199908.html

725 ：名無しさん＠お腹いっぱい。：04/02/12 00:07

もしかして、厳密にいうと違反なわけ？

726 ：名無しさん＠お腹いっぱい。：04/02/12 01:51

>>725
誰かがUA偽装のみで訴えられて裁判所が何らかの判断下すまで違反だとは誰も断言できない。

条文にアクセス方法についてもうちょい具体的に書いておいてくれりゃよかったんだけどね。

727 ：名無しさん＠お腹いっぱい。：04/02/12 05:09

telnetしたり自分でUA組んだ時、
打ち間違えたりリテラル書き間違えてたらタイーフォか。ありえねー。
標準で偽装可能な Opera はタイーフォだな。(w
大体、クライアント側が偽装してるかどうかを立証する方法がないわな。

ただ裁判官はこの手の知識は絶無だし、腐った弁護士は少なくないからなぁ。
やな世の中だ。

728 ：名無しさん＠お腹いっぱい。：04/02/12 15:31

なんか変な人が。

>>727
UserAgentを普段書き換えることや書き換え機能がついてること自体は問題ない。
* UserAgentでアクセスの制限をしているサイト * へ、UserAgentを書き換えて
アクセスしたことが問題（になるかもしれないのはやだなあ）という話。

729 ：名無しさん＠お腹いっぱい。：04/02/12 19:11

なる可能性はあるな。国内の法律では不正アクセス行為の禁止等に関する法律の
第3条3項に以下の記述がある

>三　電気通信回線を介して接続された他の特定電子計算機が有するアクセス制御機能に
>よりその特定利用を制限されている特定電子計算機に電気通信回線を通じてその
>制限を免れることができる情報又は指令を入力して当該特定電子計算機を作動させ、
>その制限されている特定利用をし得る状態にさせる行為

ここの「制限を免れることが出来る情報」にuseragentが含まれるかどうかが争点だろう。

俺としてはUAはそもそも信憑性にないものだし，UAによるアクセス制御自体が
無効だと思ってる。ケータイのサイトなんかでよくあるけど，CDMAなんかopenwave.com
からブラウザ拾ってきて使えばPCでMobile Browserのagentが出せる。
この場合は有罪?無罪?

アクセス制御にはIPアドレスなどを使うべきだろう。

俺の結論　合法と解釈する。

730 ：名無しさん＠お腹いっぱい。：04/02/12 22:13

アクセス制限とは認証のことであり、UAのチェックは認証としての要件を満たさない

以上終了

731 ：名無しさん＠お腹いっぱい。：04/02/13 00:28

>>730
前提を示す必要があるな。

732 ：名無しさん＠お腹いっぱい。：04/02/13 02:39

もまえら暇だなぁ。

733 ：名無しさん＠お腹いっぱい。：04/02/13 03:27

そんなことより違法なエロ画像の URL 下さい。

734 ：名無しさん＠お腹いっぱい。：04/02/13 04:16

「うらぼん」でぐぐればいいのでは？

735 ：名無しさん＠お腹いっぱい。：04/02/13 07:56

これですか？？
ttp://www.chuouji.or.jp/urabon/urabon.htm
ありがとうございます！

736 ：名無しさん＠お腹いっぱい。：04/02/13 08:48

おお、これは本当にありがたい。ありがたやありがたや (一人一) ﾅﾑｰ

737 ：名無しさん＠お腹いっぱい。：04/02/13 12:12

これどうやっておとすのでしょう
wget --referer では落とせません
URLリストをテキストに出力して別のGUIダウンローダにコピペすれば落とせるのですが。
ちなみにwget -iでは無理でした
ttp://www.free-adult-hosting.net/bookoff014/book/text4.htm
の真ん中右Sampleってやつです01～41
お願いします

738 ：名無しさん＠お腹いっぱい。：04/02/13 12:25

user-agentだろどうせ

739 ：名無しさん＠お腹いっぱい。：04/02/13 12:34

cookie利用の可能性も

740 ：名無しさん＠お腹いっぱい。：04/02/13 12:40

% wget --user-agent=Mozilla http://www.free-adult-hosting.net/bookoff014/BOOK010_004/0{01..41}.jpg

741 ：名無しさん＠お腹いっぱい。：04/02/13 14:27

連番の蓮画像を一気にダウンロードする
スレに見えた。

742 ：名無しさん＠お腹いっぱい。：04/02/13 14:34

>>741
3年前から同じスレタイですが。

743 ：741：04/02/13 15:02

ようするに見る側の問題ってこった。

744 ：名無しさん＠お腹いっぱい。：04/02/13 15:11

>740
ありがとぉ

745 ：名無しさん＠お腹いっぱい。：04/02/14 00:51

ttp://kawaii.clawz.com/hentv/max.html
ここってどうやって巡回すればいい?
ヘッダがないからwgetじゃエラーになるんだけど

746 ：名無しさん＠お腹いっぱい。：04/02/14 03:58

よ～するに、M$IEもMozillaを騙っているので偽装であると...φ(.. )

747 ：名無しさん＠お腹いっぱい。：04/02/14 04:25

　　　　　　　　 ,.　-‐-
　　　　　　　　「｀Ｙ´|　　　ヽ～
　　　　　　　　 Y⌒ｿノﾉﾘ）) ）〉
　　　　　　　　　 i　(ll (〔ｉ　,i〕{ﾉ
　　　　　__　　　ﾘ从ゝ~ (ﾌ／
　　　　 {{ﾞｧ‐　､　　'⌒　T
　　　　 `ーへ　ヽィ　　 !
　　　　　　　　　ｰ' ,ﾉ　　,
　　　　　　　　 , ´ 　 '/
.　　　　 ,.､　　 ! 　ヽ'
　　　　/　　ヽ. /ヽ. 　ヽ
　　　ｰ'´＼　'　 /ヽ　　ヽ
　　　　　　　　　ｰ'　　＼　ヽ　　 _
　　　　　　　　　　　　　　ヽ.　ヽ'´ /
　　　　　　　　　　　　　　＼　_/

【小学6年】山手線（渋谷駅）で全裸の少女が補導 part12【昼間から(画像有り)】
http://pc.2ch.net/test/read.cgi/pcnews/1074297496/l50

748 ：名無しさん＠お腹いっぱい。：04/02/14 04:28

urlがpcnewsでは開いて見る気もせんが、
AAは良い出来だから今回だけは許してやろう。

749 ：名無しさん＠お腹いっぱい。：04/02/14 12:30

pcnewsに飛ばすならせめて
ネットで公開して本人補導とかそういうのにしてくれないとな。

750 ：名無しさん＠お腹いっぱい。：04/02/15 04:28

>>735
功徳は生きてるうちに

751 ：名無しさん＠お腹いっぱい。：04/02/17 17:54

http://smmonkey.pwp.blueyonder.co.uk/zxa1.html
H画像ではない (連番ではある) けどこれはむっ、と思った。
この手で対処されたらお手上げっぽくね？

# ちなみに違法ページではないよ。Amstrad社のケツの穴はデカいなあ

752 ：名無しさん＠お腹いっぱい。：04/02/18 23:10

ttp://www.macromedia.com/software/flash/open/licensing/fileformat/
一応仕様は公開はされてるけどな。

753 ：名無しさん＠お腹いっぱい。：04/02/20 04:08

あんまりサーバに負荷かけちゃ駄目だよ。

#!/bin/bash

if [ ! -d ./OUT ]; then
mkdir OUT
fi

URL="http://thebbs.jp"
GETNUM="1024"
UA="Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; .NET CLR 1.1.4322)"

wget -U "$UA" -N "${URL}/up1/"
LIST=$(cat index.html | egrep '[0-9]+\.html' | sed 's/.*href=\"$[0-9][0-9]*\.html$\".*/\1/g')
PAGES=$(for name in ${LIST} ; do echo "${URL}/up1/${name}" ; done )

wget -U "$UA" -N -nv -w 1 --random-wait ${PAGES}

for name in $(grep 'href=/sum.html\?' 1[0-9]*.html \
| sed 's+.*href=.*/$[0-9][0-9]*\.\(jpg\|png\|bmp\|gif$\) .*+\1+g'\
| sort | tail -n ${GETNUM} )
do
wget -N -nv -U "$UA" -w 4 --random-wait -O ./OUT/${name} "http://thebbs.jp/up1/img/${name}"
done

でもここから選別するのが大変な罠。

754 ：753：04/02/20 04:40

あ、そうそう。
急に変なアクセス増えて何かの対策とられたりしないように次の事くらいは守って使って。
UAは絶対変える。
GETNUMは増やさない。
-w は減らさない。
--random-waitは外さない。

管理者に迷惑かからないようにしてな。まじで。
一晩くらいかけてマターリ落して細く長く楽しむのが吉だべよ。
つっても楽しめる画像があんまり無いんだけど。

755 ：名無しさん＠お腹いっぱい。：04/02/21 01:23

自分で生HDDをつけるということは、少なくてもパーティションの作成から
ファイルシステムやswapの作成というところから始めなきゃいけない訳だし
unix未経験者にはハードル高いんじゃないかな、少なくてもvi使えないと話にならんし。
でもこれから勉強したい人には良いかもね。

756 ：名無しさん＠お腹いっぱい。：04/02/21 01:38

↑なかなか上品なレスだけど、頭の中ではエロエロなことばかり考えているんですね。

757 ：名無しさん＠お腹いっぱい。：04/02/21 16:20

誤爆かと思った罠

758 ：名無しさん＠お腹いっぱい。：04/02/22 07:14

エロは*習熟の源です

759 ：名無しさん＠お腹いっぱい。：04/03/12 00:34

760 ：名無しさん＠お腹いっぱい。：04/03/15 03:48

ほしゅ

761 ：名無しさん＠お腹いっぱい。：04/04/16 21:19

ほしゅほしゅ

762 ：名無しさん＠お腹いっぱい。：04/04/22 20:59

hosyu

763 ：名無しさん＠お腹いっぱい。：04/05/07 11:36

764 ：名無しさん＠お腹いっぱい。：04/05/07 23:19

hosyu

765 ：名無しさん＠お腹いっぱい。：04/05/08 00:26

なんかネタ無いの？
wgetで複数ファイルの同時ダウンロードするシェルスクリプト書いてたまに使ってるけど、
curlを使うperl,ruby,python等のスクリプトの方がよくない？
shは遅いし、wgetは終了時のエラーコードとか細かい部分がダメぽい。

766 ：名無しさん＠お腹いっぱい。：04/05/08 05:48

エロには飽きた。

767 ：名無しさん＠お腹いっぱい。：04/05/08 06:19

画像に飽きた奴が小説に流れるパターンだな

768 ：名無しさん＠お腹いっぱい。：04/05/23 11:48

もう一度、ｴﾛのﾊﾟﾜｰを！！！

769 ：名無しさん＠お腹いっぱい。：04/05/28 13:14

保守

770 ：sage：04/06/21 21:23

誰か俺が使ってるスクリプト見たい人いる？汚いけど。

771 ：名無しさん＠お腹いっぱい。：04/06/21 21:30

参考にしてみたいな

772 ：770：04/06/21 22:09

こんなかんじ。
urlをテキストに並べておいて、ファイル名を引き数に指定して使ってます。
urlにリンクされているjpgを勝手にフォルダ掘ってそこにdlしていきます。
フォルダ名はurlから拾ってます。

#!/usr/bin/perl

use LWP::UserAgent;
use HTML::LinkExtor;
use URI::URL;
use strict;
use POSIX ":sys_wait_h";

$| = 1;#OUTPUT_AUTOFLUSH

my $iframe_ref='';
my $base_tag = '';

773 ：770：04/06/21 22:09

while(!eof()) {
my $url = <>;
$iframe_ref = '';
my %downloads = ();
chomp $url;
next unless $url;
print "Checking $url¥n";
if ( map{ $downloads{$_} = 0 } getlinks($url) )
{
$url = $iframe_ref if $iframe_ref;
dl2( $url,[sort keys %downloads] );
print "¥n";
} else {
print "there are no JPG¥n";
}
}

774 ：770：04/06/21 22:10

my @imgs = ();
my $iframe = '';
sub callback {
my($tag, %attr) = @_;
$iframe = $attr{"src"} if $tag eq 'iframe';
$base_tag = $attr{"href"} if $tag eq 'base';
return if $tag ne 'a';
push(@imgs, $attr{"href"});
}

775 ：770：04/06/21 22:10

sub getlinks
{
$base_tag = '';
@imgs = ();
$iframe = '';
my $url = $_[0];
my $ua = LWP::UserAgent->new( Agent => "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;)");
my $p = HTML::LinkExtor->new(¥&callback);
my $res = $ua->request(HTTP::Request->new(GET => $url),
sub {$p->parse($_[0])});
my $base = $base_tag || $res->base;
if ($iframe and !@imgs) {
print "Found iframe. recheck >> $iframe¥n";
$_ = url($iframe,$base)->abs;
$iframe_ref = $_;
$iframe = '';
return getlinks($_);
}
@imgs = map { $_ = url($_, $base)->abs; } @imgs;
@imgs = grep{/.[jJ][pP][gG]$/} @imgs;
return @imgs;
}

776 ：770：04/06/21 22:11

sub dl {
my $uri = $_[0];
my $ref = $_[1];
my ($dummy,$dir) = ($uri =~ /.*¥/([^¥/]+)¥/([^¥/]+)¥/[^¥/]*$/);
opendir(A,$dir) || mkdir $dir;
closedir A;
chdir $dir;
`curl -s -O $uri -e $ref`;
chdir "../";
}

777 ：770：04/06/21 22:12

sub dl2 {
my $max = 4;#プロセス数

my $ref = shift;
my @str = @{shift(@_)};
my($pid, @slot);
my $tick=0;

while(@str){
for(0..($max-1)){
if($slot[$_] != 0 and waitpid($slot[$_], &WNOHANG)!=0){
$slot[$_] = 0;
}
}

778 ：770：04/06/21 22:12

for(0..($max-1)){
if($slot[$_] == 0){
my $url = shift(@str);
last unless defined $url;
chomp($url);
if($pid=fork()){
$slot[$_] = $pid;
} elsif (defined $pid) {
print "Start Download >> $url¥r";
dl($url,$ref);
exit;
} else {
die "Can't fork: $!¥n";
}
}
}

sleep(1);
}

for(0..($max-1)){
waitpid($slot[$_], 0);
}
}

779 ：770：04/06/21 22:13

以上です。

780 ：770：04/06/21 22:29

余計なのはいってた；
my $tick;
を削除してください；

バーが回るヤツつけようと書き換えている最中の貼ってしまいました；

781 ：名無しさん＠お腹いっぱい。：04/06/22 14:41

wget -r -A .jpg
に URL を渡して回せば良いのでは？と言ってみるテスト。

782 ：名無しさん＠お腹いっぱい。：04/06/22 17:35

wgetの--page-requisitesを使ってお絵かき掲示板の絵をコメントごと収集しようと思ってます。
しかし、しぃアプレットを使っている掲示板からは--page-requisitesで画像を持って来れませんでした。
例として、どこでもいいんですが思い切り無関係なところでこことか↓
ttp://www15.big.or.jp/~baroque/nharuna/oekaki/bbsnote.cgi

　　1)　wgetの設定がまずい
　　2)　こっちのネットワークの何かがまずい
　　3)　CGI側で何かしてるのでwgetでは無理

なにがよろしくないんでしょう。wgetがHTMLを解析してくれてない感じなんですが。

783 ：名無しさん＠お腹いっぱい。：04/06/22 18:03

>>782
1) -p option ついたの最近よ？あと実装始めのころのはバグってた気もした
2) これっぽい。君のサイトが撥ねられてるとか、proxy とか
3) んなこたー、ない

% wget --page-requisites http://www15.big.or.jp/~baroque/nharuna/oekaki/bbsnote.cgi
（略）
% ls www15.big.or.jp/~baroque/nharuna/oekaki/data/
IMG_003579.jpg IMG_003582.jpg IMG_003585.jpg IMG_003587_2.jpg
IMG_003581.jpg IMG_003584.jpg IMG_003586.jpg IMG_003588.jpg
% wget --version
GNU Wget 1.9.1

784 ：名無しさん＠お腹いっぱい。：04/06/22 18:06

ゼンゼン関係あるけどこのサイトは感動した
http://www.geocities.jp/futaba136241/baseball01.html

785 ：名無しさん＠お腹いっぱい。：04/06/22 18:18

>>782-783
漏れも画像のダウンロードができなかった
-m -l1オプションでもダメだった

% wget --version
GNU Wget 1.8.2

wget 1.9は~の処理が変わったので使ってない

786 ：782：04/06/22 18:33

でも、infoseek.co.jp にあるのも candybox.to にあるのも x-beat.com にあるのも駄目。指定ファイルしか落ちてこない。
Webブラウザでは普通に見れるし… --recursive とかもこのサイトに効かないんだよなあ。

$ wget -nv --page-requisites http://www15.big.or.jp/~baroque/nharuna/oekaki/bbsnote.cgi
18:15:34 URL:http://www15.big.or.jp/%7Ebaroque/nharuna/oekaki/bbsnote.cgi [28106]
-> "www15.big.or.jp/%7Ebaroque/nharuna/oekaki/bbsnote.cgi" [1]

終了しました --18:15:34--
ダウンロード: 28,106 バイト(ファイル数 1)
$ wget --version
GNU Wget 1.8.1

Windows版。
>wget -nv --page-requisites http://www15.big.or.jp/~baroque/nharuna/oekaki/bbsnote.cgi
18:15:20 URL:http://www15.big.or.jp/%7Ebaroque/nharuna/oekaki/bbsnote.cgi [28106]
-> "www15.big.or.jp/~baroque/nharuna/oekaki/bbsnote.cgi" [1]

FINISHED --18:15:20--
Downloaded: 28,106 bytes in 1 files
>wget --version
GNU Wget 1.9.1

なんででしょね？

787 ：770：04/06/22 21:39

>781
おお。スマートだし。自分が恥ずかしくなってきた。
でもこれ、サムネールとか広告まで保存しちゃいますね。
保存先も深くなっちゃうし。

788 ：770：04/06/23 05:05

>782
wget --page-requisites --follow-tags=IMG
でいけました。

あと自己レスなんですが
wget -r -A.jpg -nd -np -I 1 -H --ignore-tags=img -P dir
でやりたかった通りに出来ました。

789 ：名無しさん＠お腹いっぱい。：04/06/23 10:56

>>788
でもあんま根本的な原因究明にはなってないな(w
解析が難しいHTMLの書き方にでもなってるのか？

790 ：名無しさん＠お腹いっぱい。：04/06/23 11:48

wgetよりcURLの方が便利だ。

791 ：名無しさん＠お腹いっぱい。：04/06/23 16:46

使い方ｷﾎﾞﾝ.

792 ：770：04/06/25 09:06

>789
CGIが吐くHTMLの最初の方に
<META name="ROBOTS" content="NOINDEX,NOFOLLOW">
とあり、wgetがこのタグのNOFOLLOWを理解して探索をやめてしまうから。

793 ：名無しさん＠お腹いっぱい。：04/06/29 18:13

がーん。wget って --timestamping と --no-clobber を同時指定ってできないんだ…

　「ローカルより新しいファイルならサーバからダウンロードするが
　　ファイルは上書きせずに通し番号などをつけて区別して保存する」

という芸はできないのか。

794 ：名無しさん＠お腹いっぱい。：04/06/30 13:09

>>793
サーバー上のファイルと比較すべきローカルのファイルを
どれにするのが適当なのかがよくわからない、というのが原因なんだろうね。

--timestampingで更新ダウンロードした時に
スクリプトでリネーム退避しておく、という手くらいしか思いつかないや。
…wgetが更新ダウンロードしたことを検知する方法ってなんかあるっけ。
ログを書き出す設定にしてgrepする以外にあるかな？

795 ：名無しさん＠お腹いっぱい。：04/07/04 16:58

優秀なﾎﾟﾏｴﾗに質問でつ

このサイトの画像を自動で保存するにはどうすればいいでつか?
http://www.sweetnote.com/board/chidle/hoshiinanase/

ページの最後にCSSで隠した画像があって、
その画像にアクセスするとアクセス禁止になってしまうので
wgetだと保存できません

ちなみに、巡回ソフト対策みたいなのですが、
CSSに対応してないブラウザで見ると表示されてしまうし、
Operaでスペース押していくと画像を順番に表示していくので
CSSで隠した画像にもアクセスしてしまいます

796 ：名無しさん＠お腹いっぱい。：04/07/04 17:14

そういえば、昔作ったスクリプトには
grep -v BBLhGdTS
何ていうのが入っていたな。

797 ：名無しさん＠お腹いっぱい。：04/07/04 17:18

ん？えーと、コレは単に

……。しまった。CSS云々ってコレか。繋ぎ変えよう

798 ：795：04/07/04 17:23

>>797
面倒なことさせてしまってすみません

FirefoxなどでCSSを無効にすると
一番下に同じサムネイルが2枚表示されていて
その下の画像のリンクにアクセスするとアクセス禁止になってしまいます

799 ：名無しさん＠お腹いっぱい。：04/07/04 17:30

う、うまく書けない。まあいいや。
えーとね、Lynxかなにかで全リンクを抽出して、grepで/images/を含む行を取り出す。
これは「1行目は本物画像リンク、2行目はCSSで隠された罠リンク」の順番になってるので
偶数行目だけ削除するフィルタを何かで書いて（初心者が急いでるので挫折）、
そのURLリストをUserAgentがIEでrefererが当該ページなwgetで回せばいい。はず。たぶん。

800 ：名無しさん＠お腹いっぱい。：04/07/04 18:10

http://bbs.coolnavi.com/16627
↑のようにcookie強制する画像サイトは難しい。

801 ：名無しさん＠お腹いっぱい。：04/07/04 18:36

wget --load-cookies --save-cookies .... でOKでは。

802 ：799：04/07/04 19:13

適当に書いてみた。LynxだとIEのフリができずアクセス解析でバレそうなのでHTMLソースをwgetして解析。
>>799の「リンクを抽出した1行目は本物画像リンク、2行目はCSSで隠された罠リンク」の仕様が崩れるとアウト。

#/bin/sh
wget $1 -q -nv --user-agent=="Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -O - |\
sed -n 's/<a href="$..*$" target="_blank">.*/http:\/\/www.sweetnote.com\1/p' |\
awk 'NR%2 == 1' | wget --user-agent="Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" \
--referer=$1 -nv -P ${2:-gazou} -i -

上記の5行をget.shとかで保存して適当に実行可能にして
$ ./get.sh http://www.sweetnote.com/board/chidle/hoshiinanase/
とするとカレントディレクトリにgazouディレクトリを勝手に掘って画像を保存。
（5行目の -P ${2:-gazou} を消すとデフォルトでカレントに保存するようになる）
$ ./get.sh http://www.sweetnote.com/board/chidle/hoshiinanase/ test
とするとカレントディレクトリの下にtestという指定ディレクトリを勝手に掘って画像を保存。

IEだと思わせてるので画像の更新はあえて見てない（毎回6ファイルを強制ダウンロード）。
鯖負荷のかけすぎで気取られないように注意。

803 ：795：04/07/04 21:35

>>802
ありがとうございます

ダミーのリンクは最初と最後の画像だけみたいなので
偶数行を削除という発想をヒントに2行目と最後の行を削除したらいけました

sed -e '2 d' | tac | tail +2

> 仕様が崩れるとアウト。

以前は各画像のあとにコメントアウトされた
ダミーの画像がふたつずつありました

> （毎回6ファイルを強制ダウンロード）。

いつもはwgetに-xオプションをつけてダウンロードしています
あとは "`echo url | cut -d/ -f3-`" というファイルが
存在するかどうかでダウンロード済みかどうかを判断しています
URLエンコードが必要な場合は適当に処理してます

804 ：名無しさん＠お腹いっぱい。：04/07/04 22:27

IEでもHEAD投げてサイズを見てダウンロードするかどうかを決めるってのはやってるんじゃないかな。
別にそれでバレることはないと思うぞ(w

805 ：名無しさん＠お腹いっぱい。：04/07/04 23:52

>>801
いやね、>>800は半角板に張ってあったりすると、URI中のセッションIDとcookieのセッションIDが一致しないとダメなのよ。
そのサイトから直で落とすなら問題ないんだけどね。

806 ：名無しさん＠お腹いっぱい。：04/08/14 11:43

保守

807 ：名無しさん＠お腹いっぱい。：04/08/22 21:52

wget使ってdlするｽｸﾘﾌﾟﾄを書いてるんだけど、どうもcookieの処理が上手く出来
ないんだけど、だれか解決方法知らない？

index取得時にUIDとSIDをsetされるので、imageをgetする際にその両方を送れば
いいだけなんだけど、なぜかwgetだとUIDしか送ってくれない。

808 ：名無しさん＠お腹いっぱい。：04/08/27 11:56

http://office-lady.net/office/cute/album1.html
ここの画像ってどうすればgetできますか？
wgetプロの方、おながいします。

809 ：名無しさん＠お腹いっぱい。：04/08/27 12:28

wget で適当な --referer を指定して、zsh で
http://office-lady.net/office/cute/images/img0{01..18}.jpg
あとは自分でいろいろ調べてみてください。

810 ：名無しさん＠お腹いっぱい。：04/08/27 13:47

>>807
指定するときにセミコロンでパラメータをセパレートするんじゃないの？
ひょっとしたらwgetの場合cookieなんかだと、複数のパラメータセットが
あった場合、全部追加されるのかもしれないけど。
#まあキャプチャすれば直ぐ判ることだが。

811 ：名無しさん＠お腹いっぱい。：04/09/09 01:30

保守

812 ：名無しさん＠お腹いっぱい。：04/09/10 11:16

>>808
こんな感じ。
wget --header=REFERER:http://office-lady.net/office/cute/ http://office-lady.net/office/cute/images/img0{01..18}.jpg

813 ：名無しさん＠お腹いっぱい。：04/09/10 17:38:03

>>812
--header=REFERER:と等価な--refererが最近のヤツだと使えるようになってる。
{}の展開、以前上手く動かなくて使ってないのだが、俺の勘違いだったのかな。
今度試してみよう。

814 ：名無しさん＠お腹いっぱい。：04/09/10 20:32:43

>>813
cshが勝手にはぎ取っているという落ちでないの？
echo {01..18}
の結果は？

815 ：名無しさん＠お腹いっぱい。：04/09/10 22:49:45

>>814
ああ、やっぱりシェルの展開機能なのね。
普通にsh(bash)でした。

816 ：名無しさん＠お腹いっぱい。：04/09/10 23:05:16

このスレのあちこちで、しつこく zsh って書いてあるのに…

817 ：名無しさん＠お腹いっぱい。：04/09/10 23:36:51

curlにはそういうiriaライクな構文があるよね。

818 ：名無しさん＠お腹いっぱい。：04/09/10 23:48:35

>>816
いや、zshに展開機能があるのは知ってるんだけど
wget自身にパラメータの展開機能が盛り込まれたのかと思ったんだよ。
シェルにあるような機能を取り込む必要もないのかもしれんが、
ある意味zshって特殊(スタンダードではない)だから。
まあログインシェルぐらい時々で変えれば、つう考えもあるな。

819 ：名無しさん＠お腹いっぱい。：04/09/10 23:59:20

>818
展開は shell が面倒見てその結果をアプリケーションに渡すのが Unix 的思想。

820 ：名無しさん＠お腹いっぱい。：04/09/11 01:05:09

>>819
んじゃ、もう一方のUnix的な思想で
展開機能のないシェルで展開させるために使うフィルタで
お勧めなのは何かある？今はawkでやってるんだけど。
(zshのスクリプトでというのは取りあえず無しで)

821 ：名無しさん＠お腹いっぱい。：04/09/11 02:16:47

>>820
おまえｱﾎだろ.

822 ：820：04/09/11 03:06:57

>>821
多分指摘のとおりアホなんだと思うけど、
アホ故に、どの辺りをもってしてアホなのかが判らん。
ズバっと明確に切ってくれ。

823 ：名無しさん＠お腹いっぱい。：04/09/11 03:09:28

zshのスクリプトでいいじゃん。
車輪の再発明はｲﾗﾈ

824 ：名無しさん＠お腹いっぱい。：04/09/11 05:25:12

url を切り出すスクリプトと
wget を 50 個くらい平行して走らせるスクリプトだけで
オナニーするには困ってない.

825 ：名無しさん＠お腹いっぱい。：04/09/11 06:07:50

>>820
まったくスレ読まないで書くから外してるかもしれないけど。
curlは自前で展開してくれる。そっち使えば？

826 ：名無しさん＠お腹いっぱい。：04/09/13 15:03:30

えっと、aria は４系でも動かないの？

827 ：名無しさん＠お腹いっぱい。：04/09/18 13:54:18

もう疲れました。自分なりにwgetのオプションを色々と試してみたんですが。
ttp://bbs.coolnavi.com/16627/10674p8.の中の画像をwgetで落とすことが
できません。

どうか、先生方のお知恵をお貸しください。お願いします。

828 ：名無しさん＠お腹いっぱい。：04/09/29 02:14:03

被写体が♂だったらやったんだけどな・・・

829 ：名無しさん＠お腹いっぱい。：04/09/29 02:21:56

工ｴｴｪｪ(´д｀)ｪｪｴｴ工

830 ：名無しさん＠お腹いっぱい。：04/09/29 02:26:40

苺きんたまの画像をゲットした時は

#!/bin/sh
cat input |grep "http://v.isp.2ch.net/up/" >output
sed 's/http/ttp/' output > tmp
sed 's/ttp/http/' tmp > tmp2
sed 's/JPG/jpg/' tmp2 > tmp3
awk '
{print "wget " $1}' tmp3 >temp
chmod 700 temp
./temp
mv *.jpg images

こんな感じ。お好みでwhileして?p=1・・・p25までゲットとか。
無限roopで問題なかった。1つのcgi落とすのに10分以上かかったから。
sedが冗長な感じだが足りない頭じゃこんなものしか書けなかった。
誰かもっと簡潔な「よい見本」きぼんぬ。

831 ：名無しさん＠お腹いっぱい。：04/09/29 02:30:11

あーごめん。これじゃなかった。

#!/bin/csh
@ i = 1
while ($i <= 2)
date >>history
wget "http://up.isp.2ch.net/upload/c=03okari/index.cgi?"
cat "index.cgi" |grep jpg >list
awk -F\" '{print "wget -U hiroyuki http://v.isp.2ch.net" $2}' list >test
cat test |grep jpg >test2
chmod 770 test2
./test2
awk '{print $4}' test2 >>listtmp
sort -i listtmp |uniq >getlist
mv *.jpg jpg3
rm "index.cgi"
@ i = 1
end

こんなん。これも良い見本きぼんぬ。

832 ：名無しさん＠お腹いっぱい。：04/10/22 13:36:38

age

833 ：名無しさん＠お腹いっぱい。：04/11/05 19:21:13

保守!

834 ：名無しさん＠お腹いっぱい。：04/11/05 19:23:59

なんて息の長い祖レッドなんだ。

835 ：833：04/11/05 19:45:55

見つけてしまいました、こんなスレ。今からzsh入れます!

836 ：名無しさん＠お腹いっぱい。：04/11/05 20:09:10

すげー。ありがとみなさん!ノシ

837 ：名無しさん＠お腹いっぱい。：04/11/09 13:04:12

このスレ２１世紀の始まりから生きてるのか

838 ：名無しさん＠お腹いっぱい。：04/11/11 21:10:37

エロは性器を超える

839 ：名無しさん＠お腹いっぱい。：04/11/11 21:37:36

http://page11.auctions.yahoo.co.jp/jp/auction/n9933154
このダウンロードソフトって使った人います？？

840 ：名無しさん＠お腹いっぱい。：04/11/25 23:08:39

wgetに画像だけ-ncの動作をするオプションを追加して使ってる。
時間の入った連番画像が主の時には、-N使うよりは動作は速いし鯖負荷も多少は減るんじゃ無いかな。
wget --no-clobber-imageで。

begin-base64 644 -
H4sIAN3lpUEAA7VXaW/bRhD9LP2KqYDakiXRJHXLMGoHkQsjTh04aYECAViK
XInbkLsEd+kDaf57Zw8dtCTXCVDBMMXZ92aPeTM7iuliAd2iBMc5fVgS2fWc
ieOdiiI6TaTMnQj2Wuvdbvcgpea7bq/ruV1vAO542vOn3sBxVx9ouxPXrbfb
7f2uFbvf9byuPwDfnw5GU7fvjPqD0WCLfXEBXW/Y9zpDaOunN4GLizqYT0Fk
WTC4m326u313Zqzf6lBvA9AFNHkuHcajlM/npKBZuCRwdARJKAL9EohysaCP
QQ7Nk0TIUDopj8I0WNCUtBRSfQnIIxVS7Ae11EwAX80D4PQErhdQmRaoALVI
EgNnELJYe4UwLUgYP4Hx3oGYA+Oy3q6pPRWU3BOQCTHYk9OV/5Qv84IyiXu7
uf01+GN29+b246wDQbPxud6+1jv862dxvHaPPgrSgQeapsr/2rnzmTVaHdjd
0Vl1K+s1qF1YXwREmedcoFEei7XLGG7fObC12JNYwj/nNjhX6Hg1cHU3mwXv
L/98M4NmXGbZ02bWZwFtm4C2VWRLQQIp4BxcHehVfCXNCG4iyylbtowCvtbj
w2KnjMpdsRvrAbGbwY3YPStXz3uN2DdsI3YPvOHUH0y9oTMcDP0dsY98rXV8
jKzSv0Ijo0XBi0anVvvt95sbfNSiLA5ETqLADMG3joUyjEekkEdah+qtY+Bz

841 ：名無しさん＠お腹いっぱい。：04/11/25 23:09:17

zlMSsi3oSqQIP6qodpfRrjJ0Au3QtLVzaLI8LAiTm6XxwFgOLy8v+ONThaAM
Fn9PIlnZeJkpJYoNXhYrLI7h8gLKFohHacckL0gUShKjXl9QSxZStqsWYz2g
FjP4o2rZsLfVMpz2Rs544hq5bKnFH0+UWtRjtK6LeBZ0yXhBuilhS5k0Opj7
QVgsy0ydNmgJgdcb27OrKGwf9Dg73oYy3l3rZq/nvmcV8wzetarZSxp7z+aI
aaEjrEO6f57RM0rChXwNb7yPl3L+pcwPUAauoqgjH/aG6siHvVHHXEW1KMRa
6I3dKX4HEESi+O7DFJqNiDOGa1E1ipeofHU1oGusdwo5xxr9BYvcyoE3VfW/
4uB5vkGDY+E+0zhLt/MfXx7vzh9GEckPzfuC7BFOORNO8lye64ED4l+P/6j+
Kw62u4Ph1HWd/mS3OxgMVDjw/9gmAN6PEMZxoIKKWjir1TDh33J1caEZlJmF
GYGVTp5+UZeWJa4P3NKoCOcpEbAKA1sCX5hbG7/jceIHqXEoQ8fefRU3Om6v
89W2vjTFsWuKkrDAm5QWWPoINivG1Se8ljHKir7eBciCkAorVTe32qoh3fAl
rCwVHGV5KYMq+FrZKvAX5FJKmordMmnNB6RiR9dC8Xvge1NV7V4llC16VSa9
seP6owpdyWTi9ZVO1MNfKcV2G6qh0F0jRq7e3tceYh4LaU9roQ4EGz/d9BkT
Am17o7qSJr5im2LY0DT4Fpyf61piW8bN1Jb1k8CLGhM5ynA+5GKq/50vG60q
3nsZT/5nQs6+D7+ki+/Cz7N8P37ruHQ7iAq9wwYXQkgpwxa14BlcfdDttYWq
zjXnGFFswSVHBBFJ+oSNsWp28d7X5V9g4uhk0xll30DkYaQ7Xj6XeB1jZyuT
gpfLBDJNb7b0RCLhZWr8zNUSCAIfqEz0V8Q8JIRhi6wcMY6tO1viUhiiSOz8
dzbtlF5rfjGbfrjsbtG3+g78c7FLNT1qJZvGOpnwv0mlui56KnMSmaWbxPlw
eXf5/iOmxHYCtdQ1pJNt30+xgxSMunlRv2yChwSbxUAHf824ur6ZWfcorTIy
9SvISKbKo+HpHzOHl3XPqVKQBQYqkhv0PqeK9S+tiE0GWw8AAA==
====

842 ：名無しさん＠お腹いっぱい。：04/12/08 14:39:01

hoshu

843 ：名無しさん＠お腹いっぱい。：04/12/10 13:48:48

ちょっと保守しますよ。

844 ：名無しさん＠お腹いっぱい。：04/12/19 02:35:17

ほっしゅっしゅ

845 ：名無しさん＠お腹いっぱい。：04/12/26 03:27:28

初心者です。
ttp://aurelie.no-ip.info/~mangahentaipro/Hentai/Box/images/001.jpg
を196まで一括で落としたいんですが。
なるべくわかりやすい方法を教えて下さい。
すみません。

846 ：名無しさん＠お腹いっぱい。：04/12/26 03:34:13

$ zsh
% wget -c -w 5 ttp://aurelie.no-ip.info/~mangahentaipro/Hentai/Box/images/{001..196}.jpg

847 ：名無しさん＠お腹いっぱい。：04/12/26 03:49:49

zsh、wgetはどこでインストールできますか？
あの・・・zsh、wgetって何ですか？
ほんとにすみません。

848 ：名無しさん＠お腹いっぱい。：04/12/26 04:10:46

http://www.zsh.org
http://www.gnu.org/software/wget/wget.html

あとは自分で調べてください。

849 ：名無しさん＠お腹いっぱい。：04/12/26 04:16:58

850 ：名無しさん＠お腹いっぱい。：04/12/26 04:30:24

>>848
ありがとうございます。

>>849
ありがとうございます。地道にやってみます。
ちなみに同時押しって何ですか？

851 ：名無しさん＠お腹いっぱい。：04/12/26 12:46:52

curl -O http://aurelie.no-ip.info/~mangahentaipro/Hentai/Box/images/[001-196].jpg

852 ：名無しさん＠お腹いっぱい。：04/12/26 12:55:45

>851
それだとシェルが展開しようとして変なことが起きるから、適当にクォートすべきだな。

853 ：名無しさん＠お腹いっぱい。：05/01/03 08:02:28

おまいら御用達のwgetの
http://www.st.ryukoku.ac.jp/~kjm/security/memo/2004/12.html#20041220_wget
って、まだ直ってないんでしょうか。

854 ：名無しさん＠お腹いっぱい。：05/01/05 01:31:19

>>853
はい。

855 ：名無しさん＠お腹いっぱい。：05/01/10 20:09:44

４周年記念日
でもsage

>>380
ttp://search.mse.co.jp/cgi-bin/ip_dom-2/ipsearch.cgi
エロサイトじゃないけど、何なのかもよく分からん。

856 ：名無しさん＠お腹いっぱい。：05/01/29 14:47:08

ttp://hp.vector.co.jp/authors/VA024337/SqTop.html

857 ：名無しさん＠お腹いっぱい。：05/01/29 16:18:15

>>856
ﾃﾞﾑﾊﾟｷﾀ━━━━━━(ﾟ∀ﾟ)━━━━━━ !!!!!

858 ：名無しさん＠お腹いっぱい。：05/01/30 03:32:28

phpとか使われるとわけわからん。落とせん

859 ：名無しさん＠お腹いっぱい。：05/02/02 12:00:08

perlスクリプト使え

860 ：名無しさん＠お腹いっぱい。：05/02/02 16:27:08

（　ﾟдﾟ）ﾎﾟｶｰﾝ

861 ：名無しさん＠お腹いっぱい。：05/02/03 05:11:11

ttp://www.melon-peach.com/

ここの画像、どうにかしてぶっこ抜けませんか？

862 ：名無しさん＠お腹いっぱい。：05/02/03 16:27:47

ﾈﾄﾗﾝ厨(･∀･)ｶｴﾚ!!

863 ：861：05/02/06 13:01:24

ﾈﾄﾗﾝ厨じゃないのに・・・
(つД`)･ﾟ･

864 ：名無しさん＠お腹いっぱい。：05/02/06 19:39:21

>>863
>>41,578 とか参考にならない?

865 ：名無しさん＠お腹いっぱい。：05/02/07 00:09:17

>>861
重杉

866 ：名無しさん＠お腹いっぱい。：05/02/13 22:56:14

wgetかcurlで
http://nylon.hostfuck.com/index01.html
の画像を落とすスクリプトを書いてください

867 ：名無しさん＠お腹いっぱい。：05/02/13 23:25:32

>866
ちょっとは自分で勉強することも覚えてはいかがですか。

868 ：名無しさん＠お腹いっぱい。：05/02/15 01:00:48

>>866
#!/bin/sh
wget -r -l1 "http://nylon.hostfuck.com/index01.html"
mkdir gazou
mv *.jpg *.bmp *.tif* *.x*m *.gif *.rgb *.psd *.eps *.wmf gazou
rm ./

無保証。

869 ：名無しさん＠お腹いっぱい。：05/02/15 02:57:21

403喰らう悪寒。-Uでしっかりと騙るのがベターかも。。。
二次元には興味なし。でも

870 ：名無しさん＠お腹いっぱい。：05/02/15 03:59:53

2次元か

871 ：名無しさん＠お腹いっぱい。：05/02/15 17:58:19

while(<>){
　m/num=([0-9]+)&type=([a-zA-Z]+)[^0-9]*([0-9]+)/ and system "wget".
　　" --output-document='$3.$1.$2'".
　　" --header='Cookie:num=$1;type=$2'".
　　" http://nylon.hostfuck.com/nylon.php".
　"\n";
}

872 ：名無しさん＠お腹いっぱい。：05/02/15 18:02:22

×&
○&

873 ：名無しさん＠お腹いっぱい。：05/02/15 20:12:36

Perl?

874 ：名無しさん＠お腹いっぱい。：05/02/15 20:39:49

漏れはこんなスクリプトでやってみた
for n in {28672..32767}; do
[ -f $n.jpg ] && continue
wget --header="Cookie: num=$n; type=jpg" --output-document=$n.jpg \
http://nylon.hostfuck.com/nylon.php
done

ほんとは連番じゃないので
ちゃんとやりたかったら番号はこんなかんじで抜き出せばいいかも
w3m -dump_source \
http://nylon.hostfuck.com/{,index0{1..7}.html} |\
ruby -e 'while gets; $_.sub(/image.php\?num=(\d+)/) do puts $1; end end' |\
sort | uniq

875 ：名無しさん＠お腹いっぱい。：05/02/15 23:04:47

無駄が多いな、このサイト。

876 ：名無しさん＠お腹いっぱい。：05/02/16 03:26:14

　　　　　　　　　　　　　　　　　l　　　　　　　　　　 l
　　　　　　　　　　　　　　　　 J　　　　　　　　　　 l
　　　　　　　　　　　　　　　　　　　　　　　　　　　J

さわったら負けかなと思ってる。

877 ：名無しさん＠お腹いっぱい。：05/02/16 19:57:30

成功した？

878 ：名無しさん＠お腹いっぱい。：05/03/01 08:03:13

セルフプレジャー保守

879 ：名無しさん＠お腹いっぱい。：2005/04/04(月) 23:44:21

初心者スレから誘導されてきました。
連番のzipファイルを一気に解凍する方法はありますか？
001.zip 002.zip 003.zip
今はひとつひとつunzipしてます。既出だったらすみません。
教えてくれたら、こころを入れ替えてスクリプト勉強します。

880 ：名無しさん＠お腹いっぱい。：2005/04/04(月) 23:45:58

unzip {001..100}.zip

881 ：名無しさん＠お腹いっぱい。：2005/04/04(月) 23:53:44

for i in *.zip; do unzip $i; done
でもいいんでないかい?

882 ：名無しさん＠お腹いっぱい。：2005/04/05(火) 00:14:01

echo *.zip | xargs -n1 unzip

883 ：名無しさん＠お腹いっぱい。：2005/04/05(火) 00:42:16

unzip は自前でワイルドカードを処理するのでほかに zip ファイルがなければ

unzip \*.zip

でどうでしょう。

884 ：名無しさん＠お腹いっぱい。：2005/05/30(月) 16:25:28

うほ

885 ：名無しさん＠お腹いっぱい。：2005/06/14(火) 20:55:22

altemisweb.jpから落とせる方法をご存知の方、いますか？
そもそも普通にw3mとかでも開けないのですが。

たとえばttp://s1.artemisweb.jp/kto11/main.html
からいけるページなど。

886 ：名無しさん＠お腹いっぱい。：2005/06/14(火) 21:12:18

wget -m --cookies=on --user-agent="Mozilla/4.0 (compatible; MSIE 6.0; Windows 98)"

とかじゃだめなの？

887 ：名無しさん＠お腹いっぱい。：2005/06/14(火) 21:15:53

>>886
UAとrefererは指定してもだめです
cookieはためしてないけど、w3mでさえページを開けないってことはcookieじゃなくて
JavaScriptが効いてないとだめなのかもしれない希ガス

888 ：名無しさん＠お腹いっぱい。：2005/06/14(火) 21:45:27

>>887
リファラ送ったら普通に落ちてきたぞ？
wget --referer="http://s1.artemisweb.jp/" \
http://s1.artemisweb.jp/kto11/room-01/main.html

889 ：名無しさん＠お腹いっぱい。：2005/06/14(火) 21:52:29

>>888
そうすか？
私のところでは、w3mでもwgetでも、特定のバイト数を読み込んだところで
ブロック状態になります。で、しょうがないからctrl-Cで終了させると、
IEで取得可能な全てのファイルは落とせていない。

そっからもぐってたどれる画像に関してはまったく無理です。

890 ：名無しさん＠お腹いっぱい。：2005/06/14(火) 21:53:16

> IEで取得可能な全てのファイルは落とせていない。
わかりにくい言い方でした。
当然ですが割り込みで入力を停止させてるので、partialなファイルに
なっちゃってるってことです。

891 ：名無しさん＠お腹いっぱい。：2005/06/14(火) 21:54:53

Referer以外チェックしてないみたいだけど

% wget --referer=http://s1.artemisweb.jp/ \
http://s1.artemisweb.jp/kto11/room-01/267_track_04/267_shizuku_tsukino_2_084.jpg

HTTP による接続要求を送信しました、応答を待っています... 200 OK

% wget http://s1.artemisweb.jp/kto11/room-01/267_track_04/267_shizuku_tsukino_2_084.jpg

HTTP による接続要求を送信しました、応答を待っています... 403 Forbidden

Refererを送るにはm(r?)オプションをつければいいので
これで全部ダウンロードできると思う

wget -m -np -L http://s1.artemisweb.jp/kto11/main.html

892 ：名無しさん＠お腹いっぱい。：2005/06/14(火) 22:01:51

>>891
え？？
それで、ちゃんと最後までおちますか？
私のところではブロックしてしまうのですが。

何が悪いんだろう。

893 ：853：2005/06/15(水) 01:38:59

>>853
http://www.cve.mitre.org/cgi-bin/cvename.cgi?name=CAN-2004-1487
http://www.cve.mitre.org/cgi-bin/cvename.cgi?name=CAN-2004-1488

これ?

894 ：名無しさん＠お腹いっぱい。：2005/06/15(水) 09:16:17

wgetばーじょんうｐあげ

895 ：名無しさん＠お腹いっぱい。：2005/06/15(水) 22:25:56

>>885
uname -v および wget --version を晒してみ

896 ：名無しさん＠お腹いっぱい。：2005/06/16(木) 01:47:37

>>895
FreeBSD 4.7-RELEASE
GNU Wget 1.8.2

897 ：895：2005/06/16(木) 22:21:11

>>896
すまぬ，予想外れた．
Darwin Kernel Version 7.9.0 だと OS X 添付のwget (version失念) で --referer
オプションが働かなかった．
>>891 末尾の方法では html は落ちたが jpeg は 403．
出来心で GNU Wget 1.10 のソース落としてインスコしたところ
wget --referer=http://s1.artemisweb.jp -m -np -L http://s1.artemisweb.jp/o11/main.html
で落とせた．たぶん参考にならないが一事例としてカキコ．

898 ：名無しさん＠お腹いっぱい。：2005/06/16(木) 22:27:31

thx. とりあえずニューwgetで試してみることにしますわ。

899 ：名無しさん＠お腹いっぱい。：2005/06/22(水) 10:07:33

% ls .thumbnails/normal | wc
3643 3643 134791
% du .thumbnails/normal
84000 .thumbnails/normal

('A`)

900 ：900：2005/06/26(日) 09:34:26

900

901 ：名無しさん＠お腹いっぱい。：2005/06/29(水) 02:00:46

すみませんこのサイトの画像取れません…ttp://loface.com/pic_sum.php?p=kakyu2
(サムネイルを拡大にするには、topページでクッキーを取得する。→http://loface.com/?e=35)

自分は色々やりました。例えば
wget -r -A .jpg -nd ttp://loface.com/pic_sum.php?p=kakyu2
こんな感じでやってみましたが、どうもダメ…
どうかご教授下さい。

902 ：名無しさん＠お腹いっぱい。：2005/06/29(水) 02:21:00

お前は基本がわかってないから無理

903 ：名無しさん＠お腹いっぱい。：2005/06/29(水) 02:59:38

>>901
ヒント： wget --header="Cookie: kokoni hairu mojiretu wo nanntoka shutoku shiro"

904 ：名無しさん＠お腹いっぱい。：2005/06/29(水) 21:09:33

>>901
日本語も学びなおしたほうがよかろ
学問でも技芸でもなく、単なる方法を知りたいのなら
×教授ください
○教示ください
>>903
それはヒントどころか答えでは・・・ｗ

905 ：名無しさん＠お腹いっぱい。：2005/06/29(水) 23:51:29

空気を読んだ方がよかろ
単なる抜く画像を知りたいなら
×助教授ください
○女教授ください

906 ：名無しさん＠お腹いっぱい。：2005/06/30(木) 07:07:50

10秒に1アクセスの制限もあるな。

907 ：名無しさん＠お腹いっぱい。：2005/06/30(木) 09:58:10

>>901
初心者だけど過去ログを見ながら挑戦してみますた

curl -H "ここにくっきー文字列" -o kakyusei#1.jpg "http://loface.com/pic.php?img=kakyusei[001-879].jpg&pic=kakyu2"

又は…

for num in `seq -f %03g 1 879`; do
wget --header="ここにくっきー文字列" --output-document=kakyusei${num}.jpg \
"http://loface.com/pic.php?img=kakyusei${num}.jpg&pic=kakyu2"
done

これで全部ぶっこぬけると思うヽ(´ー`)ﾉ

908 ：名無しさん＠お腹いっぱい。：2005/07/02(土) 19:04:53

なんか最近は DCGA ってのばっかりでスルーばっかりだよ。

909 ：901：2005/07/03(日) 00:05:10

>>902
そんなorz

>>903
クッキー文字列のことですか?

>>904
っう…スミマセン

>>905
○女生徒ください

>>906
それどういう意味ですか?

>>907
うーん上手くいきません?何ででしょう

910 ：名無しさん＠お腹いっぱい。：2005/07/03(日) 02:49:12

>>909
つ Firefox + Live HTTP headers

911 ：906：2005/07/03(日) 09:29:12

>>909
そのままの意味。連続アクセスするとjpegの代わりに「10秒まてこの早漏」と返してくる。
hint: wget --load-cookies=foo --save-cookies=foo --keep-session-cookies

912 ：901：2005/07/03(日) 15:47:34

お騒がせしてすみません、解決できました。

wget -r --header="cookie: Cookie: PHP_DAYCOUNT2=＜省略＞; lf=＜省略＞" http://loface.com/pic_sum.php?p=kakyu2

で出来ました。今まで出来なかったのは『PHP_DAYCOUNT2』が抜けてただけみたいですorz
>>910さんが指摘した『Live HTTP headers』で気がつきました。

どうも有難うございました。

>>911
レスしてくれて有難うございます。

913 ：名無しさん＠お腹いっぱい。：2005/07/17(日) 01:12:56

age

914 ：名無しさん＠お腹いっぱい。：2005/07/17(日) 01:21:26

まだあったのな、このスレ。

915 ：名無しさん＠お腹いっぱい。：2005/07/17(日) 01:39:56

UNIX板での良スレ

916 ：名無しさん＠お腹いっぱい。：2005/07/31(日) 12:29:53

エロいおまいら画像ビューワのお勧め教えれ。

xv? gimageview? gqview? 他?

ディレクトリ一覧の時に、そのディレクトリの中の画像が
アイコン一覧みたいに見えるやつキボンヌ。

917 ：名無しさん＠お腹いっぱい。：2005/07/31(日) 13:32:21

またこいつか。

918 ：名無しさん＠お腹いっぱい。：2005/07/31(日) 14:37:59

>>916
explorer

919 ：名無しさん＠お腹いっぱい。：2005/07/31(日) 15:06:24

>918
ports には見当たらないね。
ぐぐってもどれがどれやらワカラン。

>917
?

920 ：名無しさん＠お腹いっぱい。：2005/08/01(月) 02:33:50

ネタにマジレスか
こりゃヒドイ

921 ：名無しさん＠お腹いっぱい。：2005/08/04(木) 06:20:35

kuickshow つかってまつ

922 ：名無しさん＠お腹いっぱい。：2005/08/04(木) 14:52:57

paint

923 ：名無しさん＠お腹いっぱい。：2005/08/13(土) 11:44:34

>>919
C:\Windows\system32\explorer.exe

924 ：名無しさん＠お腹いっぱい。：2005/08/25(木) 21:53:35

gthumbかな?

925 ：名無しさん＠お腹いっぱい。：2005/08/26(金) 09:57:59

http://linux.bytesex.org/fbida/

926 ：名無しさん＠お腹いっぱい。：2005/09/02(金) 22:15:47

例えば、リストの内容が
http://www.unko.jp/~chinko/[000-026].jpg
http://www.manco.jp/anal/gay[00-26].jpg
みたいなファイルがあったとしてこれを展開してwgetなりに渡すにはどんなスクリプト書きます？

自分が深く考えないで書いてみたのは
cat < list | sed 's/$.*[^0-9]$\[$[0-9].*$-$[0-9].*$\].*\.$[^.]*$$/\1 \2 \3 \4/g' | awk '{printf("echo %s\{%s..%s\}.%s\n", $1, $2, $3, $4)}' | zsh -s | tr ' ' '\n'
で、最初のsedでアドレス、開始の番号、終わりの番号、拡張子を分けて、awkでzshのスクリプト書いて最期にtrで改行入れてるんだけど、どうかな？
添削よろしくです。

927 ：名無しさん＠お腹いっぱい。：2005/09/02(金) 22:23:05

やりたいことがよくわからんが、
スカトロでホモって事はわかった。

928 ：名無しさん＠お腹いっぱい。：2005/09/02(金) 22:40:51

＞添削

読めない

929 ：名無しさん＠お腹いっぱい。：2005/09/03(土) 00:47:22

zsh知らんけど、添削するなら
sed 's/¥[¥([0-9]*¥)-¥([0-9]*¥)¥]/{¥1..¥2}/g; s/^/echo /'
とか？

ただ自分なら、zsh使うくらいなら perlとかで、置き換えながらぐるぐる再帰使って回すかなぁ。

930 ：名無しさん＠お腹いっぱい。：2005/09/03(土) 01:19:04

>>928
「てんさく」って読むんだYO!

931 ：名無しさん＠お腹いっぱい。：2005/09/03(土) 01:24:12

>>929
アーナルほどsedで開始と終わりの番号を別のフィールドにわけないでzshの{..}の形にすればいいのか。。。

坂本文のたのしいUNIXで勉強したてなんでsedとawkくらいしか知らないのでできればperlで
書いていただけませんか？

932 ：名無しさん＠お腹いっぱい。：2005/09/03(土) 02:07:02

http://www.zentastic.com/videos/bmevideo-3.wmv
http://www.zentastic.com/videos/bmevideo-4.wmv

933 ：名無しさん＠お腹いっぱい。：2005/09/03(土) 04:01:09

wgetなりってことなので curl 使ってもいいんですよね

934 ：名無しさん＠お腹いっぱい。：2005/09/06(火) 18:40:22

>931
雑だけど。
#!/usr/bin/perl -n
sub ren {
　$_ = shift;
　if (/¥[(¥d+)-(¥d+)¥]/) {
　　my ($a,$b,$fst) = ($`,$',$1);
　　foreach $i ($fst..$2) {
　　　ren($a . sprintf("%0*d",length($fst),$i) . $b);
　　}
　} else {
　　print;
　}
}
ren($_);

935 ：名無しさん＠お腹いっぱい。：2005/09/06(火) 19:31:13

Perlの場合、マジックインクリメントに頼れば

#!/usr/bin/perl -n

if (/^(.*)\[(\d+)-(\d+)\](.*)$/) {
for ($2..$3) { print "$1$_$4\n"; }
} else {
print;
}

でいい気がするけど

936 ：934：2005/09/06(火) 19:48:05

ついでにbash

shopt -s extglob

function ren {
case $1 in
*¥[+([0-9])-+([0-9])¥]*)
set -- $( echo "$1" | sed 's/¥[¥([0-9]*¥)-¥([0-9]*¥)¥]/ ¥1 ¥2 /' )
for i in $( jot -w"%0$(echo -n $2|wc -c|tr -d ' ')d" - $2 $3 1 )
do
ren $1$i$4
done
;;
*)
echo $1
;;
esac
}

while read s
do
ren $s
done

>935
Perlまかせにすると、[00-10]とかができなかった。

937 ：名無しさん＠お腹いっぱい。：2005/09/06(火) 19:58:54

>>936
ちょっと試した感じだと、00みたいに偽値と判断されるやつがダメみたいね。
01-10とかだとオッケーなんだけど。

938 ：名無しさん＠お腹いっぱい。：2005/09/14(水) 19:01:44

連番のH画像を諦める勇気ってのも僕には必要なんだ。

エロ画像
　いくら取っても
　　　　　無くならず
　　取るだけ取って
　　　　それでおしまい

お世話になりました。

939 ：名無しさん＠お腹いっぱい。：2005/09/14(水) 20:28:42

今度は、ため込んだ画像を削除する勇気だな。

940 ：名無しさん＠お腹いっぱい。：2005/09/14(水) 22:08:56

画像から動画へステップアップする勇気も必要だ。

941 ：名無しさん＠お腹いっぱい。：2005/09/15(木) 09:12:22

取り敢えず200MくらいのHDDを6個くらい買ってくる勇気

942 ：名無しさん＠お腹いっぱい。：2005/09/15(木) 16:43:35

200Gの間違いじゃないのか

943 ：名無しさん＠お腹いっぱい。：2005/09/15(木) 19:47:59

200Gを6個買うのよりも200Mを6個買う方が勇気いると思う。

944 ：名無しさん＠お腹いっぱい。：2005/09/19(月) 17:01:24

ﾜﾛﾀ

945 ：名無しさん＠お腹いっぱい。：2005/09/22(木) 10:04:37

動画話に進出したついでに。

小さいスクリーンショットを一枚にまとめるのに
良いツールって何かありませんか?

散々既出の連番ゲットしたあとにちまちま
convert +append
convert -append
ってやってまつ。

こういうのってどうやってるんだろ:
ttp://www.aventertainments.com/jp/Product_lists.aspx?product_id=9200

946 ：名無しさん＠お腹いっぱい。：2005/09/22(木) 19:15:37

使ったこと無いけど、montageはどうかな？ImageMagic系。
http://www.cit.gu.edu.au/~anthony/graphics/imagick6/montage/

947 ：名無しさん＠お腹いっぱい。：2005/10/15(土) 14:53:52

アルテミスでGNU使ったら、串刺してたのに生IPごと弾かれたorz

948 ：名無しさん＠お腹いっぱい。：2005/10/15(土) 15:10:03

↑今年最初に見た馬鹿

949 ：名無しさん＠お腹いっぱい。：2005/10/15(土) 16:36:25

http://www.arutemisu.com/2005/photograph%20list%20top.html

950 ：名無しさん＠お腹いっぱい。：2005/11/04(金) 18:45:08

このスレのまとめサイト作っていいですか？

951 ：名無しさん＠お腹いっぱい。：2005/11/04(金) 19:25:36

よろしく

952 ：950：2005/11/05(土) 18:30:02

>>950
テキトーにつくってみました。
http://seizen.dyndns.org:8080/matome/

ちなみにおいらはperl+sh派です。

953 ：名無しさん＠お腹いっぱい。：2005/11/06(日) 00:52:21

だよもん..

954 ：名無しさん＠お腹いっぱい。：2005/11/06(日) 02:08:37

このスレで
tp://www.464.jp
の連番ダウンロードできた人いる？

955 ：名無しさん＠お腹いっぱい。：2005/11/06(日) 08:03:56

>954
さっき試してみたけどできたよ
しかしこれ画質悪いな

956 ：名無しさん＠お腹いっぱい。：2005/11/13(日) 15:05:31

今このスレのノウハウを生かしてVOAのスクリプトとmp3をダウンロード中…。

957 ：名無しさん＠お腹いっぱい。：2005/11/14(月) 19:37:17

voaって何かね

958 ：名無しさん＠お腹いっぱい。：2005/11/14(月) 21:21:25

Vagina or Anus

959 ：名無しさん＠お腹いっぱい。：2005/11/16(水) 22:48:44

>>957
Voice of America です。英語のニュース・サイトの過去ログがターゲットです。
mp3とスクリプトが揃っているので、これをローカル教材として加工しようと思いました。
で、一応落とせたんですが……
http://www.voanews.com/specialenglish/2005-11-15-voa3.cfm

こんな吐き気がするHTMLをどう加工しろと……orz

960 ：名無しさん＠お腹いっぱい。：2005/11/18(金) 19:49:09

edなり perlなりで、ばっと<span class="articleheadline"～</P></span>あたり抜き出して、html2txtみたいな処理かけて、余計なの削るとか。
そういうことではない？

961 ：名無しさん＠お腹いっぱい。：2005/11/18(金) 22:10:42

>>960
perl で $html =~ s!!!sig; を何度も繰り返すスクリプト書いて、なんとか読めるHTMLに加工しました。
今は mp3 を wget してます。
このサイト、mp3 は mp3 で命名規則皆無という腐りっぷりです。うへぇ。

ところで質問です。
ちょっと確認してみたところ GNU Wget 1.10.1 のデフォルトのリクエストは

GET /index.htm HTTP/1.0
User-Agent: Wget/1.10.1
Accept: */*
Host: localhost
Connection: Keep-Alive

という内容でした。で、プロトコルを HTTP/1.1 に切り替えるか、
または強制的に HTTP/1.1 と申請してリクエストすることはできますか？

962 ：名無しさん＠お腹いっぱい。：2005/11/18(金) 23:45:53

curl使ってみるとか

963 ：名無しさん＠お腹いっぱい。：2005/11/19(土) 05:30:52

>>961
どーせPerl使うんならHTML::TokeParserとかその辺のライブラリ使えばいいのに。
高速ではないけどそれなりに便利だよ。

964 ：名無しさん＠お腹いっぱい。：2005/11/28(月) 22:50:25

次スレどうしますか？

965 ：名無しさん＠お腹いっぱい。：2005/11/29(火) 09:40:42

次
　ス
　　レ
　　　頼
　　　　ま
　　　　　な
　　　　　　い

966 ：名無しさん＠お腹いっぱい。：2005/11/29(火) 16:31:03

頼みcom

967 ：名無しさん＠お腹いっぱい。：2005/11/29(火) 18:27:16

>>977までは粘れると思われ。

968 ：名無しさん＠お腹いっぱい。：2005/11/29(火) 22:52:17

>>980が立ててくれるってさ

969 ：名無しさん＠お腹いっぱい。：2005/11/30(水) 15:53:56

>>980
今度のスレタイは↓こうしてくれ
「連番のＨ画像/動画を一気にダウンロードする」

970 ：名無しさん＠お腹いっぱい。：2005/11/30(水) 17:39:06

これは言わない約束なのかもしれんが
「H」は外さないうわなにするやめろqあwせdrftgyふじこlp:[

971 ：名無しさん＠お腹いっぱい。：2005/11/30(水) 18:26:42

じゃあ
連番のURIから一気にダウンロードする /2
でよろしかったでしょうか？

972 ：名無しさん＠お腹いっぱい。：2005/12/01(木) 21:44:37

てか連番ている？

973 ：名無しさん＠お腹いっぱい。：2005/12/01(木) 21:50:49

ネタ出つくしたみたいだし、
次スレなしでもいいかと。

974 ：名無しさん＠お腹いっぱい。：2005/12/03(土) 16:03:25

最近動画落とすのにパスワードが必要だったりするので
自動化は無理そうだと思ったり思わなかったり

975 ：名無しさん＠お腹いっぱい。：2005/12/07(水) 08:43:36

>>955詳　し　く

976 ：名無しさん＠お腹いっぱい。：2005/12/13(火) 14:55:32

次スレ
http://pc8.2ch.net/test/read.cgi/unix/1063129265/

977 ：FM：2005/12/18(日) 21:28:53

>>975
opera使えば右クリックが効くからURLがわかりますよ。
それで、
464.jpってttp://comic110.464.jp/data/...
以降がwgetですんなりDLできないのですがなんでかわかりますか？
ttp://comic104....などは普通にできるけど、ドラゴンボールが取れない。
operaで直接url書けばみれるのですが,なんででしょうか?

あれ、この板ってもう別にうつってる？

978 ：名無しさん＠お腹いっぱい。：2005/12/19(月) 01:02:57

>>952
ここまでスレが進んでるのにまとめにcurlが載ってないのは信じられない

979 ：名無しさん＠お腹いっぱい。：2005/12/21(水) 03:21:09

>>977
レスありがとうございます
私はlunascapeというタブブラウザを使っていてそれで画像のurlを抜き取り
連続ダウンローダで連番のを落としてみたのですが見てみると画像情報がなくすべて見れないファイルでしたorz
jpegファイルなのに見れないんですよね。。
ちなみに私が試したのはドラ●もんでttp://comic104でしたができませんでした。。

噂によるとダウンロードできないようにしてるサーバーとかあるようです.....(´･ω･｀)

980 ：名無しさん＠お腹いっぱい。：2005/12/21(水) 09:33:01

どざ氏ね

981 ：名無しさん＠お腹いっぱい。：2005/12/21(水) 15:31:35

>>979
やってみたけど、問題なくダインロード&表示できるよ。
>>979のスキルの問題

982 ：名無しさん＠お腹いっぱい。：2005/12/21(水) 15:52:11

ダインロードってなんかかっこええな

983 ：名無しさん＠お腹いっぱい。：2005/12/22(木) 01:54:40

スキルでなく、クンフーの問題

984 ：名無しさん＠お腹いっぱい。：2005/12/22(木) 03:59:39

>>981
ホントですか･･･(ﾟДﾟ)一体何が原因なんでしょうか････
私もダウンロード自体はできてるのですがフォルダにダウンロードされた
画像ファイルを見てみると表示されませんorz ソフトやURLなどいろいろ確認しましたが。。orz
　今は結局freemacroでダウソしてるんですが時間かかりまくりんぐ･･･orz

985 ：名無しさん＠お腹いっぱい。：2005/12/24(土) 10:06:45

>>984
ヒント：連番ダウンローダはrefereを使ってくれない。

986 ：nyanko：2005/12/24(土) 12:10:46

>>985
wget でも普通に指定できるYO!

987 ：名無しさん＠お腹いっぱい。：2005/12/24(土) 15:55:24

>>986
TU○ にもしかしている方？

>>984
なんか、ほんとにクンフーたりないねきみ。。。

988 ：名無しさん＠お腹いっぱい。：2005/12/24(土) 16:45:08

ここがunix板だと気づいていないんじゃないのか。

989 ：名無しさん＠お腹いっぱい。：2005/12/24(土) 17:20:08

来年の１月１０日で５周年だな

990 ：名無しさん＠お腹いっぱい。：2005/12/24(土) 19:12:34

今まで誰も出していないが，emacs 上でウェブブラウザ(w3m とか)を走らせて，
画像をダウソロードする手順をキーボードマクロで登録しておけば，
特に何も考えなくてもほとんどのサイトでダウソロードできます．