【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part15

live8 , ex7 が落ちたのは
直接的には BBS の返事がないから処理が貯まりに貯まって落ちたと、
元々 live8 , ex7 は物凄い書き込み数だと言うことが原因の一端であると、

しかし、根本的には何が起ったかというと
BBSがなぜか応答しなくなったと
なのに不思議なのは、同じサーバにある別のもの BBY 等は問題なく動いていたと

質問
同じサーバ内で BBS だけがぽしゃる事なんてあるんですか?

投げっぱなしで応答をまったく期待しない場合の
コーディング方法募集中です　(Perl >>805)

>>835
BBS担当、BBY担当、BBX担当のDNSサーバは全部別プロセスなので、
ありえますね。というか、全部がぽしゃらないようにしてあるともいえます。

>>836
具体的には gethostbyname() の結果がDNSから来なくても、
次に進んでほしいということですね。

>>837
なるほど、
ということは、サーバの負荷というよりも BBS(DNS)の限界?

>>839
それを疑っています。

その時間だけBBSのログがないのです。まったく「すぽーん」と。
まるで、サーバそのものがいなかったかのように。

しかし、djbdns+daemontoolsで作ってあるので、
プロセスがいなくなっても立ち上がるし、
サービスダウンには、とりわけ強いはずなんですよ。
すくなくともこんなふうにサービスがいなくなることは、これまで一度もなかった。

banan238の他のシステムログもあさっていますが、
今のところ不審なものは、発見できていませんです。

BBS はどれくらいコールされているかというと、、、
一日で 150万〜180万
ピーク時で一分間に・・・

どれくらいでしたっけ?
1,000 くらい?

>>841
投稿数のピークと同じですね。
http://mumumu.mu/mrtg/mrtg-rrd.cgi/bbqbbx/bbs.html

12000/5min が、ピーク値かと。

ぐおっ　2,400/min

つまり 24ms毎にリクエストがあると、(平均ですが)
ぱっと見、それくらいいけそうな数字ではあるんですけど、

1分ごとだと3000〜3500かな？
夏〜秋ごろに、1分ごとのデータをグラフにしてたことがあるんですけど、
その時も記憶に残ってる限り最高で3500くらいでした。

>>843
普段はいけてますね。(>>842 のグラフ参照)
今回は、、、。

ん?
計算変かな?

35000/min だとすると 17ms 毎くらいか

もう二桁くらい小さい値で動くと思うんですけどね　< DNS
(単なる勘です)

で、いけない数字とは思えないんですよ。
DNSコンテンツサーバ側って、数千query/secぐらいは、さばけるはずなんです。

あと、今日やったMMAPの手術(>>778-780)で、
さらに30%らいは強化されているはず。

こちらで別の機会に実験した値でも、
DNSのコンテンツサーバ側は数千queries/secまでは問題なく動く、
という結果が出ています。>>847

初めての経験ですからねぇ

「たまたまだった」という結論にでもしますかねぇ
二度目があったら・・・そんときに再度考える?

BBSが動いていない現象自体はしょっちゅうありますけどね、、
確かにこんな長い時間動かなかったのはめずらしいけど

今日のところは、そうしておきたいかも。>>850

DNSサーバ側を緊急強化したので、これで様子を見たいかなと。
今月は、機会が連日連夜あるに違いないわけで。

# うへー、明日朝早いんだよなぁ。

げっ
そういえばそうか?

たまたまじゃないのか?

DNS 自体は返事していて、単に数え漏れが発生しているということではない?
>>851

http://mumumu.mu/mrtg/mrtg-rrd.cgi/bbqbbx/bbm.html

BBM ってどうして毎日ざっくりりこんになっているんだろぅ

>>851
しょっちゅうあるのは、いまいち、、、かも。

DNS側がブロックしないように、ちゃんとなってるかちょっと見てみます。

>>853
んまぁ、、確かに他の止まってる時とは明らかに動作が違ってたですからねぇ。
いつもは数え漏れなのかもしれませんねぇ。
そうかも。いや、そうだべ。うん、きっとそうだ！

うーん。
http://mumumu.mu/mrtglog/2004/11/01/bbqbbx/bbs.html
http://mumumu.mu/mrtglog/2004/10/22/bbqbbx/bbs.html

確かにこのグラフの凹みは、とっても気になる。

強化したので、明日以降の様子をチェックしたいなと。

しかーし

限界を拝めるとは幸せなことで、

個人的には、ネットワークのチューニング問題な気がとってもするです、、、。

PIE の?

>>860
ではなく、banana238のです。

# netstat -s -p udp
udp:
361330042 datagrams received
0 with incomplete header
0 with bad data length field
8 with bad checksum
327 with no checksum
152972 dropped due to no socket
125983 broadcast/multicast datagrams dropped due to no socket
9072993 dropped due to full socket buffers
0 not for hashed pcb
351978086 delivered
352298516 datagrams output

今BBS止めてたんで、この値そのまま信用できないところがありますけど。

今netstat -z でカウンタをリセットしたんで、
この後様子を見てみます。

ドロップパケットとかが出てるようだと、
ネットワーク系を何かチューニングしないと、いかんかなと。

udp:
212 datagrams received
0 with incomplete header
0 with bad data length field
0 with bad checksum
0 with no checksum
0 dropped due to no socket
0 broadcast/multicast datagrams dropped due to no socket
0 dropped due to full socket buffers
0 not for hashed pcb
212 delivered
212 datagrams output

DNSはUDPなんで、具体的には、

# netstat -s -p udp
udp:
1996 datagrams received
0 with incomplete header
0 with bad data length field
0 with bad checksum
0 with no checksum
0 dropped due to no socket
0 broadcast/multicast datagrams dropped due to no socket
0 dropped due to full socket buffers
0 not for hashed pcb
1996 delivered
1996 datagrams output

の、droppedなんちゃらのところがカウントアップされるようだと、
いまいちですね

各個のサーバを強化し
台数も増やすと、、、

土台が小さく感じ始めるということかしら、
当然なんですけどもね、

>>863
それを　_serviceに吐き出しておくとか、
皆で観察 !

>>864
それは、多分にあるかなと。

今、２ちゃんねるで動いているDNS系の仕組みはこんなかんじです。
おおむね、上から負荷が大きい順。

・dnscache

量産型bananaからのDNS問い合わせを処理
cobra (oyster243)

・BBQ

BBQチェック、投稿毎に呼び出し、巨大DB参照
cobra (oyster243)

・BBS

野鳥の会、投稿毎に呼び出し、DB参照なし
banana (banana238)

・BBM

携帯版BBQ、携帯からの投稿で呼び出し、DB参照
cobra (cobra2245)

・BBX

Rock54、広告っぽい投稿毎に呼び出し、DB参照
banana (banana238)

・BBY

ヘッドライン&スレ立てチェック、スレ立て毎に呼び出し
banana (banana238)

>>865
やってみるです。

もっと書き込めるようにスレ保持数さげて(ex7)
現象が顕著に現れるようにしてみよう。

http://stats.2ch.net/_service/netstat-20041202.txt

10分ごとのはず。
BBQにもしかけてくるです。

楽すみ〜

BBQにもしかけた。
http://bbq.2ch.net/_service/netstat-20041202.txt

>>868 おっ。

>>871
droppedてｶｳﾝﾄされてますな

ふむ。

これよめと。
http://publibn.boulder.ibm.com/doc_link/Ja_JP/a_doc_lib/aixbman/prftungd/2365c92.htm

Dropped Due to No Socket
受け取った UDP データグラムのうち、宛先ソケット・ポートが開かれなかった数。
結果として、「ICMP Destination Unreachable - Port Unreachable」という
メッセージが送信されます。ただし、 受け取った UDP データグラムがブロード
キャスト・データグラムである場合は、ICMP エラーが生成されません。
この値が大きい場合は、アプリケーションがソケットをどのように処理しているかを調べてください。

port unreach か。
いまいちな予感。

>>868
いくつまで減らしたの？

処理が追いついてないのか、、、。
BBQはでっかいDBをrbldnsでmmap()してるからなぁ。

mmap() の頻度をもっとまばらにしてみるです。

ちょっと狼のスレ数減らさないでよ
大体ハロプロって50人くらいメンバーいるから
それぞれのカップリングスレだけでも50×50で2500は必要なんだし
各メンバーのファンスレ数種類にアンチスレ数種類もひつようだし
最低3000は必要だよ

BBQのdjbdnsは強化型になっていなかった(portsが古かった)ことが判明。
再度手術するです。

人が多い所はスレ保持数2000くらいでまわせるような感じにして欲しい

>>878 をやりました。
これからbbqのnetstatのカウンタをリセットします。

で、すみませんがスレッド保持数の話は、別のところでおながいします、、、。

狼をどうぞ沢山増やしてあげてください
VIPは300くらいでいいです
落ちても誰ひとりとして気にしません

>>877

狼なんてｲﾗﾈｰﾖ

VIPER一同より

我々はFOX ★がどんなに理不尽な仕様にしようとも受け入れて生きていきます

ex7のスレ保持数について
http://qb5.2ch.net/test/read.cgi/operate/1101926438/

スレ保持数については↑のスレでお願いしたほうが効果がありますよ

★☆★【狼ラウンジVIP野球競馬】ex7(tiger503)運用情報☆★☆
http://qb5.2ch.net/test/read.cgi/operate/1101909143/l50

>>880
とりあえず、これで、しばらく様子見ですかね。

>>887
そっすね、、、。

BBQ側のカウンタが微妙にいやんな感じなのが、ちと気になるです。
でもさすがに今日はもう寝ないといかんので。

tigerサーバ/cobraサーバのspeedycgiを、バッファ拡張版にした。
( #!/usr/local/bin/speedy -- -r1 -t60 -b1048576 )

今日は、ここまでかなと。

流れそうだから、もっかいおれさまメモ。(>>767)

意識なくなってきたんで、おやすみなさい。

2004/12/02 04:05:00
udp:
155591 datagrams received
　-略-
1 with no checksum
204 dropped due to no socket
　-略-
155387 delivered
156167 datagrams output

まぁ、今のところのstatsがdelivered以外0なのに比べると
確かに微妙にいやんかも、、
おやすみなさい。

>>891
http://bbq.2ch.net/_service/netstat-20041202.txt

増えてますね。
DNSキャッシュサーバをチューニングしてみるか。

FreeBSD 5.3R-p2
ftp://ftp.freebsd.org/pub/FreeBSD/CERT/advisories/FreeBSD-SA-04:17.procfs.asc

workaroundは、procfsを使わないことか。

思い出したときに書いておこう。

今の902だと、/homeにAMD64なバイナリ(read.cgi/offlaw.cgi)が入っているから、
次のを作るときも、AMD64アーキテクチャじゃないと大変めんどいですね。
/homeを共有することになるわけだから。

Cobraクラスにするかもっと安いのにするか(組みようにより、安いamd64も組めます)は、
別途考えることになるのかなと。

下記がもしほんとだとしたら、、、。
DNSサーバ系も絶対5.3Rにしよう、そうしよう。

blackgoat4: FreeBSD 5.2.1R

PID USERNAME PRI NICE SIZE RES STATE C TIME WCPU CPU COMMAND
684 squid 96 0 347M 341M select 0 212.3H 19.48% 19.48% squid <= CPUを20%食ってる
623 root 96 0 42420K 5416K select 0 4:59 0.00% 0.00% httpd
561 root 96 0 1608K 928K select 2 2:04 0.00% 0.00% ntpd
658 root 8 0 1232K 484K nanslp 0 1:50 0.00% 0.00% svscan
297 root 8 0 3108K 2508K nanslp 1 1:42 0.00% 0.00% ipmon
586 root 96 0 3512K 2012K select 1 1:08 0.00% 0.00% sendma
686 root 96 0 2224K 1440K select 0 0:30 0.00% 0.00% proftp
603 root 8 0 1340K 824K nanslp 3 0:19 0.00% 0.00% cron
427 root 96 0 1312K 704K select 3 0:10 0.00% 0.00% syslog

blackgoat3: FreeBSD 5.3R

PID USERNAME PRI NICE SIZE RES STATE C TIME WCPU CPU COMMAND
626 squid 20 0 282M 278M kserel 1 10:18 0.20% 0.20% squid <= CPUを0.2%しか食っていない
582 root 96 0 42012K 7776K select 0 0:01 0.00% 0.00% httpd
1449 service 96 0 2616K 1912K CPU1 0 0:01 0.00% 0.00% top
1007 service 96 0 6092K 2996K select 3 0:00 0.00% 0.00% sshd
598 root 96 0 5048K 4244K select 2 0:00 0.00% 0.00% snmpd
653 dnscache 96 0 32820K 32220K select 1 0:00 0.00% 0.00% dnscac
525 root 96 0 2880K 1776K select 2 0:00 0.00% 0.00% ntpd
306 root 8 0 1804K 1392K nanslp 3 0:00 0.00% 0.00% ipmon
628 root 8 0 1236K 664K nanslp 3 0:00 0.00% 0.00% svscan

ネットワーク周りのGIANTLOCKが解消されたからでは？

#!/usr/local/bin/speedy -- -b1048576
バージョンのbbs.cgiをex7に投入しましたー

bbs.cgi再開発プロジェクト４
http://qb5.2ch.net/test/read.cgi/operate/1101984763/74-75

昨日のピーク時 350投稿/min くらいで、沈没　→　DNSの強化でなおったばす
今日のピーク時 350投稿/min しらいで平和
さて明日は? SpeedyCGI フルスペック版bbs.cgi がどう動くのか

1) 軽くなって 400投稿/min でもへっちゃら
2) やっぱ意味無しで 350投稿/min で沈没
3) かえるの歌でも歌ってみる

かーえーるーのーうーたーがー♪

かーえーるーのーうーたーがっ♪

遅れて･･･
　　　　　　　　　　　聞こえて･･･
　　　　　　　　　　　　　　　　　　　　　　　　　来るよ･･･

書き込めない
早く対処しろ

お前だけだカス

>>902
お前は黙ってろ

質問だす

#!/usr/local/bin/speedy -- -b1048576
で bbs.cgiが起動され speedy_back プロセスが走り出すと思うのですが
このときの speedy_back の pid を 74745 とすると

プロセス 74745 が殺される(or自滅する)タイミングって何時ですか?

昨日は本業で疲れ果て、そのまま寝てしまいました。

さて、今週はシステム系サーバの工事。
↓
システム系サーバ工事に伴う書き込み不安定・一部サービスダウンのお知らせ[12/3]
http://qb5.2ch.net/test/read.cgi/operate/1102042361/

>>897
おおっ。bbs.cgiスレが激しく進んでいると思ったら、いよいよすか。

>>904
-rと-tのデフォルト値に依存してるですね。
http://perldoc.jp/docs/modules/CGI-SpeedyCGI-2.21/SpeedyCGI.pod

によると、
・bbs.cgiが500回実行される(-r500)
・1時間、何のリクエストも来ない(-t3600)

と、バックエンドプロセスが切り替わるようです(両方とも変更可能)

MaxRuns( -r オプション、デフォルトが500 ）判定で再execされても
古いバックエンドが kill されないように見えるということですか？

うわっ、調べてる間に詳しいレスついてた、ハズい・・・・

ex7の1プロセスあたりのCPU時間を30秒から120秒に増やしました。
(speedy_backendが500回分ずつ処理するので、1プロセス的に消費時間が増えるため)

ふんふん

つまり Speedy は時限装置が組み込まれていると、
そしてサーバは殺しに行かないようにしたと、

こういう感じ?

>>909
そういうことになります。120秒が短いなら、またのばそうかなと。
bbs.cgiには暴走癖がありますが、それは120秒制限で遅かれ早かれ死ぬはず。

でex7ですが、今のところ平和なかんじですね。
300投稿/minを超えるあたりからが、見ものか。

でも冷静に考えてごらんよ。

このまま進むと確かにそう遠くない将来(Febころ?)
tigerで 500投稿/min をこなすようになるですねぇ
なったらどうなるかというと・・・・・

道路を作れば渋滞が解消するという幻想を
抱いている方々と同じ境遇というか、、

車減らさなきゃ渋滞解消しないのに、
道を快適にすればそれ以上に車に乗る人が増えるのに、

>>911
しょうがないすね。
それはもう、「宿命」とか「業」とかのレベルかなと。

DNSサーバ構築で巻き込まれはじめ、
uma作戦以降どっぷりと漬かってからというもの、
サーバの資源不足が解消するなんて、はじめから思ってないっす。

とりあえず、きゅうり踊りだけはちょっとだけうまくなったのかもしれないけど。

いや必ずどっちかが限界に達する
それか質的にかわるか

http://mumumu.mu/mrtg/mrtg-rrd.cgi/bbqbbx/bbs.html
http://stats.2ch.net/_service/netstat-20041203.txt

このメンテ中にもbbs不調だったっすね、（カウントもけっこう多くの板でされてなかったみたい）
でも、netstatのほうは見てもあまり不調ではないっぽいが、、

>>914
dnscache止めてた = bananaサーバからの書き込みができなかったはずなので、
本当に書き込み数が減っていたはず。

oyster243を観察中。

ネットワークはじめ、全体的にとても軽くなった気がしますね。
やっぱ、ネットワーク周りのgiant lock解消が効いてるのかなと。

ｅｘ７書き込めないんだけど何とかしてよ

>>917
>>897-900

わけわかめ

撃沈させたら勝ちらしい…

ちゃんと説明してくれんと意味がわからん

>>915
そうでしたかぁー。
いや、kawase-m見る限り狼も数字動いてなかったもんで、、

>>922
狼= ex7は別の要因と思います。(bbs.cgiが違う)
BBQのalerm()な処理が入ってないんだと思う。

そうでしたか。微妙にそんな気はしたけど、、
おつかれさまですー。。

>>923
あっ
もしかして、使ってなさそうな処理をばっさり削ったのが原因かも。。。

alerm() は入っているけど、　シグナルなんとかってのはばっさり削ったのだ
はっはっは

きっとそのせいだ、、

お狐様のたたりじゃー

<br> 関係もコピペの問題なんだろうなぁ。。。

もしのソースからもう一度慎重に持ってくれば直る予感。

やはり、感でいじってるのか…

狐さんの言うことを信じるとアレだよ

FOXさーん、
bbs.cgi をいじって、return 0;を入れませんでしたか?

qb6のだけ、いじったです。
で、これを配布すればいいのかな。

return 0; も 1 も沢山入れたからわからないなぁ、

いつごろのことですか?

あっ　入れた気がする　!!

うへへぇー

間違ってくばっちった、

>>932
6時間ぐらい前だと思います。

で、Proxyチェックのところをパスするにようなっていたことが判明したので、
そこを元に戻したものを配布しておきました。

これで、BBQは再度有効になったはず。

↓またFOXか

てなわけで、たぶんBBQの問題は解決したはずです。

なるほど、「避難訓練実施中」バージョンの時ですね。>>933

了解です。
で、今後はもうBBQは止めないので、これで問題ないでしょう。

>>936
試したら、BBQ戻ってますね。
乙ですー

BBQのquery数、戻りましたね。

でも相変わらずoyster243は軽いので、
5.3Rへのバージョンアップの効果は大きいみたい。

∩( ・ω・)∩ばんじゃーい

おい！！いつになったら書き込めるようになるんだ
早く直せ糞野郎

書き込めうよ

>>942
書き込めてたらこんなとこ来ねぇよ

かつをが小学校を卒業したら、

>>943
とりあえず書き込めない板とスレを出さないと解決にならないと思われ

>>943
惜しい。もう少しでIDがEX7。

普通にサクサクと書き込めるぞ
自分の環境を晒せよ

>>944 永遠に無いと。。

川沿い2階建てアパート、築12年くらい

>>944
死ね

竪穴式住居、2DK

提案です

ex7 も read.cgi(DSO風味)やっちゃいませんかー? > root ★さん

>>952
やりますか。

んじゃ、ごそごそしてきます。

ほほーい

read.cgi@ex7 一回止めて
.so 版　構築します

しました

ex7、Apache側は設定完了。

FOXとrootは俺の肉便器

500 error になるっすね、、、

なんか間違ったかなぁ

FOXとrootは夫婦

んー、なんか変だなぁ。

[Fri Dec 03 07:10:40 2004] [error] [client むにゃ] /home/ch2ex7/public_html/test/read.cgi: /home/ch2ex7/public_html/test/read.cgi: mmap returned wrong address: wanted 0x8048000, got 0x2873b000, referer: http://ex7.2ch.net/morningcoffee/

>>958
アナルを小指で軽く触ってみるといい。マジで。

ぽーーーーーーーーーーーーーーーーーー！

何やろうとしてるの？

ちょっと、ex7のApacheの設定いじります。
dsoと同じにしてみよう。

エラー出てる(ﾟ�听)

どれが最新だか解らなくなったので
dso.2ch.net からバイナリをコピーしました　

うごいた

動いたと思う。
んー、SuExecしないといけないのか。いまいちだなぁ。

後で、もう1回設定見直してみるです。

ぽーーーーーーーーーーー！

>>966
んじゃ、もう1回SuExecなしにしてみます。

SuExecなしにした。
動いた。ということで、>>966 が備後の模様。

FOXドラクエ買った？

ワロタ

楽しそうだな
>>root▲ ★
>>FOX ★

おいFOX
VIPの機能戻せよ
飽きっぽい奴だな

そうやって一時の気紛れでチョコチョコやったり
また戻したり
蓄積という言葉を知らないと
器のデカイ大人に成れねえよ

他はどうでもいいけど戦闘力と!baseと!774!force!3は戻してほしいな

ダイエット中ですから、

次スレ立てました。
http://ex7.2ch.net/test/read.cgi/news4vip/1102087282/l50

>>974-975
今やってるのはどう見ても気まぐれじゃないって。

ｽﾏｿ、出しゃばりすぎですね。

FOX★はさすがだなあ

僕に★頂戴

そろそろ、次スレの季節か。
立ててきます。

ﾜﾛｽ

俺が代わりに立てるでー

およいずむに★をあげてください

rootさんに任せた
俺が考えたテンプレート
-----
peko作戦について語るスレです。
サーバロケーションPIEに関する話題もこちらで。
現在の主要なテーマはSpeedyCGI、mod_cgidsoの導入など。

＜関連サイト＞
レンタルサーバー maido3.com ２ちゃんねるの転送量: http://server.maido3.com/pie/
MRTGによる統計情報: http://mumumu.mu/mrtg/
２ちゃんねる/PINKちゃんねる 稼動中のサーバ一覧: http://mumumu.mu/serverlist.html

また挑戦。＠2ch掲示板
http://dso.2ch.net/myanmar/
また挑戦２。＠2ch掲示板
http://dso.2ch.net/yangon/

bbs.cgi再開発プロジェクト４
http://qb5.2ch.net/test/read.cgi/operate/1101984763/

＜運営板PINKちゃんねる関係＞
【PINKちゃんねる】新サーバ獲得会議☆3
http://qb5.2ch.net/test/read.cgi/operate/1080295660/

＜携帯電話特化型サーバ構築作戦関係＞
【Love Affair】携帯からのアクセスに対する考察・次の一手 Part3
http://qb5.2ch.net/test/read.cgi/operate/1095146311/

＜前スレ＞
【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part15
http://qb5.2ch.net/test/read.cgi/operate/1093068260/

過去ログ一覧
　Part1 http://qb3.2ch.net/operate/kako/1052/10529/1052923573.html
　Part2 http://qb3.2ch.net/operate/kako/1062/10621/1062137886.html
　Part3 http://qb3.2ch.net/operate/kako/1068/10680/1068017802.html
　Part4 http://qb3.2ch.net/operate/kako/1074/10741/1074124767.html
　Part5 http://qb3.2ch.net/operate/kako/1076/10761/1076162131.html
　Part6 http://qb3.2ch.net/operate/kako/1076/10764/1076413123.html
　Part7 http://qb3.2ch.net/operate/kako/1076/10767/1076733846.html
　Part8 http://qb3.2ch.net/operate/kako/1078/10789/1078972549.html
　Part9 http://qb3.2ch.net/operate/kako/1080/10802/1080298357.html
　Part10 http://qb3.2ch.net/operate/kako/1082/10821/1082125059.html
　Part11 http://qb3.2ch.net/test/read.cgi/operate/1082990543/l50(なぜか未HTML化)
　Part12 http://qb5.2ch.net/test/read.cgi/operate/1084429098/
　Part13 http://qb5.2ch.net/operate/kako/1085/10856/1085678587.html
　Part14 http://qb5.2ch.net/operate/kako/1087/10876/1087666806.html

>>982
>>978

>>978
そこ、VIP…

★ほしーー

たまにはVIPもいいかと

【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part16
http://qb5.2ch.net/test/read.cgi/operate/1102087698/

>>985
どもです。

bbspink、携帯電話特化型はとりあえずはずしました。
また必要なら、自然に入るかと。

>>991　うい。

>>991

あら

1000もらい

systat -pとかsystat -vとかすると、いろいろとわかるです。

誤爆？

>>996
ですね。

>>1 が8月21日か。
このスレでの作業は、とても有意義だったなぁと。

いつもおつかれさまです。
これからもいっしょに（？）遊ばせてもらいますー

そろそろ1000か

FOXの実験には大爆笑する

( ﾟ∀ﾟ)ｱﾊﾊ八八ﾉヽﾉヽﾉヽﾉ ＼ / ＼/ ＼


　　　　　　　　　　　　　　　　　それがＶＩＰクオリティ
　　　　　　　　　　　　　　　　　http://ex7.2ch.net/news4vip/

このスレッドは１０００を超えました。
もう書けないので、新しいスレッドを立ててくださいです。。。