関連キーワードをなんとかしようスレ

Operaだと関連キーワードやofuda.ccのあれととスレの一番上の全部や掲示板に戻るが重なって
掲示板に戻るがクリックできない。

---

Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; ja) Opera 9.02

これって、全部、普通のブラウザからの機能ですよね
２ｃｈ専用ブラウザにデータを渡して貰えば、クライアントで処理できるんじゃないの？

話題がそれていたらご免なさい　専用ブラウザ使っているから、見ること無いでね

getf.cgiの使い方を説明すればいいんですかね？

http://p2.2ch.io/getf.cgi?http://qb5.2ch.net/test/read.cgi/operate/1166328527/

XHTMLは扱いづらい

あ

>>185
まー確かに一理あるな。＜２ｃｈブラから情報収集
技術的に可能かどうかより、ひろゆきが望むかどうかなんだが。

>>189
望むも何も、>>186が答えだろ。
少なくても今の段階では、外部からも自由に使ってみて良いんだと思う。
駄目ならその内アクセス制限掛けるだろうし。

専ブラ側でget.cgiをコールすればキーワードが返ってくるから、
後は専ブラ側でどうぞと。

つう訳で人柱になる専ブラ無いかな。

>>190
Jane派生といくつかの2chブラから閲覧はできる。
見るだけならその通り。

2chブラウザからのアクセス統計も集めるかどうかですよ。

専ブラ開発系のスレッドで告知すればいいんですかね？

そこでメールマガジンですよ

>>192
うーん数多いから面倒だろ
ここで公示すればどうよ。

ひろゆきが2chブラウザから関連キーワードを閲覧できるようにしてちょうだいって言ってる。
http://qb5.2ch.net/test/read.cgi/operate/1166328527/186

186 名前：ひろゆき＠どうやら管理人 ★[] 投稿日：2007/01/26(金) 04:05:53 ID:???0 ?S★(102442)
getf.cgiの使い方を説明すればいいんですかね？

http://p2.2ch.io/getf.cgi?http://qb5.2ch.net/test/read.cgi/operate/1166328527/

閲覧可能にしてほしいって言ってるだけで、2chブラからの集計はしてないですよ。

>>195の底はおすすめ２ちゃんねるとゴッチャになってた。ｽﾏｿ。

一種の検索ソフトだから、それなりにあるんじゃない？
ググルとか、ヤッホーとか、ＭＳとか　やってるからね

専ブラで、負荷分散すればそれなりのが出来るかもしれないけど
上記とぶつかると思うよ

さて，>>180 をやろうかな......ってことで，しばらく止まります．

>>184 下線付近のごく狭い領域ならクリックできたりしませんか？

>>198
出来たり出来なかったりです。
フォーカスがあってもカーソルの形も変わりませんし。

関連キーワードを取得しますか？しませんか？
関連キーワードログを保存しますか？しませんか？
関連キーワード登録しますか？しませんか？
関連キーワードデータをアップロードしますか？しませんか？

パケット課金ユーザーには、無縁の話しかも知れません
あっても良いなの機能ですが

まずどういうものか理解しよう。

innodb_buffer_pool_size = 256M
innodb_additional_mem_pool_size = 20M
innodb_log_file_size = 64M
innodb_log_buffer_size = 8M
innodb_file_per_table

InnoDB 用に↑の設定を入れて立ち上げようとしたら......

070126 15:50:04 [ERROR] Out of memory; check if mysqld or some other process uses all available memory; if not, you may have to use 'ulimit' to allow mysqld to use more memory or you can add more swap space
mysqld got signal 11;

だそうです......たぶん ulimit の制限に引っかかってるんじゃないかと．

% limit -h datasize
datasize     524288 kbytes

ってことで，これをもっとデカく（物理メモリ上限くらいまで）設定できるようにお願いできればと＞むむむさん



>>199 う〜む......そのあたりのは float 使ってるので，それの関係ですかね......

>>202
掲示板に戻る、全部等を囲っているspanを消したらクリックできるようになりますから多分そうでしょう。

>>202
> % limit -h datasize
> datasize 524288 kbytes

FreeBSD/i386 って、これ、増やせるんでしたっけ、、、。

ちなみに FreeBSD 6.2R/amd64 だと、

datasize 33554432 kbytes

になっているです。

/usr/src/sys/i386/include/vmparam.h で、

#ifndef MAXDSIZ
#define MAXDSIZ (512UL*1024*1024) /* max data size */
#endif

ってやってて、

/usr/src/sys/kern/subr_param.c で、

maxdsiz = MAXDSIZ;
TUNABLE_ULONG_FETCH("kern.maxdsiz", &maxdsiz);

となっているのか。

TUNABLE_ULONG_FETCH ってことは、/boot/loader.conf に書いて再起動か。
とりあえず、

kern.maxdsiz="2048m"

とかですかね。

# Increase maximum data and stack size
kern.maxdsiz="2048m"
kern.maxssiz="1024m"

を /boot/loader.conf に追加して、p2.2ch.io / c2.2ch.io をリブートした。

このように出力されたです。

%limit
cputime unlimited
filesize unlimited
datasize 2097152 kbytes
stacksize 1048576 kbytes
coredumpsize unlimited
memoryuse unlimited
vmemoryuse unlimited
descriptors 65536
memorylocked unlimited
maxproc 7390
sbsize unlimited

>>204-208 乙です．kern.maxdsiz とかは元々なくって，自分で新たに定義するものなんですね．
# どおりで，sysctl -a の出力からそれらしきものを探してもなかったわけだ......

default-storage-engine = InnoDB

>>202 に加え，↑の設定も入れますた．で，MySQL は無事立ち上がり，
現在 MyISAM -> InnoDB にテーブル変換中......

regwords の変換にはどれだけかかるだろう......まぁ最低でも1時間以上はかかるでしょうね......

mysql> alter table dispwords engine InnoDB; alter table urls engine InnoDB; alter table words engine InnoDB; alter table regwords engine InnoDB;
Query OK, 4841616 rows affected (4 min 10.97 sec)
Records: 4841616  Duplicates: 0  Warnings: 0

Query OK, 500065 rows affected (1 min 3.42 sec)
Records: 500065  Duplicates: 0  Warnings: 0

Query OK, 1351479 rows affected (1 min 29.03 sec)
Records: 1351479  Duplicates: 0  Warnings: 0

>>186>>190
Janeなら外部コマンドで見れるから
閲覧なら新しく機能つけなくてもいいかと

それってWebブラウザにURL渡すだけでしょ？

$VIEW http://p2.2ch.io/getf.cgi?$URL
とか
$CHOTTO http://p2.2ch.io/getf.cgi?$URL
とか。

jane 使ってみた　コマンドを書くの？

タイトルの前に３つ出すの書ける？

タイトルの前に３つ出すのってなに？

未だ regwords の変換処理は続いてるわけですが......ただ，それ以外のテーブルの
変換はすでに終わってるので，getf.cgi での表示だけは可能な状態で動いてます．
で，現状ではその変換処理 + getf.cgi からの SELECT クエリー on InnoDB を
平行して捌いてますが，ピーク時間帯になっても c2 は一応無事な状態のようですね．
getf.cgi の表示での引っかかり感もあまりなさそうな感じですし．
あとは，データの登録・更新処理を動かし始めた場合にどうなるか......

last pid:  1646;  load averages:  0.62,  0.78,  0.86    up 0+05:36:46  23:20:27
120 processes: 8 running, 112 sleeping
CPU states: 17.8% user,  0.0% nice,  3.3% system,  0.8% interrupt, 78.1% idle
Mem: 420M Active, 1327M Inact, 177M Wired, 75M Cache, 112M Buf, 2996K Free
Swap: 2048M Total, 16K Used, 2048M Free

  PID USERNAME  THR PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
  960 c22chio    42   4    0   599M   379M sbwait 0 263:51 51.76% mysqld

InnoDB！InnoDB！

スレ立て人のＣＰＵ借りて結果だけ貰えば？

>>218
>>218

Query OK, 78899550 rows affected (5 hours 57 min 6.25 sec)

regwords の変換は↑ということで約6時間かかったと．やはり MyISAM よりはディスク容量食いますね．

-rw-rw----  1 c22chio  ch2        8554  1 27 04:34 count_urls.frm
-rw-rw----  1 c22chio  ch2       98304  1 27 19:06 count_urls.ibd
-rw-rw----  1 c22chio  ch2        8632  1 26 18:10 dispwords.frm
-rw-rw----  1 c22chio  ch2   482344960  1 27 19:07 dispwords.ibd
-rw-rw----  1 c22chio  ch2        8626  1 26 18:17 regwords.frm
-rw-rw----  1 c22chio  ch2  7163871232  1 27 19:07 regwords.ibd
-rw-rw----  1 c22chio  ch2        8694  1 26 18:14 urls.frm
-rw-rw----  1 c22chio  ch2   142606336  1 27 19:07 urls.ibd
-rw-rw----  1 c22chio  ch2        8612  1 26 18:15 words.frm
-rw-rw----  1 c22chio  ch2   146800640  1 27 19:07 words.ibd

んで，登録・再クロール処理も動かし始めますた．今のところ，拍子抜けするぐらい静かな感じですねｗ

last pid:  4972;  load averages:  0.66,  0.53,  0.50    up 1+01:24:01  19:07:42
124 processes: 1 running, 123 sleeping
CPU states:  3.8% user,  0.0% nice,  3.6% system,  1.4% interrupt, 91.2% idle
Mem: 512M Active, 931M Inact, 223M Wired, 82M Cache, 112M Buf, 255M Free
Swap: 2048M Total, 20K Used, 2048M Free

  PID USERNAME  THR PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
 4821 c22chio     1   4    0 14876K 10680K sbwait 3   1:55  6.98% perl5.8.8
  960 c22chio    39  -4    0   604M   383M ufs    0 435:51  5.91% mysqld
 4820 c22chio     1   4    0 14236K 10028K sbwait 1   2:03  5.71% perl5.8.8
 2772 c22chio     1   4    0  5964K  4700K kqread 0   2:06  1.95% crawld
 4822 c22chio     1   4    0 14432K 10280K sbwait 0   1:39  1.17% perl5.8.8
 4818 c22chio     1   4    0 14476K 10284K sbwait 2   1:49  0.24% perl5.8.8

ただ，InnoDB はロックの粒度が細かいのはいいんですが，注意しないとデッドロックが
発生してしまうという......そのため，登録処理は単純に START TRANSACTION 〜 COMMIT で
挟むだけじゃダメですね．words テーブルの書き込みは AUTO-INC のロックと行ロックが交錯するし，
行ロックのかかる順番もまちまちなんで，GET_LOCK() 〜 RELEASE_LOCK() で挟んでデッドロック回避．
この GET_LOCK() はテーブルロックとは違うものなので，SELECT での読み出しには影響しません．

CREATE PROCEDURE registurl(urlx varchar(256), mtimex int, totalwordsx int unsigned)
BEGIN
    DECLARE urlid, totaldocs bigint unsigned;
    START TRANSACTION;
    SELECT id INTO urlid FROM urls WHERE url = urlx FOR UPDATE;
    IF urlid IS NOT NULL THEN
        IF GET_LOCK('keywords.words', 10) THEN
            UPDATE regwords, words SET words.df = words.df - 1 WHERE regwords.url_id = urlid AND words.id = regwords.word_id;
            DO RELEASE_LOCK('keywords.words');
            DELETE FROM dispwords WHERE url_id = urlid;
            DELETE FROM regwords WHERE url_id = urlid;
        ELSE
            ROLLBACK;
            TRUNCATE tmpwords;
            SET urlid = NULL, totalwordsx = NULL;
            START TRANSACTION;
        END IF;
    END IF;
    IF totalwordsx IS NULL THEN
        DELETE FROM urls WHERE id = urlid;
        UPDATE count_urls SET n = n - 1 WHERE urlid IS NOT NULL;
        COMMIT;
    ELSE
        DO LAST_INSERT_ID(0);
        INSERT urls (url, mtime, totalwords) VALUES (urlx, FROM_UNIXTIME(mtimex), totalwordsx)
            ON DUPLICATE KEY UPDATE mtime = VALUES(mtime), totalwords = VALUES(totalwords);
        IF urlid IS NULL THEN
            SET urlid = LAST_INSERT_ID();
            UPDATE count_urls SET n = n + 1 WHERE urlid;
        END IF;
        IF urlid && GET_LOCK('keywords.words', 10) THEN
            INSERT words (word) SELECT word FROM tmpwords ON DUPLICATE KEY UPDATE df = words.df + 1;
            DO RELEASE_LOCK('keywords.words');
            UPDATE tmpwords JOIN words USING (word) SET tmpwords.id = words.id, tmpwords.df = words.df;
            INSERT regwords SELECT urlid, id, tf FROM tmpwords;
            SELECT n INTO totaldocs FROM count_urls;
            INSERT dispwords SELECT urlid, id, tf / totalwordsx * (LN(totaldocs / df) + 1) tfidf
                FROM tmpwords WHERE totaldocs / df < 100000 ORDER BY tfidf DESC LIMIT 10;
            COMMIT;
        ELSE
            ROLLBACK;
        END IF;
        TRUNCATE tmpwords;
    END IF;
END

思い出した　昔、あったな、社会とかのボタン　無くなったんだよな確か？
記憶力弱いんで違ってたらスマソ
３回目か　ホリエモンの１クリック程度の価値有ったのだろうか？

意外と進歩してないモンだな
辞書をロカールに於いて、集めてきて賢くするだったかな？
英和、和英何てのも有った　思い出すことは出来ないだろうが

>>222 のでもまだデッドロックが起きて...... >>221 の top の表示で余裕に見えたのは，
新規データは登録されるものの，再クロールでの更新データはデッドロックのため
ほとんど登録されず CPU が休んでいたための模様ｗ GET_LOCK() でのロック範囲を広げて

CREATE PROCEDURE registurl(urlx varchar(256), mtimex int, totalwordsx int unsigned)
BEGIN
    DECLARE urlid, totaldocs bigint unsigned;
    START TRANSACTION;
    IF GET_LOCK('keywords.registurl', 10) THEN
        SELECT id INTO urlid FROM urls WHERE url = urlx FOR UPDATE;
        IF urlid IS NOT NULL THEN
            UPDATE regwords, words SET words.df = words.df - 1 WHERE regwords.url_id = urlid AND words.id = regwords.word_id;
            DELETE FROM dispwords WHERE url_id = urlid;
            DELETE FROM regwords WHERE url_id = urlid;
        END IF;
        IF totalwordsx IS NULL THEN
            UPDATE count_urls SET n = n - 1 WHERE urlid IS NOT NULL;
            DO RELEASE_LOCK('keywords.registurl');
            DELETE FROM urls WHERE id = urlid;
            COMMIT;
        ELSE
            INSERT urls (url, mtime, totalwords) VALUES (urlx, FROM_UNIXTIME(mtimex), totalwordsx)
                ON DUPLICATE KEY UPDATE mtime = VALUES(mtime), totalwords = VALUES(totalwords);
            IF urlid IS NULL THEN
                SET urlid = LAST_INSERT_ID();
                UPDATE count_urls SET n = n + 1;
            END IF;
            INSERT words (word) SELECT word FROM tmpwords ON DUPLICATE KEY UPDATE df = words.df + 1;
            UPDATE tmpwords JOIN words USING (word) SET tmpwords.id = words.id, tmpwords.df = words.df;
            DO RELEASE_LOCK('keywords.registurl');
            INSERT regwords SELECT urlid, id, tf FROM tmpwords;
            SELECT n INTO totaldocs FROM count_urls;
            INSERT dispwords SELECT urlid, id, tf / totalwordsx * (LN(totaldocs / df) + 1) tfidf
                FROM tmpwords WHERE totaldocs / df < 100000 ORDER BY tfidf DESC LIMIT 10;
            COMMIT;
            TRUNCATE tmpwords;
        END IF;
    ELSE
        ROLLBACK;
        TRUNCATE tmpwords;
    END IF;
END;;

にしたら，CPU も働き出した．

last pid:  5512;  load averages:  3.86,  3.52,  3.20    up 1+04:39:59  22:23:40
132 processes: 5 running, 126 sleeping, 1 stopped
CPU states: 53.0% user,  0.0% nice,  9.6% system,  1.4% interrupt, 36.0% idle
Mem: 615M Active, 920M Inact, 220M Wired, 55M Cache, 112M Buf, 193M Free
Swap: 2048M Total, 20K Used, 2048M Free

  PID USERNAME  THR PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
 4820 c22chio     1 121    0    99M 69144K CPU1   1  26:51 63.43% perl5.8.8
 4821 c22chio     1 118    0    98M 58500K RUN    0  29:36 59.57% perl5.8.8
 4822 c22chio     1 101    0    99M 52608K CPU3   0  29:25 33.35% perl5.8.8
 4818 c22chio     1 107    0    99M 48412K CPU2   2  28:46 32.47% perl5.8.8
  960 c22chio    46   4    0   603M   383M sbwait 2 494:59 19.97% mysqld
 2772 c22chio     1  -8    0  5716K  4440K biord  0  16:46  9.28% crawld

んで，この状態でも getf.cgi 表示の引っかかり感もあまりないようなので，
とりあえず InnoDB への切り替えはプラス側に転んだ，ということでいいのかな．

おつでした。

しかし InnoDB の本来の力を発揮させるには、
プログラミング上の注意も必要、ということですか。

>>226 まぁそうですね．とはいえ，
http://www.drk7.jp/MT/archives/000941.html
http://www.thinkit.co.jp/cert/article/0603/10/5/3.htm
あたりのベンチマークとか見てて，InnoDB だと重くてピーク時間帯に
c2 が死ぬんじゃないかとかビビってたり，
http://d.hatena.ne.jp/naoya/20060729/1154139996
では CPU 等のリソースが有り余ってれば InnoDB でいいんじゃない？
というような感じのことが書いてありますが，c2 はパーサで
CPU 食うんでそんな有り余ってる訳じゃないし......
などと心配してたんですが，杞憂だったようでめでたしめでたし．

デッドロックってあるんすねぇ。

あるある。

http://qb5.2ch.net/test/read.cgi/operate/1168100274/617
http://qb5.2ch.net/test/read.cgi/operate/1168100274/619

PVにさしたる影響は無いと思ってたけどかなり使っているんだねぇ。

完走したニューススレの次スレ追跡に一応使える
本当はおすすめ2ちゃんねるのほうで対応して欲しいが

さすがに InnoDB のリカバリは早いっすね，2秒ぐらい．

070131 23:24:01 mysqld started
070131 23:24:01 InnoDB: Database was not shut down normally!
InnoDB: Starting crash recovery.
InnoDB: Reading tablespace information from the .ibd files...
InnoDB: Restoring possible half-written data pages from the doublewrite
InnoDB: buffer...
070131 23:24:02 InnoDB: Starting log scan based on checkpoint at
InnoDB: log sequence number 11 4261151496.
InnoDB: Doing recovery: scanned up to log sequence number 11 4261161318
070131 23:24:02 InnoDB: Starting an apply batch of log records to the database...
InnoDB: Progress in percents: 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33
 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66
 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99
InnoDB: Apply batch completed
070131 23:24:03 InnoDB: Started; log sequence number 11 4261161318
070131 23:24:03 [Note] /home/c22chio/mysql/bin/mysqld: ready for connections.
Version: '5.0.27-standard' socket: '/tmp/mysql.sock' port: 3306 MySQL Community Edition - Standard (GPL)

>>232
おー、さすが。
Inno は innovation なんでしたっけ。

>>233 まぁそんなところだと思います．
直接的には Innobase http://www.innodb.com/ から来てるんでしょうけど．

伊能忠敬。

ぎゃはははは

適切なリアクションが思いつかない自分を不甲斐なく思うよ
きっと就活の面接に落ち続けてる俺に“足りない何か”
を見つけるきっかけはここいら辺にあるんだと思う

いの一番に反応したかったものの，お二方に先を越されますた．

[Thu Feb 01 16:09:48 2007] [emerg] (17)File exists: Couldn't create accept lock (/var/log/accept.lock.634) (5)

ってことで rm /var/log/accept.lock.*; apachectl start おながいします @p2 ＞むむむさん

# 普通の場所だと EEXIST になったり，/md だとマウント前にファイル作ろうとしたりで，難しいですねぇ......


c2 は MySQL のシャットダウン処理中に落ちちゃったようですね．
まぁちゃんとリカバリしてますが．ただ，今回は28秒ぐらいかかってますけど......

070201 14:27:10 [Note] /home/c22chio/mysql/bin/mysqld: Normal shutdown
070201 14:27:12 InnoDB: Starting shutdown...
070201 17:01:01 mysqld started
070201 17:01:01 InnoDB: Database was not shut down normally!
InnoDB: Starting crash recovery.
InnoDB: Reading tablespace information from the .ibd files...
InnoDB: Restoring possible half-written data pages from the doublewrite
InnoDB: buffer...
070201 17:01:01 InnoDB: Starting log scan based on checkpoint at
InnoDB: log sequence number 14 502342626.
InnoDB: Doing recovery: scanned up to log sequence number 14 507585024
InnoDB: Doing recovery: scanned up to log sequence number 14 512827904
InnoDB: Doing recovery: scanned up to log sequence number 14 518070784
InnoDB: Doing recovery: scanned up to log sequence number 14 523313664
InnoDB: Doing recovery: scanned up to log sequence number 14 528556544
InnoDB: Doing recovery: scanned up to log sequence number 14 533799424
InnoDB: Doing recovery: scanned up to log sequence number 14 539042304
InnoDB: Doing recovery: scanned up to log sequence number 14 544285184
InnoDB: Doing recovery: scanned up to log sequence number 14 549528064
InnoDB: Doing recovery: scanned up to log sequence number 14 551520217
070201 17:01:09 InnoDB: Starting an apply batch of log records to the database...
InnoDB: Progress in percents: 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32
 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66
 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99
InnoDB: Apply batch completed
070201 17:01:29 InnoDB: Started; log sequence number 14 551520217
070201 17:01:29 [Note] /home/c22chio/mysql/bin/mysqld: ready for connections.
Version: '5.0.27-standard' socket: '/tmp/mysql.sock' port: 3306 MySQL Community Edition - Standard (GPL)

httpd@p2 立ち上がってますね．乙です＞むむむさん

>>239-240
やりました。

何か、しかけを入れる方向ですね。 < httpd health check

で、すごいバカな質問かもなんですが、
accept.lock って、そもそも作らないとまずいんでしたっけ。

>>242 ソケットの accept() を直列化するためのロックで利用するものですね．
ソケットが1つだけなら直列化は必須というわけでもないんですが，
直列化した方がカーネル内でのスピンを抑制し遅延を小さくする効果があるためにやってるらしいです．
cf. http://httpd.apache.org/docs/2.2/misc/perf-tuning.html
　　の "accept Serialization - single socket"

pthread_mutexattr_setrobust_np() が使えるなら AcceptMutex pthread を
安全に利用できるので，flock() / fcntl() ベースのロックを使わずに済む，
つまり accept.lock ファイルのことは考えずに済むんですが（それのみならず
パフォーマンス面でも有利ですし），FreeBSD ではそれはないようなので
安全には使えない（どれかの httpd プロセスが mutex lock を保持したまま死ぬと
他の httpd プロセスがデッドロックに陥ってしまう）ということで......

あと，/md の設定を /etc/fstab に入れれば /md のマウントのタイミングが
もっと早くなって accept.lock 生成で失敗しなくなる，とかいうことないんでしょうか？

>>243
ふむふむ。

一般的なサーバは、fstab にしてもいいかもしれないですね。
/md の大きさや設定は各サーバの事情によって結構変えているので、
/etc/fstab にあまり書きたくなかった、という事情がありました。

あと、FreeBSD 5.x のバージョンアップの時に、
fstab に md の設定を書いていると mount でしくって、
single user mode になってしまう、というのもありますね。

毎回 /md の mount をしないようにしてから作業すればいいんですが、
それよりも、別にスクリプトを書こうと。

…というか、たぶんきっと rcorder をちゃんと書けばいいような予感。

>>244 なるほど...... rcorder ってのは依存関係を定義するんですね．
ただ，rc(8) のこれが適用されるなら，単に起動スクリプトを
リネームするだけでもいいのかも？

　　The following key points apply to old-style scripts in
　　/usr/local/etc/rc.d/:

　　o　 The scripts within each directory are executed in lexicographical
　　　　order.  If a specific order is required, numbers may be used as a
　　　　prefix to the existing filenames, so for example 100.foo would be
　　　　executed before 200.bar; without the numeric prefixes the opposite
　　　　would be true.

なるほど、ZZZ- を 000- とかにすればいいと言ってますかね。
あるいは、/md の mount 部分だけを 000- で切り出すとか。

¶　　　　　　¶＼
　　　　　　　　 ¶　　.＼¶¶¶..¶,/¶　ヽ
　　　　　　　　¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶､
　　　　　　　¶¶¶¶¶¶ｴﾙﾒｪｽ¶¶¶¶¶¶¶¶
　　　　　　¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶i
　　　　　　¶＜=○=＞＜=○=＞　 ¶i　　 ／￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣
　　　　　 　¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶＊　i　＜　 (ヘイッ！私のｷﾞｺｸﾝどこ？
　　　　　 　 ¶:､¶¶¶ー□‐¶¶¶¶¶¶¶／　　 ＼＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿
　　　　　　　　　¶|¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶
　　　　　　　　　¶　¶¶¶¶¶¶¶¶¶¶¶¶¶ ¶¶¶¶¶ |ヽ
　　　　　　　　　¶　¶¶¶¶¶¶¶¶¶¶¶¶¶　　　¶¶丿 ¶
　　　　　　　　　¶　¶¶¶¶¶¶¶¶¶¶¶¶¶¶　　　　）_ノ
　　　　　　　　（.,.,.,.,..,）.,.,.,..,.,.,.（,..,.,.,.,..,.）,.,.,,../

¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶

　¶¶¶¶¶¶
　¶*ﾟーﾟ ¶　ヘイッ！私のｷﾞｺｸﾝどこ？　
　Ｕ　　Ｕ
　　く　く

¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶¶

このＡＡをみてから１０日以内にこれと同じ内容を１０回書き込まないと、
両腕をもがれて死にます。

虐厨はうそつきだと思ったみなさん。
すいません。
虐厨はうそつきではないのです。
しにたくないだけ、なんです。

落ち着いてる感じすかねぇ。

落ち着いてるというか閑古鳥が鳴いてるというか

ってか
どのくらいの利用者がいるのかしらん

関連キーワードからスレを検索したりできないの？

関連キーワードってＩＥとかでスレを見たときに上の方に表示されるキーワードのことでいいのかな？

専ブラ使いなので初めて知った・・・
使わせたいなら専ブラ作者に対応してもらった方が。

専ﾌﾞﾗでｽﾚﾀｲ検索できるから別段不自由はしていないが
IEで使ってる人がどのくらい居るのかは気になる

AAにも反応するからｵﾚはIEからでもあんまり使ってないけど

>>251
クリックすると、、

なんて親切なひと！

まろゆき狼なおして

ex21鯖への移行実験中にパーミッション設定ミス。
403エラーが出るようになった。
本日午前四時半すぎから。

止　http://ex21.2ch.net/accuse/ [板をp2で開く]　2ch批判要望
活　http://ex21.2ch.net/ad/ [板をp2で開く]　宣伝掲示板
止　http://ex21.2ch.net/campus/ [板をp2で開く]　大学生活
止　http://ex21.2ch.net/f1/ [板をp2で開く]　ﾓｰﾀｰｽﾎﾟｰﾂ
止　http://ex21.2ch.net/k1/ [板をp2で開く]　格闘技
止　http://ex21.2ch.net/keiba/ [板をp2で開く]　競馬
止　http://ex21.2ch.net/livemarket1/ [板をp2で開く]　市況実況1
止　http://ex21.2ch.net/morningcoffee/ [板をp2で開く]　モ娘（狼）
止　http://ex21.2ch.net/net/ [板をp2で開く]　ネットwatch
止　http://ex21.2ch.net/tv/ [板をp2で開く]　テレビ番組
止　http://ex21.2ch.net/tvd/ [板をp2で開く]　テレビドラマ


これ、なんとか汁。

ex21鯖の復旧をお願いします。 >>ひろゆきさん。

>>252
Janeなら>>214で出来ると思う

>>254
あ。そだ＜ひろゆき
この関連キーワードを2chブラに広めたいんだって言ってたよな。
ソフ板に告知スレを立てればええやん。
2ｹﾞﾄ禁止ってか常にスレ上位にある告知みたいなのを。

>>260
わくわく。。。

わくわくされても。

わくわくさん？

やぁ、ゴロリ

ピロリだろそこは

これがユトリ教育か

ひろゆきがいると聞いて来ました

ひろゆきニュー速なんとかしてくれ

ＶＩＰを２つに割る作戦か？

ニュー速民はどこにいけばいいの？

ニュー速+があるじゃん

>>261
若ハゲ？隠してやんよ
　彡⌒ ヽ
　(　；ω；)＝つ≡つ∧＿∧
　(っ　≡つ＝つ∧＿∧
　/　　　) ﾊﾞﾊﾞﾊﾞﾊﾞ
　( /￣∪

>>261
ポイントくれ

ひろゆきにポイントねだるとか・・・
クレクレ厨はちゃんとsakuして下さい

>>261
わくわくされたのでやってみるわ。
こんなのをhttp://pc9.2ch.net/test/read.cgi/software/9242006211/
ソフ板に立てりゃ良いのだろ？
　↓
★☆ひろゆきから2chブラウザ作者さんへお願い☆★

ひろゆきが2chブラウザから関連キーワードを閲覧できるようにしてちょうだいって言ってるです。
http://qb5.2ch.net/test/read.cgi/operate/1166328527/186,192

186 名前：ひろゆき＠どうやら管理人 ★[ ] 投稿日：2007/01/26(金) 04:05:53 ID:???0 ?S★(102442)
getf.cgiの使い方を説明すればいいんですかね？

192 名前：ひろゆき＠どうやら管理人 ★[] 投稿日：2007/01/26(金) 12:22:59 ID:???0 ?S★(102442)
専ブラ開発系のスレッドで告知すればいいんですかね？

つー訳で2chブラウザ作者さんは関連キーワードを閲覧できるようにしてください。
２ちゃんねるwiki　関連キーワード（編集用ページ壬）
http://info.2ch.net/wiki/pukiwiki.php?%CA%D4%BD%B8%CD%D1%A5%DA%A1%BC%A5%B8%BF%D1
　↑
あ、対応してるかどうか、導入方法を知らせないとダメか。
じゃ普通にスレ立てするぞ。

★☆ひろゆきから2chブラウザ作者さんへお願い☆★
http://pc9.2ch.net/test/read.cgi/software/1171219916/

ひろゆき＞足跡残しといてくれ

死ねたらこ

924スレじゃないと普通に沈んでいっちゃうね
そしてage荒らし

>>278
俺ができる精一杯ｗ
落ちたら落ちたで鯔が924スレこさえるだろｗ

遊び場を提供してくれてるひろゆきに、感謝の意を込めて かるーいお手伝いｗ

とりあえずbe2ch対応ブラウザスレに書いといたから
ボチボチ反応あるんじゃね？

キーワードをクリックすると、同じ関連キーワードが出てくるスレが表示されるのかと思ってた
まあ無料でそんなことできたら、モリタポ使って本文検索する意味ないわな

>>280
あなた頭良いな。
スレタイに関連キーワードが入っていても肝心の中身に無いかもだよなー。
同じキーワードのスレが検索できるのが理想ってか正しい方向だわなー。

ひろゆき＞対応してください。

もじぴスレでさ
http://game11.2ch.net/test/read.cgi/handygame/1162476798/l50
キーに「ぴったん」がでてくるけど
http://p2.2ch.io/getf.cgi?http://game11.2ch.net/test/read.cgi/handygame/1162476798/l50
これで検索しても肝心のもじぴスレは1個も出てこないから意味なくね？
http://find.2ch.net/?BBS=ALL&TYPE=TITLE&ENCODING=SJIS&STR=%82%D2%82%C1%82%BD%82%F1
こうしないと出ない
http://find.2ch.net/?STR=%A4%E2%A4%B8%A4%D4%A4%C3%A4%BF%A4%F3&COUNT=10&TYPE=TITLE&BBS=ALL

スレタイ検索をNgramにしよう計画。

わくわく。

↓後は任せた。

Janeの次スレ検索で使われてる奴ね。

ｗｋｔｋして待ちます。

ttp://japan.cnet.com/news/media/story/0,2000056023,20095741,00.htm

たとえば、「ライブドアの検索」という文章ならば、形態素解析では「ライブドア」「の」「検索」と分割する。
英語では、単語と単語の間にスペースが入るので認識しやすいが、
日本語の場合は、単語の辞書ファイルを用意しなくてはならない。
これがN-gramの場合、Nを2文字単位と指定すれば、
「ライ」「イブ」「ブド」「ドア」「アの」「の検」「検索」と分割し、それぞれを単語として扱う。
強制的に分割するので、別途辞書ファイルを用意する必要がない。

　そのため、一般的に認識する単語のデータ量は、形態素解析よりもN-gramのほうが多くなるので、
検索を高速に処理するのは不得手（Nを何文字にするかによっても大きく変わる）とされている。
しかし、別途辞書ファイルが必要ないため多言語でも通用するほか、
網羅性が高く検索の漏れがなくなりやすいとされている。
＝−−−−
ひろゆき＞
ひょっとして2chブラウザ内で検索できるようにお願いするん？

2ch検索の負荷をみつつ、、、

見つつ実装すると？

変なキーワードがあると思ったらAAに反応してたのか・・・

2ch検索の窓口って今もここなの？
http://find.2ch.net/enq/result.php/14394

あいあい。

>>291
重い重い重い重い重い重い重い×42＠運用情報
http://qb5.2ch.net/test/read.cgi/operate/1171194778/12

これなんとかしてよー

なんとかしてみました。

さすが管理人、仕事が速い。

鯖落ちぐらいチェックしてよ。とか言ってみる。

http://qb5.2ch.net/test/read.cgi/operate/1171194778/124

124 名前：ひろゆき＠どうやら管理人 ★[] 投稿日：2007/02/13(火) 23:42:14 ID:???0 ?DIA(103001)
>>12
すんません。サーバ落ちてました。


久々に鉄の掟関係なく笑った

>>295
教えてくれたら、再起動しますよ。

鯖が落ちていたらひろゆきに自動連絡するシステムが開発される悪寒。

ぼくはできませんが。

手紙が届いていたらひろゆきに自動連絡するシステムが開発される悪寒。

まずはひろゆきを探すシステムを作らないと。

>>283
テスト
http://210.135.99.71/

http://210.135.99.71/?query=%83%82%83%93%83X&enc=SJIS
おぉー、いけてますね。

ひろゆきチョコなんこもらった？

まだ外出してないので０です。

>>304
グミくれよ！

要するに義理チョコするもらうあてはないのか

(-人-)ひろゆきがチョコ食ってゲリ止まらなくなりますように。。

ひろゆきモテそうなのに。

外出すれば貰えるとな

彼女がいらっしゃるそうですし。

彼女が居たら家まで持ってくるだろ普通

あ
宛所不明な人だったね、そういえばw

ひろゆきはうまい棒とチョコ、どっちが好きなんだ？
チョコ味のうまい棒があればいいのか？

ひろゆきもてるなあ。
ヒューヒュー

>>312
http://www.inokuchi.net/p_win/6.html

>>314
すげーーーーーーーｗｗｗｗｗｗｗｗｗｗ

>>297
sports2が落ちてるぞー

ふ、、振込みが、、、

キタ----！！！

またかい

おまい、いつもそれだな・・・

クレカから振込みに変更したんですか・・・。
それで今度は振込みを忘れたと・・・。

( ；∀；)ｲｲﾊﾅｼﾀﾞﾅｰ

>>960
ﾊﾟﾀﾊﾟﾀ....(((((ｃ ・ω・)お疲れ様っす

誤爆してすいません

>>323
|ω･´)y─┛~~

>>317
|дﾟ）・・・。

>>317
|∀・）

あははははははｗ

>>317
やっぱ、金融機関も気づいたんだろうね
現住所がちがっていれば、止めるよね

ちなみに21時ごろおてて繋いで帰ってきたね

>>329
振込みし忘れてたと言うことでは・・・。
もう、３時過ぎてるし早くても明日の８時以降しか無理じゃないかな・・・。

でもアッサリ解決して>>329涙目のオチの悪寒

ふっかちゅ

お茶目さんｗ

シティーバンクも止められているよ
SMBCもみずほも三菱UFJも止められているあたり
とっても可愛そう

みんなで西村にカンパしてあげないか？
みずほの1032378にさ

>>317
　 　　　＿＿＿_　　
　　　／　　 　 　＼
　 ／　　─　 　 ─＼　
／ 　　 （●） 　（●） ＼　
|　 　　 　 （__人__）　 　 |　　・・・
/　　　　 ∩ノ ⊃　　／ 　　　　　
(　 ＼　／ ＿ノ　|　 |
.＼　“　　／＿＿|　 | 　
　　＼ ／＿＿＿ ／ 　　

前もあったよな

なんか手詰まり状態なのかな？
こんなとこにレスしてるってことは・・・

>>317
／ ノ ＼
| 　( ・)(・)　　　もう痴呆かよ・・・
|　　(_人)　　　　 　　　　
ヽ　　 ノ＼　　＼ 　
/　　 ＼　 ＼　　＼ 　
|　　　|ヽﾆつ ＼　　＼

もうねアホかと

ふっかちゅ

(*´д`*)

おお、振り込めたようですね

あ？お前、美味そうなタラコ持ってんな

振り込めても　引き出せるかが重要でしょうね

プロ固定。。。

むしろ照れ屋さん

>>323
|дﾟ)

ヾ(*´∀｀*)ﾉｷｬｯｷｬ

ひろゆき
＞
エンコリ見てる？

ここ見て俺もさくらのサーバ代払うの忘れてた事に気付いた

403,､'`,､'`,､(ﾉ∀`)'`,､'`,､'`,､

あらやだ

>>317
ワロス

>>317
どーするよ

どうするよって
もう復活してる

2ちゃんねるのサーバ代はひろゆきを経由しないで広告代理店が直接振り込むんじゃないんですか？

sportsはひろゆき直轄鯖。

sports2だけな

なるほどー

>>357
beもそうじゃね？

>>359
DBのほうだけね。

>>317
　 　 　　 　 , 　-‐-　､__　　　　　　o
　　　　　／　 　 　 　 　 ＼　　 /ヽ −｀／
　　 　 /　　/　 ,ｲ　　/　,､　ヽ
　　　/　 r'/ /l/ !-／レ'　ヽ　',　 |　|　|
　 　.!　　{/ /　　Ｃ'　 　 ﾞｰ‐ｌ　|　 ｌ　ｌ　l＿_
　　 !　　/ /　　　　＿ 　Ｃ' ｌ /'"ノ ノノ　 　 ｀ ‐ 、
　　.! 　 !　lヽ、　　/､/　　// ／/_/,ｲ_∠ ／| .,、ヽ、
　　ｌ　　|　!´ｌiiﾞｌ＞＝-､-‐'/´＿fノL_ﾚ＝o　 ﾚ､_!ｌ !l
　　| ∠| .l/,＞fjとli￣｀i /!　｀ヽ 　／　　ﾉ､　�_｡ﾙ'j
　　|　　V /'´　jﾉ ｀ー‐|′　 ノ-‐i､r┐/ヽ/　　/
　　|　 /＼＿_＿＿＿_|　　 ／,-ﾑrl='｀ヽ/__,／　
　　|　/ / /　/　ｌ　l　 |　　/　 ￣｢} ＼　|

jlkjj

>317
おい、まろゆき
お前、この前も振込み忘れたことがあっただろーが！
忘れんなよｗ

>>317
予想を裏切らない男だなｗｗｗ

2度あることは3度ある、、と。

お祭りが好きなようで＞＜

せめて学習しようよ

犯行予告ｷﾀｺﾚ

あの板には冷静になる時間が必要だと思う。
１ヶ月くらい放置でも俺はいいよ。

3度目の正直であぼん。

ひろゆきのスレに初めて書き込む

まろ〜ゆき〜ねえ？

>>184の件はどこに頼めばいいのでしょうか。わりと不便なのですが･･････。

---

Opera/9.10 (Windows NT 5.1; U; ja)

2度あることはタントアールだろ

まぁ，振り込め詐欺とかに遭っても，忘れるぐらいなら被害に遭わなくていいですねｗ

>>373 read.html の表示は大丈夫ですか？
http://life8.2ch.net/test/read.html/lifesaloon/1168772138/l50

>>375
どうもです。
read.htmlだと問題無いですね。
read.cgiにすると上のカウンターと重なってしまいクリックできなくなります。

---

Opera/9.10 (Windows NT 5.1; U; ja)

>>376 じゃあ，当該部分のタグを read.html のと同じのにすればいいのかな......

これと違うの？
ttp://www.opera-wiki.com/index.php?%E8%B3%AA%E5%95%8F%E7%AE%B13%2F173

>>377 をやろうと思ったけど，>>378 が出てきたのでちょっと様子見で......

>>377-379
どうもです。

できれば2chの側で対応していただけるとありがたいのですが。
Operaで2chを利用する人の全てがcssを設定するわけではないでしょうし。

まぁ、全ての板がread.htmlへ切り替えられるようになれば
話は早いのかもしれませんが。

わけわからｎ会話してるな

>>378
これでも良いんだけど、サーバーごとに設定しないといけないのがなんとも。

漢字のキーワードの挙動がおかしい

とりあえず dso でやってみた．
http://dso.2ch.net/test/read.cgi/myanmar/1106799809/l50


>>384 どこのスレですか？

>>385
90.2でおｋ

>>385
重なることなくクリックできています。

---

Opera/9.10 (Windows NT 5.1; U; ja)

では配布で >>385

ひろゆき！応援しているから
山本一郎が訴えた民事訴訟には絶対に勝ってくれ！

夜勤や井上もひろゆきに協力よろしく


まとめサイト「キャッチミーイフユーキャン」　切込隊長＠山本一郎は嘘つきなのか？
http://blog.goo.ne.jp/catchme_2005/

私家版：切込隊長を客観的に検証するスレッド まとめサイト
http://g0aw66ngc6.seesaa.net

キーワード - 切込隊長経歴疑惑？（ソーシャルブックマークフロッグ！）
http://www.flog.jp/labelinfo.php/%90%D8%8D%9E%91%E0%92%B7%8Co%97%F0%8B%5E%98f%81H

デル株は１株2ドル40セントでは買えなかった。
http://www.geocities.jp/kirikomi1973/Dell/index.html

切込隊長＠山本一郎と扶桑社
http://fusoshatokiri.seesaa.net/

切込隊長＠山本一郎辞典
http://blog.livedoor.jp/kirik_0104/

切込隊長／山本一郎語録別館
http://k569.hp.infoseek.co.jp/

扶桑社が紹介している切込隊長の経歴
http://www.fusosha.co.jp/senden/2004/048188.html

切込隊長@Wikipedia
http://ja.wikipedia.org/wiki/%E5%88%87%E8%BE%BC%E9%9A%8A%E9%95%B7

1億以上収入有るんだから50年分ぐらい振り込めよ

検察に気をつけてねー

textでA B C D Eだけにしてよ

html解析めんどい

おいおい、XMLのパースもできないのかよｗ

データのパースをするなら，個人的には JavaScript 版の方がおすすめです．
http://p2.2ch.io/getf.cgi?qb5.2ch.net+operate+1166328527

var keywords = { "keyword1":"encodedKeyword1", "keyword2":"encodedKeyword2", ... };

の行だけ抜き出して，他の行は捨てる．で，キーワードの中には記号が
入ることはないので，単純に , や : でちょん切って前後の " を消せばおｋ．

その作業がめんどい

Perl ならこんな感じじゃ？

sub extract_keywords {
    my @kw;
    $_[0] =~ /^var keywords = { ((?:"[^"]+":"[^"]+"(?:, )?)+) };$/m
        or return;
    foreach (split(/, /, $1)) {
        /^"([^"]+)":/ or next;
        push(@kw, $1);
    }
    @kw;
}

わがままいったのにやさしくしてくれるsunosさん好き

すのす

これと同じようなインターフェースでおすすめ2ちゃんねるも呼び出せるようにしてほしい。

まろゆき、振り込んでこいさっさと。鯖は俺の鯖を貸してやる

>>399 http://qb5.2ch.net/operate/i/1166328527.html

read.js が動いてる鯖ではこんな I/F もありますが......
http://life8.2ch.net/test/readinfo.so?lifesaloon+1171014733

>>401
おお。
下の奴しか知らなかったので、上でやってみる。

>>385
今は直ってるみたい
そのときは二文字のが一文字だけになったり後ろが化けたりしてた

>>403 そうですか...... MySQL は cp932 で動いてるし，ヘンなバイトシーケンスが
そのまますり抜けるってことはないとは思いますが，またあったら知らせて下さい．

あ......ひょっとして↓を入れないとデータ化けが起こる可能性もなきにしもあらず？
静かな時間帯にでも入れ替えておこう＜DBD::mysql

--- DBD-mysql-4.001/dbdimp.c
+++ DBD-mysql-4.001/dbdimp.c
@@ -3750,19 +3773,11 @@
                  "Error happened while tried to clean up stmt",NULL);
         return 0;
       }
+      /* to avoid SIGSEGV when reusing this statement handle */
+      imp_sth->stmt->bind_result_done= 0;
     }
(ry


# これも含めパッチ投げて反応待ちだったり．
# http://bugs.mysql.com/bug.php?id=26388

さっそく
http://p2.2ch.io/getf.cgi?http://news22.2ch.net/test/read.cgi/newsplus/1171768421/l50
マラソンをクリックするとこれに
http://find.2ch.net/?BBS=ALL&TYPE=TITLE&ENCODING=SJIS&STR=%83%7D%83%89%83%5C%83%93

>>406
2ch検索側がおかしいと思う

%83%7D　マ
%83%89　ラ
%83%5C ソ
%83%93　ン

%5C \

%83%83 ャ

>>406-408
http://find.2ch.net/ のPerlスクリプトの正規表現マッチさせてるところに \Q いれれば解決

>>409
URIいじってみたけど、少し違ってたみたい。
getf.cgi で %5C をふたつ重ねるようにすればいいのかな？＜こちらは動作確認
http://find.2ch.net/?BBS=ALL&TYPE=TITLE&ENCODING=SJIS&STR=%83%7D%83%89%83%5C%5C%83%93

%5Cを重ねればいいんだろうけど、そもそも find.2ch.net の中を直さなきゃ。

>>411
find.2ch.net の方は EUC で処理してるっぽいのに、getf.cgi の出力が SHIFT_JIS で
発行されてる部分が多分食い違いの原因。
気を使うべき正規表現を扱ってる find.2ch.net の中を修正するのが筋なのは確かかも

>>290に回す

>>412
修正しますた。
エンコーディング変換前になぜかstripslashes()が。なんでだろ。

>>412
もう解決してるっぽいけど、Shift_JISの2バイト目のバックスラッシュの取り扱いの問題だね。
データのエンコーディングの扱いが曖昧だとハマる。

stripslashes ってことはPHPなのかな？
PerlでShift_JISの２バイト文字を含む文字から安全に \ を取り除きたい場合は
$strings =~ s/([\x81-\x9f\xe0-\xfc][\x40-\xfc])|\x5c(\x5c)?/$1$2/g;
\\ と二つ並んだものは \ ひとつに。それ以外の単独の \ は全部除去されます。
どのように \ でエスケープされてるかを正しく把握しないと余分な処理しそうなのでご注意

read.cgiの関連キーワード、MacのSafariでみるとiframeがスクロールバーで埋まって
なんにも見えないんですがどうにかなりませんかね＾＾；。。
ttp://up.spawn.jp/file/up3382.gif

どこでもトンファー

>>417 read.js なら iframe 使わないからそういう問題は起きないです
......と言おうと思ったら，そもそも Safari だと read.js 自体ちゃんと動かないんですね．
う〜む......

スレ読まずに
誰かの案は採用されたのかい？まだアイディア出しの段階？

Safari での read.cgi の表示直ってました。対応ありがとうございます。m(_ _)m

誰かの案?

>>422
何が？

>>420でしょ

あいあい。>>420です。

このスレの

キーワード【 rw InnoDB urls id words cgi ch 】

スレ内もだけどスレタイから抽出したのがないと
次スレ追っかける時面倒な場合がある
（キーワードが本文であまり使われてない場合とか）

ごめんごめん。
雑談2007に書いたつもりが誤爆ったのさ♪

スレタイもキーワード抽出対象にはなってますが，重要度計算で上位に来ないと
入らないこともありうる，と（スレタイは本文の2倍のウェイトで計算してはいますが）．

>>388
tv11鯖ではまだ、ページヘッダのリンクに触れない気がします w/Opera9
快適になって安心していたのですが、まだ全鯖対応ではありませんでしたか？

>>430 tv11 は banana3102 つまり T-bananaですね．
今は T-banana とそれ以外で read.cgi のソースが統一されておらず，
その作業と併せて行った方が効率的なので，それまでしばらくお待ち下さい．

理解しました。確かにサーバのタイプで乗ってるもの違いますしね。ありがとうございます。

>>429
別枠化するか
本文が400kbでスレタイが40bなら10000倍換算ぐらいがいいと思う

てかスレタイを単語ごとに区切って直接クリックで飛べるようにとかは？

スレタイを重視しすぎると，関連キーワードの性質が微妙に変化しそうな気も．う〜む......

そもそも本質は「そのスレの内容から抽出したキーワード」であるので、
ずれた要望はあんまり気にしない方が良いかと。

第一、次スレ検索を主目的にしようとしてる時点で趣旨が違う。
同じ話題が話されているのが次スレだけとは限らないし、
雑談スレなんかスレ毎にキーワードが違うのが当たり前。

関連キーワード検索は「そのスレの内容と同じ話題のスレを検索」
するのであって、「次スレを検索」は用途としてはあっていない。
（結果的に代用出来る場合もあるだけ）

でも関連スレって別板に同じスレタイでたってることが多いし

ここにサンプルで貼ったスレ結構クリックされてるなｗ

半角仮名を関連キーワードに反映させることは出来ませんか？

>>439 単語の抽出に利用している MeCab は，半角カナを記号として扱ってしまうようですね．
キーワードとして利用するのは名詞だけなので......


ﾒｰﾙﾎﾞｯｸｽﾊﾟﾝｸするまで爆撃合戦するスレ
ﾒｰﾙﾎﾞｯｸｽﾊﾟﾝｸ    記号,一般,*,*,*,*,*
する    動詞,自立,*,*,サ変・スル,基本形,する,スル,スル
まで    助詞,副助詞,*,*,*,*,まで,マデ,マデ
爆撃    名詞,サ変接続,*,*,*,*,爆撃,バクゲキ,バクゲキ
合戦    名詞,サ変接続,*,*,*,*,合戦,カッセン,カッセン
する    動詞,自立,*,*,サ変・スル,基本形,する,スル,スル
スレ    名詞,固有名詞,組織,*,*,*,*
EOS

メールボックスパンクするまで爆撃合戦するスレ
メールボックス  名詞,一般,*,*,*,*,メールボックス,メールボックス,メールボックス
パンク  名詞,サ変接続,*,*,*,*,パンク,パンク,パンク
する    動詞,自立,*,*,サ変・スル,基本形,する,スル,スル
まで    助詞,副助詞,*,*,*,*,まで,マデ,マデ
爆撃    名詞,サ変接続,*,*,*,*,爆撃,バクゲキ,バクゲキ
合戦    名詞,サ変接続,*,*,*,*,合戦,カッセン,カッセン
する    動詞,自立,*,*,サ変・スル,基本形,する,スル,スル
スレ    名詞,固有名詞,組織,*,*,*,*
EOS

ゆゆきし問題ですね

>>440
このあたりの Perl コード欲しいですか？ jcode.pl だけでなんとかなるなら不要かもだけど

Ｃ言語でこのあたりのライブラリってどっかにあるのかな……

>>442 いや，正規化しようと思えばできないことはないんですけど，
パーサは c2.2ch.io の処理で一番重い部分なんで（ほとんどは
MeCab によるものですが），さらに重くするのがいいのかどうか，ってとこで．

# 仮に正規化するなら，1-way の変換ではなく MeCab の処理結果を元に戻す，
# ってとこまでやらなきゃならないですし．

半角カナを全角カナに変換して処理すればいいんじゃね

>>445 それが正規化ってことですが......ただ，半角で書かれたものを
全角のキーワードとして表示してもいいのならそれだけでもいいんですが，
半角のは半角のまま表示ということになると，いったん全角に変換したのを
半角に戻す処理も必要になって，そうなると処理が複雑になってくると．
不可能ではないんですが，重くなりそうだなぁ，と......

半角を全角にしてそのままでいいんじゃないかな

2ch検索の方で半角/全角片仮名の同一視が機能しているんなら、全角のままで良いんじゃないかい？

半角カナで独特のニュアンスを表現する 2ch の文化(？)を考えると
全角に変換したままってのもどうかなぁ......とも思ってたんですが，
とりあえず全角のままでやってみます．
再クロールは2日周期なんで徐々に反映されるかと．

ttsだと逆に全角を半角にして処理してるが
それによる不都合も相当ある
http://pc11.2ch.net/test/read.cgi/esite/1034264315/l50
tGrepは完璧

あのさIDはやめにしない？
http://news22.2ch.net/test/read.cgi/newsplus/1172896755/l50
http://p2.2ch.io/getf.cgi?http://news22.2ch.net/test/read.cgi/newsplus/1172896755/l50

本文に書かれちゃうとどうしてもねぇ。

"ctaAcx"とか本文に出てきてないし

キーワード収集対象は本文とスレタイだけで，それ以外は対象外ですが......
と思ったら，>>449 の時にミスったようですね，すみません．
これから(再)クロールされる分は正常になるかと．

あれ落ちたスレの奴って吹っ飛ぶんだっけ？
前は生きてたと思ったけど

>>455 データが無限に膨張し続けないように，dat 落ちしたのは消すようになってます．
ただ，再クロールは2日周期なので，落ちてからデータが消えるまでのタイムラグはあると思いますが．

それだと次スレ追跡には使いづらいわねえ

【トラックバック来たよ】 (ver. 0.11)
[タイトル] スレタイ検索 スレッドタイトル検索サービス♪2find
[発ブログ] ネットサービス＠2ch掲示板
http://pc11.2ch.net/test/read.cgi/esite/1173355555/l50
[＝要約＝]

主要なもの
http://ttsearch.net/　http://www2.ttsearch.net/
http://page2.xrea.jp/tgrep/tgrep2-test.cgi
http://www6.big.or.jp/%7Ebeyond/bbsnews/

公式のサービス
http://find.2ch.net/ http://test.razil.jp/（苦情は向こうで）
http://h.u.la/dance/
http://is.2ch.net/

その他の検索
http://www.google.co.jp/search?&q=site%3A2ch.net
http://www.2chs.net/
http://www.mimizun.com/
http://makimo.to/

こんな風に使ったり　http://find.2ch.net/?STR=find

<a href="../test/read.cgi/esite/1173355555/2-30" target="_blank">>>2-30</a>

>>456
スレ落ち後は次スレ追跡モードに差し替えるとかは？

>>459 そのためのデータを保持することになれば，結局データが膨張し続けることになるし，
またデータを保持せず on the fly に生成させるとなると，忙しくなりすぎて破綻しそうだし......
いずれにせよ，過去ログ用に別途専用鯖等のリソースを投入するとかでもない限り困難ではないかと......

過去ログ用に固定テキストをひたすら保存するサーバがあっても
いいような気がしてきました。
つか、memoriesに同居とか。

>>461
memoriesそろそろ容量が少なくなってきてるらしいですよ・・・。
まあ、増設できるらしいですが・・・。
前にもらったtigerあまってないんですか？

それとbeのメール機能が時々おかしいので見てもらえるとうれしいです・・・。

なんかコストばっか掛かって利が無いような。
datにくっ付けちゃうってのはどうなの？できない？

>>460
「次スレ追跡する」ボタンみたいにワンクッションおくとかは？
見たい人だけ使う

>>461 なるほど......ただ，memories だと HDD 容量もさることながら
httpd + offlaw.cgi なんかと競合しないかなぁ，とか（MySQL を
ストレスなく動かすには，メモリとかリソース結構食いますし）．

>>462 残ってる stiger を専用で使うならリソースの競合とかは心配ないですね．
ただ，そんなに HDD 容量がデカいわけでもないんで...... とはいえ，
単にライブな dat のキーワードをコピーして保存するだけなら，
重要度計算用のデカいテーブル (regwords) は過去ログデータの方では
不要なんで，当面は心配ないかも．中長期的には問題ですが......
もっとも，問題が起きたらその時改めて考えよう，ということにしておけば
2ch らしいかも？ｗ

>>463 dat にそういうデータを付けていいのかどうか，っていう
ポリシーの問題もあるかもですね．あと，dat 落ちを制御してる
F22 はいろいろ亜種ができてるらしいとかで，それぞれの鯖で
個別に F22 を改造しなきゃならないかも，っていうのも......

>>464 ワンクッション置いても，データ保存するとすれば
結局データ量が増大することに変わりないですし，
on the fly に生成するにしても，今の p2.2ch.io / c2.2ch.io は
リアルタイムにキーワード抽出する前提で作ってないので
苦しいことには変わりないです．

難しいかなって思うのもいいけど、がんがん試しちゃうのも吉。
もちろん試すのにいろいろ準備とかあって大変だとは思うけど。

試すにしても，ライブ dat のキーワード表示に悪影響を与えると元も子もないんで......
なので，過去ログに対処するなら専用鯖等のリソース投入が前提じゃないかなぁと．

まぁ，専用「鯖」でなくとも，今の c2 に過去ログ用にストレージ追加とかでもいいかもですけど．

スタートレックをスタートとレックで区切るのやめて欲しい

まぁ，意図してる訳じゃないけど MeCab がそう区切ってるってことで......>>470

過去ログに関しては、関連キーワードが変更されることがないので、
スレッドkeyのテキストファイルを作って置いておくだけでいいと思うのです。
ってことで、mysqlはいらないかと。

しんぷるいずべすと、と。

ところで

>>472
なんかネタ落としてってｗ

ひろゆきを訴えたGJ会社員（３５）　今度は毎日新聞を訴えてひろゆき涙目ｗｗｗ
http://news23.2ch.net/test/read.cgi/news/1173860149/

>>472 なるほど......となると，あとは memories 等に
どういう形で入れればいいか，またそれをどうやって read.cgi で
表示させるか，ってあたりですか．ぼちぼち考えてみます．

XMLにしてjavascriptでincludeみたいなのって出来ないんでしたっけ？

>>475 XMLHttpRequest だと同一ドメイン（というか実質同一鯖）の制限がありますが，
JSON ならその制限なしで可能です．というか，read.html 用 I/F では今も JSON 的な
やり方でやってます．ただ，read.cgi だとブラウザ側の JavaScript の処理能力の不安があって......

1台、それ用のサーバを用意するかんじですかね。

memoriesのHDDに常時書き込み負荷をかけるのは、
できれば避けたいかも。

findたまに重いとか話出るけど冗長化しなくて大丈夫なの
ふらだんすに振るとか

UNIX板のスレをOperaで見ると、今も >>184 の現象
| Operaだと関連キーワードやofuda.ccのあれととスレの一番上の全部や掲示板に戻るが重なって
| 掲示板に戻るがクリックできない。
なのですが、>>375-388 のは pc11 鯖には入ってないんでしょうか？

HDDの速度がはやいハードウェアをどこかから調達するといい感じなんですかね。
T-Bananaサーバーの実験を手伝うって名目でなんとかしてもらうとか、、

名目て

大義名分ってやつですよ。えぇえぇ。

自己板の規制解除しなさい

>>479 pc11 = T-banana なので >>431 ということで......

# そろそろ http://qb5.2ch.net/test/read.cgi/operate/1172208065/797 を
# やってもいい頃じゃないか，って気もしないではないですが......


>>480 さっそく http://qb5.2ch.net/test/read.cgi/operate/1172208065/913 がｗ
ただ，過去ログ用の HDD でほしいのは速度より容量なんですよね．
# むむむさんの >>477 の真意は，「HDD にダメージを与えず長持ちさせたい」ってことじゃないかと．

T-banana のようにディスク I/O の性能が高く，かつ RAM もたくさん積んであるマシンなら，
むしろ MySQL でデカいデータをがんがん扱う用途の方が向いてそうな気がしますね，個人的には．

>>484
> # むむむさんの >>477 の真意は，「HDD にダメージを与えず長持ちさせたい」ってことじゃないかと．

ですね。
memoriesはデータ格納時以外はほぼread onlyで使いたいなと。

>>480
HDDの容量が20G台でいいなら、
今使っていないstigerを1台、それ用に割り当ててみるとかですが、
もっと必要なかんじですかね。

必要なHDD容量の算定からはじめてみますか。

「各スレ単位で必要な容量 x 過去ログ発生速度」で，どれだけの期間持つか，てな感じですか．

データを .js のように直接表示できる形で保存するとサイズは大きくなるが CPU の仕事は少ない，
一方 CSV のような形で保存するとサイズは小さくなるが表示する際の CPU の仕事が増える，と．
まぁ CPU の仕事が増えるといっても，現状 p2.2ch.io 1台で全ライブスレの
getf.cgi 表示させてるぐらいなので，stiger を専用で割り当てるなら問題ないと思いますが．

ただ，各スレ単位でファイル作ると，HDD 消費はバイト単位でなくフラグメントサイズ単位になるんですよね．
HDD スペースの利用効率を向上させるには，1ファイルに複数のスレのデータを書き込んだ方がいいのか．
その代わり，必要なデータを検索する仕事が増えると．1ファイルに書き込みつつ
検索も効率的にするには......結局 MySQL を使うとかなるのかな．

freebsdのフラグメントサイズってどれくらいなんですか？

ひーさん2証なんとか汁＞＜。

>>489
デフォルトでは16k(16384)ですね。

man newfs
...
-b block-size
The block size of the file system, in bytes. It must be a power
of 2. The default size is 16384 bytes, and the smallest allow-
able size is 4096 bytes. The optimal block:fragment ratio is
8:1. Other ratios are possible, but are not recommended, and may
produce poor results.

4k まで小さくできますが、あんまりおすすめしないかも。

専門な話題なので横槍！
フラグメントサイズはブロックサイズを８分の１したものがデフォルトで使われるので 2k(2048)バイト ではないかと。
newfs -b 16384 -f 2048 のように指定されているはずか、オプションなしのどちらかですね。

man newfs

-f frag-size
ファイルシステムのフラグメントサイズをバイト単位で指定します。
blocksize/8 から blocksize までの範囲の、2 のべき乗である必要があります。
デフォルトは 2048 バイトです。

>>492
確かに、フラグメントサイズとブロックサイズは別物ですね。
ご指摘&補足すみませんです。

過去ログのファイル数ってどれくらいなんすかね。。

各板のライブスレ数は大きく変動しないという前提なら，
過去ログ発生速度≒新スレが立つ速度
なのかなぁ......

これどういうシステムなの？
どうやったら反映されるの？

スレ内の全レスから単語抽出、DB化して、一定の条件で最頻と思われる
単語を表示させる。

>133
多分92のキーワードというのがスレの関連した語句になるので、それの検索は考えています。
自動的に"「74」「SevenFour」"など関連した語句の摘出は、ネタとしては面白いのですが、
難易度が高いというか、スレ名によっては多分バカ検索になるので、やるとしても実験的な機能としての
実装になります。多分正解は134さんが書かれているスレッド検索に正規表現をサポートでしょう。

>135
いろいろ作っていますが、どれも中途半端でして、、、

>136-139
先にも書きましたが、弱いとか、上手くいかないのではなく、元々対応していないというのが正解のようです。
今回版で一応修正しましたので、御報告いただければ助かります。

>141
>●対応って、面倒なの？
有償アカウントが必要なんですよね? いまのところ対応予定無しです。
>それと、まちBBSとかが見れないんだけど
過去ログを見ると2chに完全対応したら対応させる等書かれていましたので、メニューのトップには
表示されていますが、対応していません。対応させたいのですが、他が優先順位が高いので調査等保留状態です。

>142
すみません。ちょっと意味が判りません。

>143
まだ考え中ですが、本体側ではスレへアクセスの時に毎回キーワード取得してデータベースに溜めていきます。
あとキーワードを入力するIFを用意してユーザーからも入力が可能とします。
js側のAPIはデータベースへアクセスするsfSystem.getKeywordsとsfSystem.setKeywordを用意します。
溜められたデーターは検索やスマートボードに使ったり出来ます。
データベース内の削除は必要かなぁ。と 時間がなかなか取れないので、そんな感じで止っています。

あう、誤爆すまん。

何で本スレに限って出ないんだろうな
http://find.2ch.net/?STR=%A5%AB%A5%EC%A1%BC%A5%DF%A5%E5%A1%BC%A5%B8%A5%A2%A5%E0

http://food8.2ch.net/test/read.cgi/curry/1175356755/l50

同じキーで何回も検索するとヒット数がまちまちになるぞ
ヒットしたりしなかったりするスレがある模様

>>60
神

>>497
スレ内に一度も出てない単語はキーワードとして表示されないの？

>>503 そういうことになってます．

これもひでえなあ
ろう じろう しま があってしまじろうがないｗ
http://p2.2ch.io/getf.cgi?http://game11.2ch.net/test/read.cgi/amusement/1163256789/l50

ひらがなとカタカナの２字ははじこうぜ

アイコンスレでアイコって酷くね
http://p2.2ch.io/getf.cgi?http://bubble6.2ch.net/test/read.cgi/2chse/1163082315/701-800
無論無関係なスレばかりヒット＆元のスレもヒットせず

リザルトがないのとかあってもまるで関連性のないやつは除外できないんかね

前後の状況によって「アイコン」の区切りはまちまちになるみたいですねぇ＜MeCab

【Be】アイコン売買促進スレ★7【icon】
【 記号,括弧開,*,*,*,*,【,【,【
Be 名詞,固有名詞,組織,*,*,*,*
】 記号,括弧閉,*,*,*,*,】,】,】
アイコン 名詞,固有名詞,一般,*,*,*,*
売買 名詞,サ変接続,*,*,*,*,売買,バイバイ,バイバイ
促進 名詞,サ変接続,*,*,*,*,促進,ソクシン,ソクシン
スレ 名詞,一般,*,*,*,*,*
★ 記号,一般,*,*,*,*,★,★,★
7 名詞,数,*,*,*,*,*
【 記号,括弧開,*,*,*,*,【,【,【
icon 名詞,固有名詞,組織,*,*,*,*
】 記号,括弧閉,*,*,*,*,】,】,】
EOS

２ちゃんねる beアイコン サイト
２ 名詞,数,*,*,*,*,２,ニ,ニ
ちゃん 名詞,接尾,人名,*,*,*,ちゃん,チャン,チャン
ねる 動詞,自立,*,*,一段,基本形,ねる,ネル,ネル
be 名詞,固有名詞,組織,*,*,*,*
アイコン 名詞,一般,*,*,*,*,*
サイト 名詞,一般,*,*,*,*,サイト,サイト,サイト
EOS

アイコン全リスト、販売者登録所、価格情報ほか
アイコ 名詞,固有名詞,一般,*,*,*,アイコ,アイコ,アイコ
ン 名詞,非自立,一般,*,*,*,ン,ン,ン
全 接頭詞,名詞接続,*,*,*,*,全,ゼン,ゼン
リスト 名詞,一般,*,*,*,*,リスト,リスト,リスト
、 記号,読点,*,*,*,*,、,、,、
販売 名詞,サ変接続,*,*,*,*,販売,ハンバイ,ハンバイ
者 名詞,接尾,一般,*,*,*,者,シャ,シャ
登録 名詞,サ変接続,*,*,*,*,登録,トウロク,トーロク
所 名詞,接尾,一般,*,*,*,所,ショ,ショ
、 記号,読点,*,*,*,*,、,、,、
価格 名詞,一般,*,*,*,*,価格,カカク,カカク
情報 名詞,一般,*,*,*,*,情報,ジョウホウ,ジョーホー
ほか 名詞,副詞可能,*,*,*,*,ほか,ホカ,ホカ
EOS

アイコンショッパー
アイコンショッパー 名詞,固有名詞,組織,*,*,*,*
EOS

他板のアイコンスレ（２ちゃんねる検索）
他 接頭詞,名詞接続,*,*,*,*,他,タ,タ
板 名詞,一般,*,*,*,*,板,イタ,イタ
の 助詞,連体化,*,*,*,*,の,ノ,ノ
アイコンスレ 名詞,一般,*,*,*,*,*
（ 記号,括弧開,*,*,*,*,（,（,（
２ 名詞,数,*,*,*,*,２,ニ,ニ
ちゃん 名詞,接尾,人名,*,*,*,ちゃん,チャン,チャン
ねる 動詞,自立,*,*,一段,基本形,ねる,ネル,ネル
検索 名詞,サ変接続,*,*,*,*,検索,ケンサク,ケンサク
） 記号,括弧閉,*,*,*,*,）,）,）
EOS

カタカナやひらがなで直後にンが来る語句は
ンの直前で区切っちゃいけないんじゃないの

あと拗音とか促音の直前で区切るのも
http://anime2.2ch.net/test/read.cgi/anime3/1164732724/l50

まぁ，単語の区切りは http://mecab.sourceforge.net/ に依存してますからねぇ......

syosinsya

とまと

また拗音で始まるのが
http://p2.2ch.io/getf.cgi?http://hobby9.2ch.net/test/read.cgi/dog/1147454761/l50
http://hobby9.2ch.net/test/read.cgi/dog/1147454761/l50

メンテ予告とかメンテ中の表示とかすこしは工夫すればいいのに

だね

ぴろゆきどこにいるんですか？？

あのさクリックされたのとか実際に検索で使われてるやつの優先度あげない？