【いまさら速報】スレタイロンダ検出ツール開発中

中国組織と組んだフィッシング詐欺団、１日４０００万ウオンを騙し取る
http://japanese.donga.com/srv/service.php3?biid=2012032306998


---
スレタイロンダ検出スクリプト ver0.01β版

見づらい超ベータ版
http://index.chu.jp/londa/
http://index.chu.jp/londa/?i=poverty-newsplus
http://index.chu.jp/londa/?i=news-newsplus

タブ区切りテキストデータを吐き出せるようにしました
http://index.chu.jp/londa/?mode=text
http://index.chu.jp/londa/?mode=text&i=poverty-newsplus
http://index.chu.jp/londa/?mode=text&i=news-newsplus

データの並び
<検出時刻タイムスタンプ>　<比較元スレURL> <比較元スレタイ> <比較先スレURL> <比較先スレタイ> <一致スコア> <一致率※1> <時間差※2>

※1 一致率 = 可読文字の一致具合を独自に数値化したもの
　　これが 1 に近いほどスレタイが一致している

※2 時間差 = 比較元スレタイムスタンプ - 比較先スレタイムスタンプ
　時間差 < 0 で、比較先のほうが遅くスレ立てされている

・ ５分間隔でデータ更新
・ 最新２４時間に検出されたスレをテキストデータとして出力

やるじゃん

類似？
輸入あんてな
http://null-x.com/antena/

スレッド重複確認
ttp://kiki.mods.jp/be/overlap.html

俺はUI組むのとか超苦手なので、

http://index.chu.jp/londa/?mode=text
http://index.chu.jp/londa/?mode=text&i=poverty-newsplus
http://index.chu.jp/londa/?mode=text&i=news-newsplus

のテキストデータだけでも、>>3のとことかで使ってもらえるとありがたいです
ってか防衛兵器だし汚いソースでも公開して拡散してくれればなおありがたいと思ってる

・・・・で？

いやマジで・・・　　で？　って感じなんだが
どうすんのこれで？　球速にスレタイパクんなってわざわざ書きに行くの？

アフィ糞涙目ｗ

ようわからんが頑張れ

やるじゃん

>>5
逆にアフィカスが嫌儲に球速と同じスレ立てたとき書き込まなければいいんじゃね？

検出してどーすんだよ

>>7
ようわからんががんばります

いやね、このスレタイロンダされてるのって、だいたい球速とかがロンダ先なんだよ
レスも多分吸われて球速とかにコピペされるかも知れないじゃん

ゆくゆくは、スレッドの>>1を読み込んでロンダbeを特定して、
まだ連絡とってないけどスパムアサシン開発の人と組めて
スレッド一覧からアンケアフィくさいスレを共有あぼーんできるような仕組みを作れればな…と

けっこう気長なスパンで考えています
というわけでスパムアサシンの開発者さん、連絡下さい
できれば beメで

>>9
その嫌儲に立てられたスレを転載されるのか？　
名前欄変えて転載ってのはたまに話は聞くが・・・　

ようわからん、とりあえず嫌儲を良くしていこうってのはなんとなくわかるから頑張ってください

やってることはアホくさいけど、実際に行動起こしているのは凄いね
使わないと思うけど応援はする

>>11
叩かれる覚悟はしとけ
頑張れよ

情報を摘出、ソートできるのは良いと思う
スレ立て人から収集できる情報のDB化とかすんと
時間軸で見えてくるモンがあったりなかったり

>>15
データベース化はいいですね、今のテキストデータを
>>3で運用されてるツールで使ってもらえるといいかも知れないです

実はこの前のスレタイロンダスクリプトはMySQLを使ってたんですが、
・レンタルサーバによっては使えないかも
・完成させたら普及させてローカルのインストールしたてのCygwinとかでも動かせるレベルにしたい
という方針で、DBIとか抜きました

今はテキストファイルをひどいアルゴリズムでｺﾞﾆｮｺﾞﾆｮいじってる感じです
可読文字の一致率検出だけは工夫してある
レーベンシュタイン距離ってのを算出するのをもっと独自に簡略化して比較しやすくした

今は

嫌儲vs球速
嫌儲vs＋
球速vs＋

で比較してますけど、どっか比較の組み合わせをやってみたいところありますか？
動作確認がてら

地震ともう4時かはよく被るから省いた方がいいかも

なんJと狼かな

>>18
文字数の少ないスレはどうしようか、ちょっとご意見が欲しいところです

今は文字数関係なく、「可読文字の一致率」で計算してるから、どうしたものかと
他、特定のスレは除外するっていう例外分岐も噛ませたほうがいいのかな？

おう早く作れよ

使い道がこれといって思い付かないけど応援はしてるよ

>>19
いま、livejupiter-morningcoffee を監視対象に入れてみた
５分間隔でじわじわとロンダ検出プログラムを流すので、１時間くらいはのんびり見てて下さい

http://index.chu.jp/londa/?i=livejupiter-morningcoffee

頑張れよ

何かすげぇ

>>23
まぁ、ほとんど該当なしになるんろうけど乙
このBEおかしくね？と思った時にちょっとチェックするのには使えるか

>>26
その程度でいいので使ってくれると嬉しいです
「ロンダ検出」でわりと上位に出るので、思い出した時に見てくれればと

ロンダ報告まとめスレを立てよう（提案）

旧速でスレタイやソース変える可能性も考慮して下さいな

へえ

>>29
スレタイが全く違うとしたら、スレタイロンダ検出スクリプトで取り扱うべき問題じゃないです
スレタイ一覧の第一印象で開くスレを決めるとなると、やはりスレタイが似てるスレをあぶり出すほうがいいのかなと
でもソース一致も見たほうがいいですね（例：うｐされた画像だけのスレなど）

いちおう構想はあるのですが、やはりスレッドを読み込まないとできないことなので
ひと段階先のプロセスになります
あと、可読文字と「URL」は分けて一致を検出したほうがいいのかなとも思っています

一旦データを全消去してみまーす

しばらく法主

スレタイロンダの応用で、レスロンダリング検出もできるんだろうけど、
これはすべてを監視するとなるとリソースがやばそうだからなあ
ちょっと考えないと

頑張ってくれ!!
凄いぞ!! これでスレ早めに警報出せば、相当に糞脳アフィはしんどいだろう

歯根に少しずつ砒素を摘めるように、アフィ滓を悶絶させようぜｗｗｗ

>>35
草の根活動だねー
今後はもうちょっと改良できれば、スクリプトをばらまくつもりなので

最近のレンタルサーバ会社は無料でもCGI＆Perlくらいはできるからねー
そこで２ｃｈユーザが個々に自分の使ってる板のロンダを、スクリプト導入して
検出して警告発せられるようになれば、自発的にして最高の自治だね

応援してるぞ

これはGJ

>>36
夢のようだ…
そんな事できる掲示板あったら皆住み着くよ、真面目な話

さっきデータ全消ししたばっかりなので、情報収集にまた時間がかかっています

レンサバなので自動実行の制限時間縛り厳しいのもあってデータ反映は遅いですが、
自鯖立ててる人だったら、設定いじれば一発で今のスレタイロンダ状況を取得できます

外部サイト様とのデータ連動が今後の鍵になりそうですね

でも結局アフィスレとわかってても自らレスしに行って養分になるアホが大半を占めてるから意味ないよね

ロリポップのCRONジョブのKILLがひどすぎるので、とりあえず news-newsplus を除外しました

>>41
俺もあれはウザいと思うけど、もうある程度のアフィ臭い雑談スレはしゃあない

興味あるからつい書いちゃうのが２ｃｈの魅力なんだから
要はロンダされてアフィられないように監視していけばいい

そううそう、スレタイロンダした先、アフィ先もデーター化しとくと
長い目で浮き出てくるもんが多そうだよな
一個や二個じゃなくて時間と数でよくわかるし
年度始めから統計とるのも時期がよさそうだよな

すごすぎわろた

んなことよりNGBeやスレ乱立荒らしのスレを一覧の下のほうにやるスクリプト作ってほしい

>>46
スレ立てのbeを把握してるサイト様と、スクリプトアサシンの開発者が組めば
NGスレ共有を実現させられなくもないかも…

これ使うとどうなるの？

ロンダスレにBot沸かして使い物にできなくすりゃいいんじゃね

>>49
嫌儲のスクリプトをロンダくさいスレにぶっ放したい気持ちはよく分かるｗ

>>43
＞要はロンダされてアフィられないように監視していけばいい

監視したところで出来ることって何もなくね？

とりあえずは、このスクリプトがデータベースとして働けばいいですね

あとは、有志がスクリプトを各自利用して、データ化したものを
どこか統計をとるシステムが吸い上げてくれるような分散コンピューティングっぽい感じ
２ｃｈ全体のロンダ状況を検出するとかしてくれればいいなあ

唯一心配といえば、ニュースソースそのままのスレタイの場合
これも、かなり工夫しなければですが回避できなくもナイですね

おお凄いな

お酒も回って来ましたので、本日はさんくすでした
いろいろな意見をいただけて嬉しいです
サイト開いて人を集めるよりは、ロンダのデータ提供をしていく方向に舵をとったほうがいいかも知れないですね

まずは、「パッと見で『嫌儲オリジナル』のスレをよそへ輸出しているスレ」を
摘発できるきっかけにでもなれればな、と思っております

じわじわ生きます
ニュー速民はあきらめない

このスレが伸びないこと自体養分の巣窟になってる証明だわな
みんなふたばとかに移住して板全体の勢いも無いけど

>>55
２月頭くらいは勢い違った気がするんだけどね
嫌儲にも球速にも見限りつけてる感じがしないでもないわ

糞尿BEを排除する方法考えてくれ

虚構ソースパクってsakuられたやつﾜﾛﾀ

これどういう意味があるの？

>>20
いっそ○文字以下は計算しないとか
0.8×スレタイ一致率+(1-0.8)×(スレタイ文字数÷スレタイ制限字数)
とかどうかな（0.8は適当につき要調整）

>>60
スレタイ字数制限を採点基準に置くのはいいですね！
あと可読文字判定の過程で【○○】は除外するともっと一致率を上げることができそう

双葉に逃げたのではなくて双葉は意図的に工作されてきていたしな

これは素晴らしい
よくわからんけど

早いとこ導入しろ

おっageといた方が面白そうだね

比較先のほうが遅くスレ立てされている
データの並び
時間差 0 で

そんなことよりさっさとスクリプト潰そうぜえ

お、やれやれ

存在を知らせるとか意見もらうには随分タイミングの悪い時にスレ立てたな
春休み中はν即来ない人も多いみたいだし、しかも大規模規制中で人いないのに

>>61
文字数によるスコア付け関数は比例で書いたけど、１〜２文字のときは低く、そこから一気に上がるようにするといいかも。対数使うとか
【○○】除外はしなくていいような気も

ほう

あげますお

>>55
球速に興味が無いんだろ

age

ありがとうございます、参考になります
このスレは今はもうすぐ落ちると思いますが、サイトは消しません
じわじわと作り続けます

あげるお

あげますお

一致率のしきい値を 0.51以上 に変更してみました
テストって意味でやってみました
当たらずとも遠からずってスレがもうすこし炙り出せせてくると思います
実際は、0.6以上が適切な感じです

あげるお

あげますお

糞Beが立てたスレに「このBeが立てたスレ一覧」を自動で抽出して自動で書き込むスクリプトください！

コロリポプランのKILLが厳しいので、

http://index.chu.jp/londa/?i=livejupiter-morningcoffee
http://index.chu.jp/londa/?i=poverty-newsplus
http://index.chu.jp/londa/?i='poverty-news

の３つに絞ってみています
今は１回に巡回するスレ数を100にしていますが、いまのアルゴリズムでは時間がかかり過ぎていますね
もう少し洗練する必要があるようです

>>81
それなんかどっかで配ってるんじゃないですかね

>>82の最後のはURLミス

http://index.chu.jp/londa/

嫌儲と球速の比較結果の表示はデフォにしてあります

やっぱ一致率は 0.6 ちょっと超えくらいじゃないと誤検出が多いっぽいです
データ全消ししました
嫌儲のスレ数なら約３０〜４０分後にだいたいデータはたまると思います

ちょっとスレタイ変えたらいいだけじゃね？

あげるお

>>85
ちょっとスレタイ変えた程度なら容易にノイズ除外して検出できるようになってます
多分、対抗してスレタイをいじればそれだけ人間にとっては同じスレには見えなくなるでしょう
一応そこのところは工夫してあります

そうやな。（八回は）２アウトから（の攻撃）もあったしな。

スレロンダするBe特定しても捨てBeだったら意味なくね？

あげるお

おお頑張れ応援してるぞ

けど俺らはロンダ特定して何をすれば良いんで？

>>89
捨てbeでも例えば球速なら県名表示あるから傾向の把握はできるかも

>>91
こういうツールが開発中だったなって記憶にとどめておく程度でいいです、今のうちは

タブ区切りテキストをExcelなどで開けば簡単にテーブル化できます
http://index.chu.jp/?mode=text



今日は眠ります　おやすみなさい

間違えたこっちｗ

http://index.chu.jp/londa/?mode=text

客観的にみれるのはいいな
がんばれ

乙です

あげるお

あげるお

あげますお

おやすみage


　 　　　　　　Z　　　　　　　　　　　　　　　　　　　___________
　 　　　 　 　 　 　 　 　 　 ＿__　-‐−=＝ﾆ二￣::::::::::::::::::＼＼
.　　　　　　　　z　　　　　__|, 　´　 　 　 　 　 　 ｀ヽ:::::::::::::::::::::丶丶
　　　　　　　 　 z 　 ∠　　 ｀丶、 　 　 　 　 　 .::/ ｌ:::::::::::::::::::::::丶丶
　 　　　　　　 　 ・　　厶イ　　　 ＼　 　 　 　 ::::/　ｌ::::::::::::::::::::::::::∧∧
　 　　　　　　　　 ・　 7ｉ⌒ﾚ个 　　 ヽ 　 　 .::::/ 　 ｌ:::::::::::::::::::::::::::::::i　!
　 　　 　 ＿, へ -‐彡ﾉ　 　 Ｌ.メ､|　　ヽ　.:::::/　　 ｌ:::::::::::::::::::::::::::／　i
　 　 　　 i＿ｒ‐＝イY ｀ヽ 　 　 　 |ヽ　　ヽ／＿＿_!::::::::::::::::::::／　／
　 　　　　　 　 　 (_人　　 　 、　 ﾉノﾊ 　 ルへ 　ー――‐　'　 ／
　 　　　　　　　　 　 　 (＼　　ヽ　　{ 个く　ｰ=彡､　　　　　　／
　 　　　　　　　　　　　　＼）＿　.イ人 ー=ミ く 　 ￣￣￣￣
　 　　　　　　　　　　　 　 　 　 　 （_,ノ￣￣〕　L
　 　　　　　　　　　　　　　　　　　　　 　 　 ＼／

あげますお

検出率はかなりうまくいってるように見える
>>82
スレ巡回してるのは>>1の時間取得するため？
もし知らないならぜひ見てくれ。知ってたらすまんかった
http://www.monazilla.org/index.php?e=197