Rokka System

Rokka System is the new method to get 2ch/bbspink archived dats.
http://stream.bbspink.com/update.txt

1. get SID from https://2chv.tora3.net/[email protected]&PW=password , not changed
2. request to Rokka with the SID
　URL http://rokka.<DOMAIN>/<SERVER>/<BOARD>/<THREAD>/[<OPTIONS>]?[raw=0.0&]sid=<SID>

　DOMAIN : 2ch.net or bbspink.com
　SERVER : name of the server, pele,kilauea,...(bbspink)　anago,awabi,....(2ch)
　BOARD : name of the board, news,entrance,.....
　THREAD : thread key(=thread number)
　OPTIONS : 2ch standard url options, l50 , 25-35 , -45 , 13- , etc...
　[raw=0.0] : option to get dat with GZip compressed (recommended)
　<SID> : authentication SID, UrlEncoding is recommended

　Response : 1st line indicates processed status of the server.
　　"Success"　　- The process has successfuly done. Following lines are achieved message with dat format(name<>email<>datetime<>body<>[title]).
　　"Error XXX"　- The process has not succeeded. XXX is error code.
　　　　　　　　　 Error codes:
　　　　　　　　　 inputError = "Error 8008135"　　　　　　invalid SERVER or BOARD or THREAD
　　　　　　　　　 authenticationError = "Error 69"　　　　invalid SID
　　　　　　　　　 urlError = "Error 666"　　　　　　　　　　 invalid OPTIONS
　　　　　　　　　 timeLimitError = "Error 420"　　　　　　 access too fast, interval between requests required


　exsamples
　　http://rokka.bbspink.com/pele/erobbs/1285357421/?sid=Monazilla/2.00:4373....　　　　　　　　 get whole thread as plane text
　　http://rokka.bbspink.com/pele/erobbs/1285357421/?raw=0.0&sid=Monazilla/2.00:4373....　　　get whole thread with gzipped
　　http://rokka.bbspink.com/pele/erobbs/1285357421/l50?raw=0.0&sid=Monazilla/2.00:4373...　　get 1 and last 50 posts

previous discussion http://qb5.2ch.net/test/read.cgi/operate/1366640919/87-

Rokkaシステムは２ちゃん/BBSPINKのDAT落ちログを取得する新しい方法です。
http://stream.bbspink.com/update.txt

1. SIDを https://2chv.tora3.net/[email protected]&PW=password から取得します（以前と同じ）
2. 取得したSIDでrokkaへリクエストを発行します
　URL http://rokka.<DOMAIN>/<SERVER>/<BOARD>/<THREAD>/[<OPTIONS>]?[raw=0.0&]sid=<SID>

　DOMAIN : 2ch.net または bbspink.com
　SERVER : サーバー名, pele(bbspink) anago,awabi,....(2ch)
　BOARD : スレッド名, news,entrance,.....
　THREAD : スレッドキー
　OPTIONS : ２ちゃんの標準URLオプションです, l50 , 25-35 , -45 , 13- , etc...
　[raw=0.0] : GZip圧縮されたDATを取得します（推奨）
　<SID> : 取得したSIDです　URLエンコード推奨

　レスポンス : 1行目にrokkaの処理結果が記述されます
　　"Success"　 - 成功。以降の行にDAT形式(name<>email<>datetime<>body<>[title])でログが記述されています
　　"Error XXX" - 何らかのエラーです XXX がエラーコードです。
　　　　　　　　　 Error codes:
　　　　　　　　　 inputError = "Error 8008135"　　　　　　リクエストURLのSERVERかBOARDかTHREADが正しくないです
　　　　　　　　　 authenticationError = "Error 69"　　　　SIDが不正（有効期限切れその他）かQueryStringの文法が間違っています
　　　　　　　　　 urlError = "Error 666"　　　　　　　　　　 OPTIONSが正しくないです
　　　　　　　　　 timeLimitError = "Error 420"　　　　　　 アクセス間隔が短すぎます

　例
　　http://rokka.bbspink.com/pele/erobbs/1285357421/?sid=Monazilla/2.00:4373....　　　　　　　　プレーンテキストでDAT全体を取得します
　　http://rokka.bbspink.com/pele/erobbs/1285357421/?raw=0.0&sid=Monazilla/2.00:4373....　　　GZip圧縮されたDAT全体を取得します
　　http://rokka.bbspink.com/pele/erobbs/1285357421/l50?raw=0.0&sid=Monazilla/2.00:4373...　　1と最新50レスを取得します

examination template

s1) http://rokka.bbspink.com/pele/erobbs/1285357421/?sid
=Monazilla/2.00:4373298c8948z3710L4758p6811a4278j8170k1299y43207q2897a2811s45242k42852u6725y95346g6820L6383H0297o62124l2450n64672G6826N2472L7957N2508x9686O8904U4108793x6855v1216b1499s6811a2729r
non-UrlEncoded and standard QueryString , PlaneText　　should be success

s2) http://rokka.bbspink.com/pele/erobbs/1285357421/?sid
=Monazilla%2f2.00%3a4373298c8948z3710L4758p6811a4278j8170k1299y43207q2897a2811s45242k42852u6725y95346g6820L6383H0297o62124l2450n64672G6826N2472L7957N2508x9686O8904U4108793x6855v1216b1499s6811a2729r
UrlEncoded and standard QueryString , PlaneText　　should be success


s3) http://rokka.bbspink.com/pele/erobbs/1285357421/?raw=0.0&sid=
Monazilla%2f2.00%3a4373298c8948z3710L4758p6811a4278j8170k1299y43207q2897a2811s45242k42852u6725y95346g6820L6383H0297o62124l2450n64672G6826N2472L7957N2508x9686O8904U4108793x6855v1216b1499s6811a2729r
UrlEncoded and standard QueryString , GZip　　should be success

s4) http://rokka.bbspink.com/pele/erobbs/1285357421/?raw=0.0&sid=
Monazilla/2.00:4373298c8948z3710L4758p6811a4278j8170k1299y43207q2897a2811s45242k42852u6725y95346g6820L6383H0297o62124l2450n64672G6826N2472L7957N2508x9686O8904U4108793x6855v1216b1499s6811a2729r
non-UrlEncoded and standard QueryString , GZip　　should be success


s5) http://rokka.bbspink.com/pele/erobbs/1285357421/l50?sid=
Monazilla%2f2.00%3a4373298c8948z3710L4758p6811a4278j8170k1299y43207q2897a2811s45242k42852u6725y95346g6820L6383H0297o62124l2450n64672G6826N2472L7957N2508x9686O8904U4108793x6855v1216b1499s6811a2729r
UrlEncoded and standard QueryString , PlaneText , 1 and last 50　　should be success

s6) http://rokka.bbspink.com/pele/erobbs/1285357421/10-50?sid=
Monazilla%2f2.00%3a4373298c8948z3710L4758p6811a4278j8170k1299y43207q2897a2811s45242k42852u6725y95346g6820L6383H0297o62124l2450n64672G6826N2472L7957N2508x9686O8904U4108793x6855v1216b1499s6811a2729r
UrlEncoded and standard QueryString , PlaneText , 10 - 50　　should be success

s7) http://rokka.bbspink.com/pele/erobbs/1285357421/-25?sid=
Monazilla%2f2.00%3a4373298c8948z3710L4758p6811a4278j8170k1299y43207q2897a2811s45242k42852u6725y95346g6820L6383H0297o62124l2450n64672G6826N2472L7957N2508x9686O8904U4108793x6855v1216b1499s6811a2729r
UrlEncoded and standard QueryString , PlaneText , 1 - 25　　should be success

s8) http://rokka.bbspink.com/pele/erobbs/1285357421/32-?sid=
Monazilla%2f2.00%3a4373298c8948z3710L4758p6811a4278j8170k1299y43207q2897a2811s45242k42852u6725y95346g6820L6383H0297o62124l2450n64672G6826N2472L7957N2508x9686O8904U4108793x6855v1216b1499s6811a2729r
UrlEncoded and standard QueryString , PlaneText , 32-　　should be success


s9) http://rokka.bbspink.com/pele/erobbs/1285357421/?sid=
Monazilla%2f2.00%3a4373298c8948z3710L4758p6811a4278j8170k1299y43207q2897a2811s45242k42852u6725y95346g6820L6383H0297o62124l2450n64672G6826N2472L7957N2508x9686O8904U4108793x6855v1216b1499s6811a2729r&raw=0.0
UrlEncoded and another standard QueryString , GZip　　should be success

e1) http://rokka.bbspink.com/pel/erobbs/1285357421/?sid=
Monazilla/2.00:4373298c8948z3710L4758p6811a4278j8170k1299y43207q2897a2811s45242k42852u6725y95346g6820L6383H0297o62124l2450n64672G6826N2472L7957N2508x9686O8904U4108793x6855v1216b1499s6811a2729r
non-UrlEncoded and standard QueryString , PlaneText , invalid SERVER　　should be Error 8008135

e2) http://rokka.bbspink.com/pele/erobb/1285357421/?sid=
Monazilla/2.00:4373298c8948z3710L4758p6811a4278j8170k1299y43207q2897a2811s45242k42852u6725y95346g6820L6383H0297o62124l2450n64672G6826N2472L7957N2508x9686O8904U4108793x6855v1216b1499s6811a2729r
non-UrlEncoded and standard QueryString , PlaneText , invalid BOARD　　should be Error 8008135

e3) http://rokka.bbspink.com/pele/erobbs/1285357422/?sid=
Monazilla/2.00:4373298c8948z3710L4758p6811a4278j8170k1299y43207q2897a2811s45242k42852u6725y95346g6820L6383H0297o62124l2450n64672G6826N2472L7957N2508x9686O8904U4108793x6855v1216b1499s6811a2729r
non-UrlEncoded and standard QueryString , PlaneText , invalid THREAD　　should be Error

e4) http://rokka.bbspink.com/pele/erobbs/1285357421/?row=0.0&sid=
Monazilla/2.00:4373298c8948z3710L4758p6811a4278j8170k1299y43207q2897a2811s45242k42852u6725y95346g6820L6383H0297o62124l2450n64672G6826N2472L7957N2508x9686O8904U4108793x6855v1216b1499s6811a2729r
non-UrlEncoded and standard QueryString , PlaneText , invalid GZip option　　should be Error 69?

e5) http://rokka.bbspink.com/pele/erobbs/1285357421/?raw=3.2&sid=
Monazilla/2.00:4373298c8948z3710L4758p6811a4278j8170k1299y43207q2897a2811s45242k42852u6725y95346g6820L6383H0297o62124l2450n64672G6826N2472L7957N2508x9686O8904U4108793x6855v1216b1499s6811a2729r
non-UrlEncoded and standard QueryString , PlaneText , invalid GZip option　　should be Error 69?

e6) http://rokka.bbspink.com/pele/erobbs/1285357421/&raw=0.0&sid=
Monazilla/2.00:4373298c8948z3710L4758p6811a4278j8170k1299y43207q2897a2811s45242k42852u6725y95346g6820L6383H0297o62124l2450n64672G6826N2472L7957N2508x9686O8904U4108793x6855v1216b1499s6811a2729r
non-UrlEncoded and non-standard QueryString , GZip　　should be Error 69

e7) http://rokka.bbspink.com/pele/erobbs/1285357421/?sud=
Monazilla/2.00:4373298c8948z3710L4758p6811a4278j8170k1299y43207q2897a2811s45242k42852u6725y95346g6820L6383H0297o62124l2450n64672G6826N2472L7957N2508x9686O8904U4108793x6855v1216b1499s6811a2729r
non-UrlEncoded and standard QueryString , PlaneText , invalid SID parameter name　　should be Error 69

e8) http://rokka.bbspink.com/pele/erobbs/1285357421/?sid=
Monazilla/2.00:123456789048z3710L4758p6811a4278j8170k1299y43207q2897a2811s45242k42852u6725y95346g6820L6383H0297o62124l2450n64672G6826N2472L7957N2508x9686O8904U4108793x6855v1216b1499s6811a2729r
non-UrlEncoded and standard QueryString , PlaneText , invalid SID　　should be Error 69

s9) Error 69. Parsing standar QueryString should be collected into Dictionary with key-value pair.
So order is not necessary. If you make it difficutl, declare 'parameters order of QueryString is necessary'.
e3) Success but content is 404error HTML.
e5) Success. parameter is not necessary?

BTW, what 'Rokka' means? How/why did you put the name 'Rokka'?

>>6
In english Rokka means "Locker". Its a place to store your files.
Rokka ロッカー
Here is a picture: http://www.tradeinpost.com/school_lockers.jpg

>>5
I have been working on many things today, I still did not fix the "404 not found" error for incorrect dats. I will do that later tonight or early tomorrow (japan time).

I am almost ready to make rokka.2ch.net. It will probably be online tonight.

>>5
e3 <- I still need to fix this tonight.
e5 <- parameter is not necessary right now. Maybe it will be necessary in the future.
s9 <- the order is necessary. I checked past server logs, and everyone puts raw=0.0&amp;sid=asdf. Nobody uses sid=asdf&amp;raw=0.0

>>7
(　´_ゝ｀)_b

Sorry, Anime time now.
I'll be back at 23:00

>>9
enjoy!

なので。

>>8
> e3 <- I still need to fix this tonight.
If it is too dificult to report error, this could be a limitation.
Browsers could detect following lines are correct DAT or not.

> e5 <- parameter is not necessary right now. Maybe it will be necessary in the future.
OK, so parameter of 'raw' should be '0.0'.

> s9 <- the order is necessary. I checked past server logs, and everyone puts raw=0.0&amp;sid=asdf. Nobody uses sid=asdf&amp;raw=0.0
I concern some http library (including .NET) provides HTTP QueryString key-value pairs collection.
The implementaion is usulally a Dictionary, so basicaly the order is not guaranteed.
But in out case , parameter is only 2 and it's not difficutl to make URL, just concat strings.
So this (order of parameters) is now become restriction.

> I am almost ready to make rokka.2ch.net. It will probably be online tonight.
I am looking forward to be available.

　 、 　∩
(　ﾟ∀ﾟ)彡　ロッカー！
　⊂彡

>>11
rokka.2ch.net is now online, but it has many bugs. I am currently debugging it.

Please notice, there is a mosaic for timestamps from July-August 2013. You can see the mosaic on this dat file:
http://rokka.2ch.net/uni/operatex/1337867726/?raw=0.0&sid=Monazilla/2.00:4373298c8948z3710L4758p6811a4278j8170k1299y43207q2897a2811s45242k42852u6725y95346g6820L6383H0297o62124l2450n64672G6826N2472L7957N2508x9686O8904U4108793x6855v1216b1499s6811a2729r

>>14
乙です。

Major debugging is finished.
The memories.2ch.net archives and the local server archives are all working correctly now.

http://rokka.2ch.net/tv/celebrity/1001070975/l20?raw=0.0&sid=
Monazilla/2.00:4373298c8948z3710L4758p6811a4278j8170k1299y43207q2897a2811s45242k42852u6725y95346g6820L6383H0297o62124l2450n64672G6826N2472L7957N2508x9686O8904U4108793x6855v1216b1499s6811a2729r

http://rokka.2ch.net/uni/operatex/1337867726/l20?raw=0.0&sid=
Monazilla/2.00:4373298c8948z3710L4758p6811a4278j8170k1299y43207q2897a2811s45242k42852u6725y95346g6820L6383H0297o62124l2450n64672G6826N2472L7957N2508x9686O8904U4108793x6855v1216b1499s6811a2729r

>>13
＼(^o^)／
But now my Anime time....

>>14
Mosaic for date mean NY:AN:NY.AN ?
It's OK. It's already known, I hope.

I'll be back at 1:30.

>>16
ｷﾀ━━━━━━(ﾟ∀ﾟ)━━━━━━ !!!!!

>>18
Can you write a report for the app developers? Then we can have the Rokka system in our apps?

Im going to go eat some food. Have fun watching anime!

Success
1001th response
1000th response
999th response
998th response
.....
1st response

リバースして送られて来るのが仕様ですか？

>>16
CM time.
I've checked those links and their lines are stored reversed order.
I've also checked bbspink archives which are used yesterday , those are also reversed.
Did you fucked up something?
Jee　(´・ω・｀)

You can see what's going on.

Let's talk with Jim-san. Part19
http://rokka.bbspink.com/pele/erobbs/1299998629/?raw=0.0&sid=
Monazilla/2.00:4373298c8948z3710L4758p6811a4278j8170k1299y43207q2897a2811s45242k42852u6725y95346g6820L6383H0297o62124l2450n64672G6826N2472L7957N2508x9686O8904U4108793x6855v1216b1499s6811a2729r

>>19
> Can you write a report for the app developers?
>2 is the translated >1.
If you can not see any fault in >1, this become the public specification of Rokka System.
If you say ok, then >1 & >2 are published.
Then this thread become official, someone post reference to here on each browser development threads.

> Then we can have the Rokka system in our apps?
I'm sorry I don't understand the detail.
What do you mean 'our apps'?
You mean spec. of Rokka is published, the you can have updated browser, i.e. Jane Style, don't you?

The conclusion is
Required changing is request URL to rokka complied with >>1, if the browser could have accessed Maru correctly.

Here is evidence, which is twintail Mizutama custom version.
twintail-2.3.110.0.zip
http://www1.axfc.net/uploader/so/3025603/TwinTail


Note that Rokka has problem >>21-23.

hayabusa2 ploblem

rokka.2ch.net/hayabusa2/liveetv/1378900368/l20?raw=0.0&amp;amp;sid=
Monazilla/2.00:4373298c8948z3710L4758p6811a4278j8170k1299y43207q2897a2811s45242k42852u6725y95346g6820L6383H0297o62124l2450n64672G6826N2472L7957N2508x9686O8904U4108793x6855v1216b1499s6811a2729r

Can not get the log.

>>26
sorry
hayabusa2 I was able to get log

examination template part2

e2-1) live thread
Let's talk with Jim-san. Part20
http://pele.bbspink.com/test/read.cgi/erobbs/1378224674/

http://rokka.bbspink.com/pele/erobbs/1378224674/?raw=0.0&sid=
Monazilla/2.00:4373298c8948z3710L4758p6811a4278j8170k1299y43207q2897a2811s45242k42852u6725y95346g6820L6383H0297o62124l2450n64672G6826N2472L7957N2508x9686O8904U4108793x6855v1216b1499s6811a2729r
Error 420 ???


Let' talk with Jim-san
http://qb7.2ch.net/test/read.cgi/operate2/1378699887/

http://rokka.2ch.net/qb7/operate2/1378699887/?raw=0.0&sid=
Monazilla/2.00:4373298c8948z3710L4758p6811a4278j8170k1299y43207q2897a2811s45242k42852u6725y95346g6820L6383H0297o62124l2450n64672G6826N2472L7957N2508x9686O8904U4108793x6855v1216b1499s6811a2729r
server has never responded

Please make it error with another error code.
If it's too dificult, server at least respond.

>>25
This requires .NET 4.5 installed.

Here is the manual
http://www1.axfc.net/uploader/so/3025673/TwinTail

Sorry! I think I know why it comes in reverse order. Let me fix that now.

The "reverse order" bug is fixed now. I had a mistake in my recursive step function.

http://qb7.2ch.net/test/read.cgi/operate2/1378699887/138
たぶんゴンタクレに引っかかってます。
名前欄に「!ninja」が含まれていれば残り発言回数の確認ができると思います。

I will post here.
I will check awabi, hayabusa3, qb5

新仕様ではofflaw.cgiにあったRange指定での読み取りは廃止なの？
これがないと専ブラによってはレスを取得できない悪寒

つーか新仕様の開発スレはここでいいのだろうか
専ブラ作者が誰も参加していないのも気になる

ロッカーはofflawを交換することです。

寝てました。

>>32
ありがとうございます。
確認しながらやればよかったんですがつい勢いで…
もしかしたら彼も引っかかってるかも？

>>34
http://2ch.tora3.net/system_DOLIB100.html に記載がないのと以前試した時できなかった気がするので
全体取得しかできないと認識してましたが、twintail改造で入手した知識しかありませんので
よろしければRange可能であることのソースをお教えください。

>>35
普段は実況をROMっているくらいでスレ立てしたこともなかったし適切なスレへ誘導していただければよかったのですが
やむなくここへ立てるハメに。本件も偶然運営の●のスレで見かけて試したら動き変だから質問しに行ったら
そのまま巻き込まれて（そうか？）こんなことに。
スレ場所はtwintail改造ネタを追っかけてる時よく（自分的に）謎なスレで議論が進んで２ちゃんが仕様変更されたりしてたので
一応2ch開発室だしいいかなと。
専ブラ作者の方がいらっしゃらないのは私も不思議で、このまま決まっちゃっていいのかなと思いました。
適宜経過・結果をそれぞれの専ブラ使用者の皆さんがそれぞれの作者さんとコンタクト取れるスレに
お持ちになっていて、結果待ちしているのかなと。

>>7
Rokka Shimao/widow/age 30/heroine of ANIME 'Natsuyuki Rendezvous'
ttp://moe.animecharactersdatabase.com/uploads/chars/4758-401855328.jpg
http://en.wikipedia.org/wiki/Natsuyuki_Rendezvous

>>31
Please try my custom twintail >>25 , instruction manual is >>29
I've just tried to get archives using >>25;
not respond　　 qb5　awabi
Error 8008135　hayabusa3
success　　　　　anago　engawa　hayabusa　hayabusa2　ikura　kohada　qb7　toro　uni　
　　　　　　　　　　pele　kilauea

I am being denied by toro.2ch.net/sakhalin as 'continuous post'.
Please post a couple of messages to allow me post.
If possible, ask Jim-san post to the thread to avoid denying you and I.

>>32 advices me to confirm how many times posted.
To do it, please insert "!ninja" before your name, it indicates how many times remain to be able to post.

32 名前： 忍法帖【Lv=40,xxxPT】(x+y：z) (おにぎり) [sage]
x : how many time you've post arraound 16hours
y : how many times you were recored in BlackList
z : how many times you can post arround 16hours
if x+y > z , you can not post arround 16hours
x will decremented by other person's posting
During posting error, if you try to post and get error again, y is incremented.

>>37
>not respond　　 qb5　awabi
I dont know why qb5 and awabi are not connecting. I will investigate now.

>Error 8008135　hayabusa3
Hayabusa3 was overlooked and not configured into the system. We are adding it now.

Introducing "Error 13"

If a dat file cannot be found on the server, then "Error 13" will be shown.

"Error 13" is a network catch-all error for 404 not found, timeouts, and everything else network related.

>>39
confirmed awabi/qb5 are now working

OK
【長文OK】2ch英語→日本語part196 http://awabi.2ch.net/test/read.cgi/english/1343677243/
【沖縄】琉球人はアメリカに感謝しろ http://awabi.2ch.net/test/read.cgi/usa/1228537958/
ULTIMATE MC BATTLE.92 http://awabi.2ch.net/test/read.cgi/hiphop/1376042964/
パンドラサーガ【バル鯖】晒しスレPart71 http://awabi.2ch.net/test/read.cgi/net/1363943642/

Error 13
【スポーツ】東京五輪を野次る韓国　しかし平昌五輪は開催も危うい状況･･･積雪問題、ノウハウ無し　2002年W杯に続き日本の支援頼みか★2
http://awabi.2ch.net/test/read.cgi/mnewsplus/1378868464/

ソニー、インターネット上他での世論偽装が多数発覚。隠蔽最大10年。ネット世論に信頼性はあるのか？
http://awabi.2ch.net/test/read.cgi/gamenews/1298740030/

ハァハァ・・・仕事に行きたくない ○|￣|_4081
http://awabi.2ch.net/test/read.cgi/male/1378823521/


ID制変更を願うスレ・5
http://qb5.2ch.net/test/read.cgi/operate/1206636885/



On hayabusa3, are you doing now?
厚労省「なぜか若者が結婚してくれない・・・我々はこの現象を 【若者の結婚離れ】 と呼ぶことにした
http://hayabusa3.2ch.net/test/read.cgi/news/1378826732/
Error 8008135 not yet?

>>35
生きているメンテナーならこの板はチェックしていると思う。
この板読んでなきゃ、追従できないようなこともあったと思うよ。

すぐに対応できる人がどのくらいいるのかはわからんがな。
追従できなきゃ分け前がなくなるだけ。

>>40
Hayabusa3 will have to wait. I don't have the login information for it.

>>37
Rangeの件
かちゅ〜しゃ・kageが使ってる。

例えば
qb5.2ch.net/test/offlaw.cgi/operate/1378285988/?raw=.181609&sid=Monazilla%2F1.00%3A以下略

ここの?raw=.XXXXでdatファイルの読み取り開始位置を指定している。
指定した位置が行頭の場合は指定位置以降のデータが返ってきて
行頭じゃない場合はエラーが返ってくるようになっていた。

ソース
kage.monazilla.org/download/kage-0.99.1.1217-src.zip
のwsockspy.cpp

>>43
What does doing this accomplish?
>raw=.181609

What is the reason for changing the "raw=" to anything besides 0.0?

?raw=.XXXX
XXXX is file offset of .dat file.

運営ならofflaw.cgiのソースコードを持ってるんじゃないのか？

>>43
えーと、確かにこれもソースですが、Range仕様が明記されたofflaw.cgi仕様の場所を知りたかったのです。
公式仕様書のはずの http://2ch.tora3.net/system_DOLIB100.html に記載がないので、この仕様書にしか
基づかなければRange仕様は実装できないですし。
またkageソース引用により実装されているとして、本来取得したかったのは差分スレであり差分バイトではないので
実装修正がいずれにせよ必要な現在、よりロジカルで実装しやすいと思います。
とはいえ長い期間使用されているビンテージの専ブラ（と昔の２ちゃんのむにゃむにゃなところ）との整合のため
低レベル情報が必要になる場合も理解できます。難しいところです。
これまでのRokkaの成長具合を見て、なんらかの（Rokkaに対しての）新規要求はやらかしてしまいそうなので
現状で対応できないか各専ブラで検討の上、やむを得ず必要なら改めてRokkaへの実装を求めてはどうでしょう。
まずは過去ログを安定して入手できるようにならなければそもそも始まりませんし。

>>38,42
On hayabusa3 , rokka still retuens Error 8008135.
But it does not affect specification of API, does it?

>>44
Partial range ability.
>>43 and I are talking capability to get partial content.
He showed Kage has used Range specifying into raw parameter.
I asked him to show where this specification is described, and >>45 says you must have source code of offlaw.cgi.
Can you read source code of offlaw.cgi?

# Ninja system is currently not working since its database has a trouble
# Today's Anime time 0:30 - 3:30
# 忍者今壊れてるんですよね、じゃあ何回連投できるんだ( ；∀；)

?raw=.0 って記述があったけどいつの時代の仕様なんだろうか？

■　仔花子を一台で、
http://toro.2ch.net/test/read.cgi/sakhalin/1294606282/79

仕様書らしきものはググってもhttp://2ch.tora3.net/system_DOLIB100.htmlしか
見つからなかったけど、こんなのを見つけた。

ttp://livedoorauto.seesaa.net/article/212448935.html
244 ：名無しさん＠お腹いっぱい。：2011/06/26(日) 22:57:06.38 発信元:114.174.248.76 0
>>226のofflaw.cgiの仕様変更詳細

http://鯖名/test/offlaw.cgi/板名/dat番号/?raw=.***&sid=SID

ライブ鯖は***に今までに持っているdatのサイズを入れるとそれ以降が帰ってくる(差分取得)
仔花子(cloud)に入っているものでは全部持ってくる

この機能使っている専ブラあるしcloudでも対応してほしいなぁ


------
というかこんな仕様あったんだ

大昔、read.cgiにあったらしい機能

http://mimizun.com/log/2ch/tech/998997848/
448 ：ヒロユキ＠ギコナビ：01/08/30 19:37 ID:AEjMWcrI
ギコナビという２ちゃんねる閲覧ソフトを作成しているものです。
read.cgiがdatを吐く仕様（パラメタなど）は、どこのスレにあるのでしょうか。

450 ：名無し娘。 ◆vP.bOZFQ ：01/08/30 19:42 ID:QPVBUxP6
>>448
どうも、ありがとうございます。

/* raw=xxx.yyyを有効にする。 xxx=最終レス番号, yyy=そのときのサイズ。
* 一行目はステータス:
* [+OK] の場合は差分のみを送信する。
* [-INCR] (Incorrect)の場合はすべてのデータを送信する。
* [-ERR (テキスト)]の場合はなんかエラーが起きた。
*/
というふうになっています。

http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998997848&raw
で、dat全体を吐きます。

http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998997848&raw=230.45584
だと、レス番号230番目までのdatのサイズが45584だったときに、231番目から
送信し、サイズが異なるときはあぼーんがどこかにあるとみなして、レス番号1
からすべて送信します。

>>49
で結局dat落ちは全体返し、って言ってますよね？
ただofflaw.cgi経由でライブdatを差分取得できる、のを使ってる専ブラがあると。

そして

■　仔花子を一台で、
http://toro.2ch.net/test/read.cgi/sakhalin/1294606282/461
> 461 名前：名無しさん＠お腹いっぱい。(はんぺん) [sage] 2011/10/24(月) 02:03:00.21 発信元:182.21.188.69 0
> 現状、cloudのofflow.cgiでは差分取得ができず、差分取得をしてもdat全体が送られてきているように見えます。
> 差分取得をあきらめているブラウザもありますが、未対応のブラウザではローカルのdatに送られてきたものを追加しているようで、
> 取得すると1000を超えてしまうようなものもあります。
>
> ここで質問なのですが、近いうちにcloudのofflow.cgiでも差分取得ができるようにする予定はありますでしょうか?
> 時間がかかるようであれば、cloudから取得するときには全体が返ってくるというようにブラウザ側で対応するということも
> 考えられますが、read.cgiからの応答の差が Location しか見当たらず、作者さんたちが悩んでいます。
>
> できれば、早いうちにcloudのofflow.cgiで差分取得をサポートしてもらえるとうれしいのですが、
> 差分取得をサポートするまでは、何かわかるようなヘッダフィールドを追加してもらえるか、
> Location の内容を変更しないようにお願いします。
> (もう対応しているか未確認ですが、JaneXenoは Location の中に ula.cc が含まれていたら全体取得という方針のようです)

ということで差分取得実装はない、と読めますがどうでしょう。

# ああっ、ゼータが始まってしまった

つ http://age.s22.xrea.com/talk2ch/

dat落ち全体返しはcloudのみ、現行鯖の過去ログは差分取得
と読んだけど、今はofflaw.cgiが使えないから確認のしようがない

専ブラとのインターフェイス部分はofflaw.cgiのをそのまま持ってくればいいのに
なぜしないのか謎

>>50
廃止になった機能にひっそりと載ってますね
http://www.monazilla.org/index.php?e=204
> ・read.cgiのrawモード・QUERY_STRING形式オプション

これは実際に過去ログ差分取得を実現実装した方に説明していただかないとどうにも伝えようがないです。
というか伝えてください(TдT)

差分取得要求時の応答は残念ながら不明ですが、全取得要求時の応答はこうなってましたね

(HTTPレスポンスヘッダー)

+OK 〜/1024K Location:temp/
(HTTPレスポンスボディ＝dat本体)

確かgzip圧縮転送との絡みでしたっけ

いやー、twintailではgzip固定全取得しかないのでそれ以外の動作を見たことも調べたこともないです。

今かちゅ〜しゃ2.102 + kage0.99.1.1216 に HTTP/HTTPS プロキシを繋いで、
手元にある.datの後半数行を削って読み込ませ、ログ上に差分取得指示が出現するか試してみました。

GET /<board>/dat/<thread>.dat HTTP/1.0
Host: <server>.2ch.net
Range: bytes=189155-
Pragma: no-cache
If-Modified-Since: 〜
If-None-Match: 〜
User-Agent: Monazilla/2.00 kage/0.99.1.1216 (1000)
Pragma: no-cache
Connection: keep-alive
↓
GET /<board>/kako/xxxx/xxxxx/<thread>.dat.gz HTTP/1.0
Host: <server>.2ch.net
If-Modified-Since: 〜
If-None-Match: 〜
User-Agent: Monazilla/2.00 kage/0.99.1.1216 (1000)
Pragma: no-cache
Connection: keep-alive

↓
GET /<board>/kako/xxxx/xxxxx/<thread>.dat HTTP/1.0
Host: <server>.2ch.net
Range: bytes=189155-
If-Modified-Since: 〜
If-None-Match: 〜
User-Agent: Monazilla/2.00 kage/0.99.1.1216 (1000)
Pragma: no-cache
Connection: keep-alive
↓
GET /test/offlaw.cgi/<board>/<thread>/?raw=.189156&sid=Monazilla%2F2.00%3A<sid> HTTP/0.9
Host: <server>.2ch.net
Accept-Encoding: gzip
User-Agent: Monazilla/2.00 kage/0.99.1.1216 (0)
Pragma: no-cache
Connection: keep-alive

この結果を見る限り、差分取得は既に廃棄された仕様で、実装しなくとも
(少なくとも現行のかちゅ〜しゃ+kageには)影響は与えないという推測の方が正しいかもしれませんね。
参考まで。

実験ありがとうございます。
とりあえず全体取得のみ、として、異論あれば随時説明いただく、ということで。

>>61
肝心な部分を見落としました・・・
raw.=の所にRange相当のオフセットが出ているのでやはりかちゅ〜しゃ+kageは誤動作するかも知れません
私の調べられる範囲はここまでなので、後の判断は他の方の意見を交えて結論付ける方向でお願いします

かちゅーしゃは「ここまで読んだ」という情報をidxファイルに格納してるので
かちゅーしゃのdatファイルをいじってもRangeは変わらないと思う

言葉が足りなかったかも知れないけれど、かちゅ〜しゃ側の.datは一切使っていないよ

＜２ちゃんねる＞−＜独自.dat管理機構付きフェイクプロキシ＞−＜かちゅ＋kage＞
　　　　　　　　　　　(｜−−−−＜HTTP/HTTPSプロキシ＞−−｜)

こういうシステムを構築してる
かちゅ〜しゃの.datは生datではないのが色々面倒なので、もう５年以上前から内製の管理機構は一切使っていない

参考用に使っていた旧いJaneStyleに読みかけのスレがあったのを思い出して起動。
ネットワークパケットキャプチャを起動して65スレくらい既得になっているスレを開いてみる。

GET /test/offlaw.cgi/software/1330604422/?raw=.25673&sid=Monazilla%2F2%2E00%3A58... HTTP/1.1
Connection: Close
If-Modified-Since: Mon, 16 Apr 2012 01:06:41 GMT
Host: anago.2ch.net
Accept: text/html, */*
Accept-Encoding: gzip
User-Agent: Monazilla/2.00 (JaneStyle/3.72)

ありゃりゃ使っているのね。どこからこの仕様を仕入れてきたのかなぁ。
そこを明かしてもらえればCodemonkey氏に（強制的に）やってもらえると思うの。

Hi Codemonkey,
I captured network traffic of JaneStyle(slightly old version).
I used this JaneStyle for reference, which kept a thread having 65 posts.
I opened the thread with ●, JaneStyle sent a request to offlaw.cgi.
The capture is as above.
It seems JaneStyle send offset position usgin parameter raw.
I'm looking for the specification but it's too hard.
Could you read source code of offlaw.cgi and advice me how it has been coded?

現状のRokkaの仕様のままになるとJane系で昔起きたことと同じになるのにダレも心配しないのかなぁ…

JaneXeno Part38
http://anago.2ch.net/test/read.cgi/software/1305813486/
> 633 名前：名無しさん＠お腹いっぱい。 [sage] 2011/06/18(土) 06:10:18.62 ID:NcOFRUsh0
> 既にログ取得済みでDAT落ちしてるサーバー移転してるかなり古いスレを開くと
> >>1から重複して取得されてしまうのは既出？
>
> 637 名前：名無しさん＠お腹いっぱい。 [sage] 2011/06/20(月) 02:58:39.36 ID:RvZN042o0
> 途中まで取得してあるDAT落ちしたスレを●で取得するとレス数がおかしくなります。
> 例えば、500まで取得してあるスレを●で1000まで取得するとレス数が1500になります
> レス数1500の内訳は先頭から、1〜500、1〜1000。つまり501から取得されるはずなのに1から取得されていて
> 1から取得するならローカルのdatの0バイト目から取得しないといけないのに、そのまま追記されている状態です
>
> 664 名前：koreawatcher ◆Nida.eneRA [sage] 2011/06/21(火) 22:56:28.00 ID:3F2v9gZLP BE:13306188-PLT(14567)
> >>633,637
> こちらでも確認しました。
> 間違ってるかもしれませんが、2010年8月1日辺りを境界に
> それ以前に建てられたスレでこの症状が起きている気がします。
> ●による取得で、CGIに対して途中からのデータを要求している
> のですが、なぜか最初からのデータが返って来るようです。
>
> こちらの環境ではViewやStyleでも同じような結果が得られたの
> ですが、Xenoよりもユーザーの多いブラウザで騒ぎになってない
> のも変な話ですし…。

水玉◆qHK1vdR8FRIm的にはtwintailの仕様をRokkaは満たしているのでもう十分ですし
エンジニア個人的にもレス番指定で範囲取得ができるからなにもバイト換算しなくてもと思いますが
ビンテージブラウザの串とか考えると対応して欲しいとも思いますし、
でも今回の流出騒ぎの問題を回避するためにRokka鯖を串にしてさらに日付モザイクもして、とやらなきゃならないから
掲示板鯖直置きのofflaw.cgiとまったく同じにはできねーんだよぉ、とか表向き言いたくなるかも。（妄想）

この仕様が導入された背景は、あぼ〜んの発生したliveなスレと似た部分があるかもしれませんね
専ブラはスレの更新取得を行う際、保持するdatのバイト数直値からでなくバイト数-1からでRange指定を行い、
そこがLFで始まるかどうかであぼ〜ん判定を行う訳ですが、レス番指定の差分取得ではこれを行う事が出来ず、
あぼ〜んが発生したスレでは鯖と専ブラ保持datとの齟齬が生まれる可能性を許容する事が条件になります
暫く確認していなかったスレがdat落ちしていた場合に同種の問題が発生する訳ですね

またレス番指定では番号→オフセット変換の際に僅かな負荷が発生する点にも配慮があったのかもしれません
スペックその他も今とは違うでしょうし
gzipを展開する段階から干渉出来るcgi構成ならば、展開時についでにシーケンシャルにLFを数えてオフセットをキャッシュする事で負荷は軽減できますが
Rokkaの場合は全鯖への要求を一手に交通整理する事になるので、その意味でも負荷をどう考えるかは一つの方針決定かもしれないですね

もっともgzip展開というコストを鯖に押し付けている専ブラの設計自体があまり宜しくない気もしますが・・・

そういえばRokkaの設計上は例えgzip転送で過去ログ全取得を要求しても、常に展開された状態でレスポンスが返る事になるのかな？
鯖のgzip圧縮のコストよりトラフィック消費の方が重いと考えるならフィルタ後に再度gzip圧縮を行うのかもしれないけど、
そこまでトラフィックやコストを気にするならバイト指定の差分取得もサポートしないと辻褄が合わない気も
利用者が15万人いるといっても実際の利用頻度や転送量は相対的に微々たるものだから特に気にする事もないのかな

>>67
現在のdat直読みはcgiフリーな単なるapacheファイルアクセスだと認識しています。そうすることでサーバーの負荷はcgiの分軽減されることになる、
というかこれ以上軽減できない。なので差分取得するならリクエストヘッダでRange指定しなけりゃならんと。
offlaw.cgiの時は、どうせcgiなんだからレス番でやってもよかったんじゃないかと思いますがLFカウントがめんどい^H^H重いので嫌ったと。
ちょっと開発室ログが手元にいくつか取ってあって（忍法帖騒ぎの時に読んでたらしい）、そこでレス番で取る仕様案が出たり引っ込んだりしてました
（ピロリのスレだったかな）。
で、Rokkaはタイムスタンプモザイクのためスレをパースせざるを得なくなってるのでレス番で処理できる。
なのでDOLIBには書いてないけどRokka APIとして取り入れた(DOLIBを彼が読んだかはぁゃιぃが）。
を訊いてもいいんだけどまだ作業中だろうから余計なこと訊かないほうがいいかな。

>>68
> そういえばRokkaの設計上は例えgzip転送で過去ログ全取得を要求しても、常に展開された状態でレスポンスが返る事になるのかな？
いえ、ちゃんとraw=0.0を指定するとGZip圧縮されたものが返りますよ
(>>1-2 ■ ２ちゃんねるWiki Part6.0 [プロジェクト･制度解説・FAQなど] http://qb5.2ch.net/test/read.cgi/operate/1366640919/108,113)。

連投規制が気になるのでレスを借りて


Hi Codemonkey,
There is a thread. This can be accessed by directry(/dat/threadkey.dat) during it is live.
When other threads are created, this thread is removed from subject.txt and deny direct accessing.
We 2channeler(( ´,_ゝ｀)ﾌﾟｯ) call this situation 'dat-ochi'. How are you saying?
Now, the thread has just been dat-ochi, Maru could get the dat even I accessed just the thread had been da-ochi.
But, Rokka could not get dat (Error 13). After a couple of 10 minutes, dat can be gotton.
It seems there is a time lag to be able to access dat.
How long do I have to wait after the thread has just been dat-ochi?
Why is a time lag there?
Threads for Jikkyo(reatime commentary) or news are easy to be dat-ochi because many threads will be created within short periods,
especially for TV Anime program , topic on Matsuri/Enjo(flaming).

Sorry everyone. I fell asleep early Japanese time last night.

>>69
Rokka can currently only access files in the archives. There is a fifteen minute delay for "dat-ochi" threads to go to the archives. Is it necessary to display "dat-ochi" files with rokka? If it is necessary, I will add that feature.
This time lag is because the script that moves the dat from live to the archive is on a 15 minute crontab. This system was designed by someone else (maybe Fox?).

Regarding the "raw=" parameter, I thought it was just a flag for gzip. If it is a byte offset parameter, then lets decide on the specifications and I will easily implement it into rokka.

Here is the code in the original offlaw.cgi source code for the "raw=" parameter:
http://stream.bbspink.com/offlaw.txt

Please look at this code, then decide on a specification for "raw=". I will change it to whatever specification you guys decide on.

一応和訳
Rokkaは現状過去ログだけにアクセスできます。
dat落ちしたスレが過去ログになるまで15分くらいのディレイがあります。
Rokkaでdat落ちと表示するの必要？そうなら追加します。
このタイムラグはdatをライブから過去ログへ移動するスクリプトが15分ごとにcronされるからです。
このシステムはだれぞ（たぶんFox?）が設計したものです。

"raw="パラメーターですが、おいらはgzipフラグだと思ってました。
こいつがバイトオフセットパラメーターっていうなら、仕様を決めましょ、Rokkaにちょちょっと実装するから。

これが"raw="パラメーターに対するオリジナルのofflaw.cgiソースコードです。
（リンク先はofflaw.cgiの出力部だけのCソースコード）

このコードを見て、"raw="パラメーターの仕様を決めてください。
おいらはもまいらが決めた仕様通りに変更しやすぜ。



Katjusha/KAGEがベースにあったのね。だから開発資料室のDOLIB仕様書へのリンク、KAGEのサイトに張られてたのか。
I will easily implement it into rokka がぁゃιぃですが、変更してくれるというのでしてもらいましょう。
多分半日くらいはToLOVEな。

仕様案：
　raw=<value>　datの取得開始位置をバイト数で指定する
　　　　　　　　　<OPTIONS>指定が優先し、<OPTIONS>が指定されていたらrawの値は無視される
　　　　　　　　　raw=0.0のときは全体をGZip圧縮して返す
　　　　　　　　　raw=0.xxxxxのときはxxxxxをバイトオフセットとみなしdatを途中からPlaneTextで返す
　　リクエスト例
　　　http://rokka.bbspink.com/pele/erobbs/1285357421/?raw=0.0&sid=....　　　　　　dat全体をGZip圧縮で取得する
　　　http://rokka.bbspink.com/pele/erobbs/1285357421/2-30?raw=0.0&sid=....　　　レス1-30をGZip圧縮で取得する
　　　http://rokka.bbspink.com/pele/erobbs/1285357421/2-30?raw=0.100&sid=....　　レス1-30をGZip圧縮で取得する、rawパラメーター値は無効(ignored)
　　　http://rokka.bbspink.com/pele/erobbs/1285357421/?raw=0.100&sid=....　　　　　datをバイトオフセット100以降PlaneTextで取得する

ところで
ライブdat - subject.txtに載ってて書き込み可能なスレのdat、/dat/スレ番.datで誰でも取れる
dat落ち　 - subject.txtに載ってなくて書き込めないスレのdat、アクセスできないが●で取れていた
過去ログ　- dat.gz化されたスレのdat、
　　　　　　　　昔はhttp://[サーバー]/[板名]/kako/[スレッド番号（上4桁）]/[スレッド番号（上5桁）]/[スレッド番号].dat.gz
　　　　　　　　で誰でも取れていたが今回からこれを●で取得することになる
となるということみたいですが、これでいいんですかねぇ。
dat落ちを有料で取得できる、が●の売りなわけだし、過去ログは本来無料だったはずで（HTML化されなければやっぱり有料？）
http://2ch.tora3.net/about.html に
「dat落ちしたスレッド …… 書き込みが1000を超えていないものの一定期間書き込みが無いなど特定の条件を満たし、閲覧・書き込みが出来ない状態になったスレッド。dat落ちしたスレッドを閲覧することができるのは、２ちゃんねるビューアのみの機能です。」
って書いてあるから今のRokkaの動きじゃまずいわね。しかし過去ログ、いつの間に有料になったんだ…


>>70
Regarding raw parameter, I've just presented a proposal, I'll inform you when the specification is decided.

Regarding dat-ochi, ●users are also able to get dat, described in http://2ch.tora3.net/about.html.
Therefore Rokka must not make it error. Rokka must return dat.

>>71
Regarding dat-ochi, I will make Rokka return the dat.
I will wait for a specification before I write more code for "raw=".


Does anyone have a suggestion for features that I can include in rokka?

参考までに

gikoNaviの該当箇所のコード

string　TThreadItem::GetOfflawCgiURL(　const string SessionID)
{
#ifdef PAS2DOX_FUNCTION_BODY

begin
　if FDownloadHost = '' then begin
　　Result := GikoSys.UrlToServer(ParentBoard.URL)
　　　　　　+ 'test/offlaw.cgi/' + ParentBoard.BBSID + '/'
　　　　　　+ ChangeFileExt(FileName, '') + '/?raw=.0&sid=' + HttpEncode(SessionID);
　end else begin
　　//http://news.2ch.net/test/offlaw.cgi/newsplus/1014038577/?raw=.196928&sid=
　　//GikoSys.ParseURI(Result, Protocol, Host, Path, Document, Port, Bookmark);
　　Result := 'http://' + FDownloadHost
　　　　　　+ '/test/offlaw.cgi/' + ParentBoard.BBSID + '/'
　　　　　　+ ChangeFileExt(FileName, '') + '/?raw=.0&sid=' + HttpEncode(SessionID);
　end;
end;
#endif
}

OpenJaneの該当箇所のコード ※dat.Sizeは取得済みdatのバイト数

tsTransition1, tsTransition3:
　begin
　　SplitThreadURI(self.URI, host, bbs);
　　result := 'http://' + host + '/test/offlaw.cgi/' + bbs + '/' + datName
　　　　　 + '/?raw=.' + IntToStr(dat.Size);
　　result := ticket2ch.AppendSID(result, '&');
　end;

>>72
> Does anyone have a suggestion for features that I can include in rokka?
Currentry, no other features are suggested.

> >>71
> Regarding dat-ochi, I will make Rokka return the dat.
> I will wait for a specification before I write more code for "raw=".

Are you going to make Rokka return the dat in dat-ochi ?
If so, plaese make it 1st. Because Jim-san saied
Let' talk with Jim-san　http://qb7.2ch.net/test/read.cgi/operate2/1378699887/147
> 147 名前：xerxes.maido3.net(地震なし) [sage] 2013/09/13(金) 17:51:31.36 ID:ty2dRjrQ0
> >>144
> Rokka is already live, it has replaced offlaw.
even Rokka has not satisfied functions described at http://2ch.tora3.net/about.html .

Here is my proposal for your reference. Note the detail may be changed.
　raw=<value>　specify byte offset position fo the dat
　　　　　　　　　<OPTIONS> has been affected prior the value of raw parameter, raw value will be ignored
　　　　　　　　　raw=0.0 returns the dat with GZipped
　　　　　　　　　raw=0.xxxxx retunrs dat start from byte offset xxxxx , as PlaneText
　　request exsamples
　　　http://rokka.bbspink.com/pele/erobbs/1285357421/?raw=0.0&sid=....　　　　　　get entire dat with gzipped
　　　http://rokka.bbspink.com/pele/erobbs/1285357421/2-30?raw=0.0&sid=....　　　get posts 1-30 with gzipped
　　　http://rokka.bbspink.com/pele/erobbs/1285357421/2-30?raw=0.100&sid=....　　get posts 1-30 with gzipped, value of raw parameter is ignored
　　　http://rokka.bbspink.com/pele/erobbs/1285357421/?raw=0.100&sid=....　　　　　get partial dat from byte offset 100 as plane text


日本語仕様案一部修正
　　　　　　　raw=0.0のときは全体をGZip圧縮して返す
　　　　　　　　　　　　　↓
　　　　　　　raw=0.0のときはGZip圧縮して返す

>>74
仔花子鯖では差分取得出来ないという事でその時期に
JaneViewは同時期にofflawの範囲指定を外してるし
JaneXenoは花子の場合だけ全体取得に変えてる

>>73-74,76
ありがとうございます。
ギコナビは全取得、OpenJane（多分Jane系）は部分取得、だけど仔花子鯖(?)により全体取得化した派生種がある、と。

にしても誰もDOLIBの通りにはしてないのね。DOLIB以前にどっかのスレで検討して実装したからなのかしら。
その頃はまだ生まれてないからわかんない（＞＜ ）

これかぁ
■　仔花子を一台で、
http://toro.2ch.net/test/read.cgi/sakhalin/1294606282/

斜め読みじゃあ理解できませんね。といって動作ももう実験して確認できないし。参った。

gzipかどうかはAccept-Encoding読んで決めたほうがいいような
>>50にも書いてあるけど
ソースを見ると昔のread.cgiのrawモードをベースにしてるっぽいのかな

http://www.gedoh.org/aki/2ch/current/bbs/rawmode.txt
これ見ればraw=の仕様については解決するんじゃないかなと
raw=0.0とgzipは関係ないよ！
§2-5と2-6は多分offlawには実装されてないので無し。

urlが全く違うからraw=はなくしちゃって毎回全取得ってのもいい気もしますが・・・
対応できない専ブラはどうしようもないので
#一番いい方法は今のofflawにRokkaの変換機能をつける？

>>79
> gzipかどうかはAccept-Encoding読んで決めたほうがいいような
HTTPヘッダ（リクエストもレスポンスも）触っている様子がRokkaには見受けられないのでどうかと。

> http://www.gedoh.org/aki/2ch/current/bbs/rawmode.txt
> これ見ればraw=の仕様については解決するんじゃないかなと
ここは何のサイトなのですか？２ちゃん公式的なとこ？
この内容を英訳して（もしくは私が理解して）彼に伝えて、実装検討してもらう。
…をやらないといけないんです？私(T_T)

>>Codemonkey
>>79 said
> The context response would be decide by Accept-Encoding in HTTP request header.
> offlaw.cgi might be based on old read.cgi, he watched source code(where? http://stream.bbspink.com/offlaw.txt ?).

He told me read http://www.gedoh.org/aki/2ch/current/bbs/rawmode.txt then raw parameter issue will be solved.
He said raw=0.0 is not related with gziped.

He suggests 'raw=' can be removed then Rokka will return entier dat only.

If you desire me to translate http://www.gedoh.org/aki/2ch/current/bbs/rawmode.txt,
kindly ask me.

Question.
Can you touch HTTP request header and HTTP response header on Rokka?

http://stream.bbspink.com/offlaw.txt
これを見た感じ
?raw=xxx.yyy
xxx=raw_lastnum 取得開始行 line number
yyy=raw_lastsize 取得開始位置 file offset
かな

datファイルをBigBufferに丸ごと読み込んで、必要分を切り出してるように見える。

datファイルをどう読み込んでるのかはわからないけど、
読み込んだ後の処理はhttp://stream.bbspink.com/offlaw.txtのままでいいんじゃないかな

>He suggests 'raw=' can be removed then Rokka will return entier dat only.
I think removing "raw" is a good idea. Rokka can already return partial dats by using the options "20-30", "l20", "15-" "-90". Why does Rokka need a byte offset?

>Can you touch HTTP request header and HTTP response header on Rokka?
Yes. Rokka replaces Apache. Rokka is a server. I wrote Rokka with the "Haskell" language. I have full customization about what Rokka does.

>Are you going to make Rokka return the dat in dat-ochi ?
Yes. I current do not understand the dat-ochi system. I am studying FOX's dat-ochi system. After I understand the dat-ochi system, then I will add dat-ochi to Rokka. Dat-ochi will probably be available on Rokka tonight or tomorrow.

dobattoだったかな？
削除ツールっぽいの弄る時にofflawの修正もしてたと思うのよね。
あれが順番に叩いてる場所をRokkaも真似すれば15分のタイムラグ埋められるんじゃない？

http://www.gedoh.org/aki/2ch/current/bbs/
結構昔、read.cgiを改良するときにソースをみんな見れるようにして改良したらしい。
ここのread.cの1444行〜1512までがほぼ一緒。


よく考えてみると、差分取得を考える必要は無い、すべて最初から全取得にすべき。
Rokkaの目的の日付を隠すことを確実にするには全取得が一番いい

仔花子もすべて最初から全取得なので今更気にする必要は無いかと

>>2のオプションは廃止しちゃう・・・？
レス番指定だけだと、削除されたかの確認が出来ない。
サーバからは消されているのに、クライアントには残ってるってのは避けたい

offlaw.txt見て合点が行ったけど、byte offset差分取得はかちゅ〜しゃ or それに準ずる専ブラ(Jane含む)にのみ
許可されている特別なメソッドという位置付けのようですね
zz_katjusha_raw はこれらの専ブラでのみ真になると(恐らくUAもしくはURI内の'sid=Monazilla...'部分から判定)

レス番指定と異なり、差分取得であっても "+PARTIAL" ではなく "+OK" を返したり、
liveなスレでは専ブラ側で行うLFチェックを鯖側で行っていたりと完全に固有の仕様と密な連携を想定しているっぽい

このソースで>>66の誤動作も説明がつくんじゃないかな？かちゅ〜しゃ系と判断されない (zz_katjusha_raw = 0) 専ブラが
byte offset差分取得を行おうとしたけれどそれは許可されない操作なので弾く、ただし弾いた先の遷移が全取得に流れており、
かつ全取得は "+OK" を返すので正常なbyte offset差分取得と見分けがつかないと

あとここにも初期の仕様の挙動が一部残ってました
ttp://age.s22.xrea.com/talk2ch/#rawmode

レス番指定の差分取得も本来既に指定フォーマットがあったのね →c)〜e)

■全件取得
a) /?raw=0.0&<*1>
→ +OK <all bytes>/<MAX_FILESIZE >> 10>K Location:temp/
　 <body>

■バイトオフセットによる差分取得
b) /?raw=.<begin>&<*1>
→ +OK <partial bytes>/<MAX_FILESIZE >> 10>K Location:temp/
　 <body>

■レス番指定による差分取得
c) /?raw=0.0&ls=<recent>&<*1>
d) /?raw=0.0&st=<first>&to=<last>&<*1>
e) /?raw=0.0&st=<first>&<*1>
→ +PARTIAL <partial bytes>/<MAX_FILESIZE >> 10>K Range:<begin>-<end -1>/<all bytes> Location:temp/
　 <body>

<begin>/<end>: bytes offset of start/end (boundary, zero origin)
<first>/<last>: line number of start/end (one origin)
<recent>: recent lines count
MAX_FILESIZE: 0x100000..0x1FFC00 ?

<*1>: sid=Monazilla%2F<major>.<minor>%3A<sid>

byte offset差分取得をかちゅ〜しゃ系以外に許可しなかった理由は、
本来はレガシー仕様をよく知らない新しい専ブラにこのメソッドを許可したくなかった、という事情かなと解釈しました
このバージョンのofflaw.cgiがいつ稼動し始めたかは不明ですけれども・・・

とりあえず負荷よりも転送量を最優先に考慮しなければいけなかった頃からの歴史を見た気分ですね

>>83
> >He suggests 'raw=' can be removed then Rokka will return entier dat only.
> I think removing "raw" is a good idea. Rokka can already return partial dats by using the options "20-30", "l20", "15-" "-90". Why does Rokka need a byte offset?
Me too but nobody respond us.

> >Can you touch HTTP request header and HTTP response header on Rokka?
> Yes. Rokka replaces Apache. Rokka is a server. I wrote Rokka with the "Haskell" language. I have full customization about what Rokka does.
If so, I saw someone said
過去ログ＆●(2chビューア)情報スレ 29　http://qb5.2ch.net/test/read.cgi/operate/1378646393/602
> 602 名前：動け動けウゴウゴ２ちゃんねる [sage] 2013/09/12(木) 04:12:47.87 ID:I81KKwaF0
> 今気づいたけど旧プロトコルと違ってrokkaだとLast-Modified:出ないんだな
> コード管理がTCPベースかHTTPベースかすら分からないし実害も薄いのでいいんだけど、
> 出来ればソース鯖のHTTPレスポンスからコピーして欲しかった
>
> 今後は最終行を覗いてそれをファイル日時に反映するか
translated
> I found rokka doesn't have Last-Modified: in HTTP response header.
> It is not so serious but the value should be copied from surce server.
I knew the header does not include Content-Type, Content-Type should be 'text/plain'.
Then I thought youcould not touch HTTP headers.


> >Are you going to make Rokka return the dat in dat-ochi ?
> Yes. I current do not understand the dat-ochi system. I am studying FOX's dat-ochi system. After I understand the dat-ochi system, then I will add dat-ochi to Rokka. Dat-ochi will probably be available on Rokka tonight or tomorrow.
I'm looking for.

>>82 said
> datファイルをどう読み込んでるのかはわからないけど、
> 読み込んだ後の処理はhttp://stream.bbspink.com/offlaw.txtのままでいいんじゃないかな
translated
> I'm not sure how Rokka reads dat file,
> I think it is better to process as same as http://stream.bbspink.com/offlaw.txt .

>>84 said
> dobattoだったかな？
> 削除ツールっぽいの弄る時にofflawの修正もしてたと思うのよね。
> あれが順番に叩いてる場所をRokkaも真似すれば15分のタイムラグ埋められるんじゃない？
translated
> That is 'dobatto', isn't it?
> (2chan UNEI) has chenged offlaw when they made a deleting (post) tool.
> Rokka should reference the way the tool accessed to the place as sequencially.
な…　何を言っているのか　わからねーと思うが　
おれも　何を言ってるのか　わからなかった…

>>85 said
> http://www.gedoh.org/aki/2ch/current/bbs/
> 結構昔、read.cgiを改良するときにソースをみんな見れるようにして改良したらしい。
> ここのread.cの1444行〜1512までがほぼ一緒。
> Many years ago, someone published to watch source code of read.cgi for everyone.
> Lines are same as 1444-1512 in read.c .
>
>
> よく考えてみると、差分取得を考える必要は無い、すべて最初から全取得にすべき。
> Rokkaの目的の日付を隠すことを確実にするには全取得が一番いい
> I was deeply thinking and I got a conclusion that it is not necessity to get patial, it should be entire.
> Only entire is the best to hide timestamps exaxtly.
イグザクトリイ。
>
> 仔花子もすべて最初から全取得なので今更気にする必要は無いかと
> You don't have to care about partial dat since Kohanako was only return entire dat until first release of Kohanako.
>
> >>2のオプションは廃止しちゃう・・・？
> レス番指定だけだと、削除されたかの確認が出来ない。
> サーバからは消されているのに、クライアントには残ってるってのは避けたい
> I think <OPTIONS> in >>1-2, could be obsolete.
> Because it could not confirm posts have been removed to specify post number.
> It have to avoide posts have been already rejected from the server but left in client.
な…　何を言っているのか　わからねーと思うが　
おれも　何を言ってるのか　わからなかった…

# ほ、翻訳が追いつかない…

>>86-88 said
> offlaw.txt見て合点が行ったけど、byte offset差分取得はかちゅ〜しゃ or それに準ずる専ブラ(Jane含む)にのみ
> 許可されている特別なメソッドという位置付けのようですね
> zz_katjusha_raw はこれらの専ブラでのみ真になると(恐らくUAもしくはURI内の'sid=Monazilla...'部分から判定)
> Patial method was only allowed to Katjusha and some browsers(include Jane) complied with Katjusha.
> zz_katjusha_raw become true if browsers comply Katjusha,
> or the server detected key string in User-Agent in the requestheader or URL(sid=Monazilla...)

　　ommited some lines which are just report how it did
> byte offset差分取得をかちゅ〜しゃ系以外に許可しなかった理由は、
> 本来はレガシー仕様をよく知らない新しい専ブラにこのメソッドを許可したくなかった、という事情かなと解釈しました
> このバージョンのofflaw.cgiがいつ稼動し始めたかは不明ですけれども・・・
> The reason why partial method was not allowed any browsers except Katjusha complied,
> someone hated to allow all following browsers which don't know regacy specification, I guss.

# けど楽しい(´∀｀)

とりま現状のAPIはままとして、ちょっと重要なことを流さないようにしなくちゃ。
>>
> dobattoだったかな？
> 削除ツールっぽいの弄る時にofflawの修正もしてたと思うのよね。
> あれが順番に叩いてる場所をRokkaも真似すれば15分のタイムラグ埋められるんじゃない？
これのソーススレッドURL知りたいです。

# う、交互にレスするようにしないとまたゴンタクレに引っかかっちゃうかなぁ…

忍法帖止まってても引っ掛かります？
とりま支援

>>93
ご支援ありがとうございます、桑原茂一でございます。
…
えー、、おっかながって引っかかるとこまで書いてなかったのでちょっと８つばかし連投。
30分以内にできていなければ涙目です。一応●をオンにしておこう、無駄だと思うけど。

支援を
長文で申し訳なかったです、kageの中の人ならもっと経緯にも詳しくて
要点も簡潔にまとめられたのかも知れませんー

たった今 http://dso.2ch.net/test/read.cgi/sakhalin/1294397915/ を見つけて読み始めたところですが
これがdobattoですね？

http://qb7.2ch.net/_tomato/dobatto/

使えなくなってるけどこれこれ

>>95
ありがとうございます
って1個回復しちゃった、済みません、30分ほど実験時間いただいて良いですか？
もしくは、ゴンタクレ機能してるかないか確実に分かる方のご報告があるまで。

ああっ、また1個回復してしまった…
てか、回数でないと何が何やら。　昨日の時点で2+5:8とかだったからいったいいくつ残ってるんだろう？

ゴンタクレは忍法帖関係なく機能する
忍法帖の機能で数字としてわかりやすくはなる

>>92
2011年1月のキャップ漏れ騒動のあと狐さんがいろいろ手直ししてくれたんですが、
3月以降は忍法帖をメインに弄ってたから以下スレの1月〜3月分あたりまでがヒントかも。

●過去ログよめない?　どうしてだろう。
http://toro.2ch.net/test/read.cgi/sakhalin/1294750765/

■ 今日はtomatoツールの巻き
http://dso.2ch.net/test/read.cgi/sakhalin/1294814625/

>>91
これは、新たな始まりと新しい機会です。過去の遺産を覚えますが、将来のために、
より良いものを構築する必要はありませんすることができます。

>>101
過去ログ入り口用のcloudサーバを作ったりとか
> 削除は花子のデータを直接削除
> 削除した瞬間フロントにそのdatのキャッシュを破棄させれば
> ほーら　すてきなシステム
のために準備したりとかは
↓にもそれらしい記述がある気がする（まだ過不足があるかも）

■　仔花子を一台で、
http://toro.2ch.net/test/read.cgi/sakhalin/1294606282/13,23,103,115,220,268,381-385,394,402-404,406-411

支援

もう一つ支援

もっと支援

更に支援
テストスレにでもポストした方がいいですかね？

ご支援ありがとうございます。くわっ…

というわけでものの見事に引っかかって涙目で画面が良く見えませんが、もうやだこのスレ。
>>97
見ました。何か目がチカチカしますが、なんでしょう？
えーと、できれば開発議論しているスレURLが欲しいです。>>96 で当たりならとりあえず支援だけで。

あと、今多分3+5:8なので+5を（あ、さっき引っかかったから+6か？いやこのレスを投稿しようとしてまた引っかかったから+7？）
消すために16時間ここを離れていいですか？
Codemonkey氏には何か適当に返していただくことで凌ぐかそのまま議論していただくと言うことで。
ブラックリスト消さないと辛いですー

>>101
読んでみます。

>>102
Please post with in english. Automatic translater sometime translates as opposit meaning.

>>Codemonkey
I'm going to leave here to clear black list. I should stop posting arround 16hours.
Otherwise I could post only 1 post until someone post here, and the conditioin will be continued
until I stop posting arround 16 hours(it means after Rokka become finalized).

>>108
How does the black list work? Why does it put you on a black list? Thats dumb.

So far from our discussions, I will be adding the dat-ochi function.

Janestyle seems to be the only browser that was using the "raw" parameter. They had some kind of special permission to use it.
I think having special permission to use features is not good. Lets remove the raw function, or make it available for everyone to use.

If you want, we can make a thread on bbspink. There are no post limits or black list on bbspink.

>>85 確かにオプションは廃止してもいいですよね。

Here is a dat file on the client.

1 post A
2 post B
3 post C: that contains inappropriate words
4 post D
5 post E

Here is an up-to-date file on the sever.

1 post A
2 post B
3 post D
4 post E
5 post F
6 post G
7 post H
8 post I

The post C has been deleted by the administrator.
The client requires "6-". And the server returns as below.

6 post G
7 post H
8 post I

Now the file on the client is as below.

1 post A
2 post B
3 post C: that contains inappropriate words
4 post D
5 post E
6 post G
7 post H
8 post I

The inappropriate POST C remains and POST F is missing.
This is the reason why <OPTIONS> should not be used.

>>109
> >>108
> How does the black list work? Why does it put you on a black list? Thats dumb.
I described in >>37. I'm not clearly understanding it.

> So far from our discussions, I will be adding the dat-ochi function.
＼(^o^)／

> Janestyle seems to be the only browser that was using the "raw" parameter. They had some kind of special permission to use it.
> I think having special permission to use features is not good. Lets remove the raw function, or make it available for everyone to use.
I agree with you.


> If you want, we can make a thread on bbspink. There are no post limits or black list on bbspink.
Yes please.
てか、最初からそうしてくれればいいのにー

昔は転送量削減を重視して差分取得・gzip使用を組み込んでいたけど、
今は●流出分のレス削除とか時刻改竄・隠蔽重視で
有無を言わさずレス全取得が必須なのか

>>112
byte offse指定した差分取得でもあぼーんがあれば全取得されてたんだから
大して変わらんでしょ

>>112
そこを議論していただきたいです。
twintailとしては全取得しかしないので蚊帳の外ですが。
いずれにせよCodemonkey氏（と私）との間では技術的観点より実装議論をしてテストするだけなので
直接Codemonkey氏に伝えていただくあるいは決議案をお知らせいただく（て私が伝える）なければ
http://stream.bbspink.com/update.txt が http://2ch.tora3.net/about.html を満たしたと（私が満足した）ところまでで終了です、たぶん。

>>112
Rokkaというより、転送量が経費に直結かつ回収手段が十分でなかった頃からの歴史、
当時のネットワーク帯域、利用者数≒アクセス頻度等が絡んで優先度が転送量＞鯖負荷だった経緯があるのかと
今は利用者数が桁違いに増えているせいで利用者一人辺りの鯖負荷を軽減する事が
最優先なんだと思われ、専ブラ使わずにアクセスした際のウェイトとか見てもそんな気がする

かちゅ〜しゃの事情で言うと、差分取得を排除した場合でもkageがRokka→旧プロトコルの変換を
行えば(つまりkage内で全取得を行ってかちゅ〜しゃには部分取得分を伝える)一応動作を維持する事が可能
これはkageの中の人の作業負担の話になるので自分にはコメント出来ない

個人的には>>64のシステムを構築してる都合上どちらでも構わないんだけど、これはかちゅ利用者としては
特殊過ぎる事例だと思うのでかちゅの挙動をある程度調べた経験のある一個人以上のコメントはやっぱり無理だ

Lets continue our discussion in this thread:
http://pele.bbspink.com/test/read.cgi/erobbs/1379086553/

Bbspink does not have black list, and it is easier to make posts behind proxy.

Hello everyone.

Here is the source code for Rokka. Please have a look. You are all welcome to send pull requests!

https://github.com/Cipherwraith/Rokka

　URL http://rokka.<DOMAIN>/<SERVER>/<BOARD>/<THREAD>/[<OPTIONS>]?[raw=0.0&amp;]sid=<SID>
　SERVER : name of the server, pele,kilauea,...(bbspink)　anago,awabi,....(2ch)

これさあ、サーバー名は2ch側で紐付けしてくれるようには出来ん？
現行スレの1つ前のスレを取得するならいいけど
数年前のスレを取得しようと思うと、板移転やらで正式な（？）サーバー名が分からない事があるんだよね

それか、正式な板移転の全ログを提供して頂けませんか
2000年くらいの鯖名がうまい棒のそれだった頃から。●で取得できる最古の時代から。

現行の●は対象のスレの鯖名含めた完全なurlが分からないと取得出来ないし
鯖名を2ch側で紐付けしてもらうにしても、スレッドキーがわからないと取得出来ない。
だから、誰かがurlを貼るか、各スレの前スレ経由でしか●が使えない。

サーバー名のログを提供してくれれば、各鯖のkako/subject.txtを表示する事が出来るから
自分で、昔のスレ一覧を見て、気になったスレを取得する事が出来る。
●を売る側からしても、ウリの一つに出来ると思うし。お願い＞＜

>>118
ここはゴンタクレなどの規制がきつくて迅速な議論に向かないのでCodemonkey氏の管理下でもあるbbspinkへ移動しました。
Rokka System
http://pele.bbspink.com/test/read.cgi/erobbs/1379086553/
2つ上のレス >>116 にも書いてありますが

一応レスは転載して、可能性をCodemonkey氏に投げときますけど今それど頃じゃない事態になっているので回答には少し時間が掛かるかもしれません。

あと Rokka System　http://pele.bbspink.com/test/read.cgi/erobbs/1379086553/46 をお読みいただいてあらすじ理解していただけると幸いです。

何のために新しいものを作っているの?
新しいシステムでは何が解決されているの?

結局仕様がどうなったのかいまいち分からないんだが、
最終的に仕様が確定して、システムが安定的に動くようになったら
きちんと告知してくれるのかね

頼むから個人情報は紐付けするなよ。カード会社には迷惑かけただろ
3枚全部交換になったし変更届け大変だったんだぞ。請求したいわ

そうかそうか

assent

いつになったら2ちゃんねるに対応するんだよ
過去ログ見せろ、クズが！

test

うふ〜ん

SETTING.TXTの奴と違う削除痕だけど誰だろ
> BBS_DELETE_NAME=あぼーん！

>>128
Pinkちゃんねるの削除システムが2chにも導入されたらしいからそのせいだろう

457 xerxes.maido3.net＠Apparently admin ★ 2014/02/21(金) 11:31:38.89 ID:???
>>447
We are installing Pink Channel deletion
software on 2ch. That will be a little
change, but safer for the deleters.

過去ログ見れる機能ってもう回復したの？

.