【Perl】ファイルロック(排他処理)について語ろう

perlを始めて３ヶ月位ですが、ファイルロックに
ついて自分なりに色々と試行錯誤した結果、以下の
ようなルーチンを作りました。
flockが使える事が前提ですが、何か欠点や改良点が
あれば指摘して頂けるとありがたいです。

filelock.pl
package filelock;
our %_lock;
sub END {
　foreach my $file ( keys %_lock ) {
　　close( $_lock{$file}{'handle'} );
　　unlink( $_lock{$file}{'name'} );
　　if( $_lock{$file}{'tmp'} ) { rename( $_lock{$file}{'tmp'}, $file ); }
}　}
sub readOpen {
　my ( $file ) = @_;
　my ( $handle );
　_append( $file );
　if( !open( $handle, "<$file" )) { return undef; }
　return $handle;
}

sub writeOpen {
　my ( $file ) = @_;
　my ( $handle );
　_append( $file );
　if( !$_lock{$file}{'tmp'} ) {
　　$_lock{$file}{'tmp'} = $file;
　　$_lock{$file}{'tmp'} =~ s/(.*)\.(.*)/$1\.tmp/;
　}
　if( !open( $handle, ">$_lock{$file}{'tmp'}" )) { return undef; }
　return $handle;
}
sub _append {
　my ( $file ) = @_;
　if( $_lock{$file} ) { return; }
　$_lock{$file}{'name'} = $file;
　$_lock{$file}{'name'} =~ s/(.*)\.(.*)/$1\.lck/;
　open( $_lock{$file}{'handle'}, ">$_lock{$file}{'name'}" );
　my $count = 0;
　while( !flock( $_lock{$file}{'handle'}, 2 )) {
　　sleep( 1 );
　　if( $count++ > 10 ) {
　　　print '[error]Sarver Busy.';
　　　exit;
}　}　}
1;

ちなみに、使い方は下記のように使います。

require './filelock.pl';
$file = filelock::readOpen( "count.dat" );
$data = <$file>;
close( $file );
$data = $data + 1;
$file = filelock::writeOpen( "count.dat" );
print $file $data;
close( $file );

普通にflock使えばいいのにと野暮な突っ込み。

斜め読みしただけだから適当に。
ノンブロッキングロックじゃないと、whileループ内は無駄。
test.txtとtest.datが同じファイルと見なされる。
ロックを解除してるところがない？
サンプルスクリプトはロックが壊れる典型。

>>836
解答ありがとうございます。

>ノンブロッキングロックじゃないと、whileループ内は無駄。
そうですね。2(LOCK_EX)ではなくて2|4(LOCK_EX|LOCK_NB)
とすればokですね。

>test.txtとtest.datが同じファイルと見なされる。
まぁ、これは仕様という事で…(^^;

>ロックを解除してるところがない？
ENDの中のcloseで解除しているつもりなのですが
closeではロックは自動的解除されないのでしょうか？

>サンプルスクリプトはロックが壊れる典型。
どういう場合にロックが壊れるのでしょうか？
ご掲示頂けるとありがたいです。

>>837
ENDブロックは、スクリプトの処理の最後で処理されるので、
自動でアンロックさせたいのなら、返すファイルハンドルをオブジェクトにして、
DESTROYブロックを使ってアンロックさせる。
ついでにcloseも再定義。

ロックについては
http://web.archive.org/web/20040216083853/www98.sakura.ne.jp/~jun/perl/flock.html

>>838
意図的にENDブロックに書いています。オブジェクトを作ってDEST
ROYブロックでアンロックする方法も考えたのですが…

hoge01.pl
read "data01.dat"
read "data02.dat"
-> hoge02.pl
write"data01.dat"
write"data02.dat"
-> hoge03.pl
write"data03.dat"
end

↑こんな感じで読み書きしたい場合、ファイルアクセスする可能
性のある所全てでオブジェクトを保持していないといけないので、
意図的にグローバルに情報を置いて、スクリプトの終わりでEND
ブロック内で一括に処理したのです。

ところで、"closeも再定義"って何ですか？

closeの再定義と言ったのは、closeのオーバーライドすること。
closeでロックの開放をするのなら、自前のcloseを書いて、
そこで必要な操作を行ってから、CORE::closeを呼び出すという感じで。

と、考えていたのだけど、
どうも考え方が違ってたっぽいか。

ちょっと、皆さんが勘違いしているっぽいので詳細を書きます。

readOpen
　　戻り値 : ファイルハンドル
　　機能 : 指定されたファイルの拡張子をlckに変えたファイルを
　　flockして指定されたファイルをオープン。flockが10秒以上で
　　きない場合は異常終了。

writeOpen
　　戻り値 : ファイルハンドル
　　機能 : 指定されたファイルの拡張子をlckに変えたファイルを
　　flockして指定されたファイルの拡張子をtmpに変えたファイル
　　をオープン。flockが10秒以上できない場合は異常終了。

END
　　機能 : readOpen,writeOpenでロックされたファイル(*.lck)を
　　close。writeOpenで返したのファイル(ハンドル)を元の名前に
　　リネーム。(*.tmp→*.元の拡張子)

引き続き、何か欠点や改良点があれば指摘して頂けるとありがたいです。

>>841
致命的にやばい点:

ENDの中でlockファイルをcloseした時点でflockは外れるので、
その後のunlockとtmpファイルのrenameがロックなしで行われる。

改善した方がいい点:

readしかしない場合でも排他的にロックしてしまうのは嬉しくない。

ENDが実行されるまでロック状態が持続するので、ロックの保持
期間が長くなりそうだしdaemon的プログラムだとどうすんの?

tmpの書き込み中に問題がでて取りやめたいときの手段がない
(やろうと思えば%filelock::_lockいじる手はあるが...)

リトライ回数が尽きたときにいきなりexitするのは汎用性がない。
せめてdieにしとけばevalでトラップする余地があるのだが。

>unlockとtmpファイルのrenameがロックなしで行われる。
そうですね。renameは一番最初にやるとして、その後にunlink→
closeでしょうか？closeの前にunlinkってできるのでしょうか？

>readしかしない場合でも排他的にロックしてしまうのは嬉しくない。
ここでは省略しましたが、
　unlockFile( $filename )
　　　機能 : 強制的に指定されたファイルのロックを解除する。
というルーチンがあります。自分は、デフォルトは「最後まで排
他的にロック」。オプションで「指定したファイルのロックを解除」
っていう感じで考えてます。この方が間違いが無いと思うので。

>tmpの書き込み中に問題がでて取りやめたいときの手段
そうですね。これは、abortLockみたいなルーチンを作って最後の
ENDブロックの中でrenameしないようにすれば良いんじゃないで
しょうか？

>リトライ回数が尽きたときにいきなりexitするのは汎用性がない。
if( $count++ > 10 ) {　die "flock busy" }
こんな感じで良いですかね？

まだまだ経験が浅いので、先輩諸氏からの助言は為になります。
他にも欠点や改良点があれば指摘して頂けるとありがたいです。

>>843
「ファイルを変更する(可能性がある)場合に排他ロック、読むだけで済む場合は共有ロック」
というのはひとつのセオリーだけれども、なぜそれがセオリーなのか、そもそもファイルロックとは何なのかを調べるなどして考えてみましょう。

>readしかしない場合でも排他的にロックしてしまうのは嬉しくない。

という >>842 の指摘にはまったく同意で、デメリットはいくらも思いつくけれど残念ながらメリットはひとつも思い浮かびません。
見境なしに排他ロックというのではファイルロックの魅力が半減以下です。

またファイルを利用している、いないに関わらずロックを離さないというのはお行儀が今ひとつ。各プロセスの実行時間が充分に短く、また起動頻度が比較的低ければ問題は出づらいでしょうけれど、少なくとも誰かに勧めることができるやり方じゃないですね。

色々な意見を参考に作り直してみました。
前作にあったバグ(read→write→readした時に*.tmpファイルから
読まない)も修正しています。

open
　　パラメータ：通常のopenと一緒だけど使えるのは'>'と'<'のみ。
　　戻り値：ファイルハンドル
　　機能：指定されたファイルの拡張子をlckに変えたファイルを
　　flockして指定されたファイルをオープン。flockが10秒以上で
　　きない場合は異常終了。
close
　　パラメータ：openで得られたファイルハンドルとオプション。
　　機能 : 指定されたファイルハンドルを閉じます。オプションで
　　1を指定するとロックを解除して書き込みがある場合はリネーム
　　して反映。2を指定するとロックを解除して書き込みがある場合
　　は*.tmpファイルを削除(つまり書き込みをキャンセル)
END
　　機能 : *.lckをclose&unlink。*.tmpがある場合は、元のファイ
　　ル名にリネーム。

package filelock;
our %_FileList;
our %_HandleList;
sub END {
　foreach my $filename ( keys %_FileList ) {
　　if( $_FileList{$filename}{'temp'} ) { rename( $_FileList{$filename}{'temp'}, $filename ) }
　　unlink( $_FileList{$filename}{'lock'} );
　　close( $_FileList{$filename}{'handle'} );
}　}

sub open {
　my ( $filename ) = @_;
　my ( $handle, $tempfile, $mode );
　if( $filename =~ /^>.*/ ) { $filename =~ s/^>(.*)/$1/; $mode = 2 }
　elsif( $filename =~ /^<.*/ ) { $filename =~ s/^<(.*)/$1/; $mode = 1 }
　else { return undef; }
　if( $mode == 1 && !( -e $filename )) { return undef }
　if( !$_FileList{$filename} ) {
　　my $lockname = $filename;
　　$lockname =~ s/(.*)\.(.*)/$1\.lck/;
　　open( $handle, ">$lockname" );
　　my $count = 0;
　　while( !flock( $handle, ( 2 | 4 ))) {
　　　sleep( 1 );
　　　if( $count++ > 10 ) { die "flock busy" }
　　}
　　$_FileList{$filename}{'lock'} = $lockname;
　　$_FileList{$filename}{'handle'} = $handle;
　}
　$tempfile = $filename;
　if( $mode == 1 ) {
　　if( $_FileList{$filename}{'temp'} ) { $tempfile = $_FileList{$filename}{'temp'} }
　　if( !open( $handle, "<$tempfile" )) { die "file open error(read)" }
　} elsif( $mode == 2 ) {
　　if( $_FileList{$filename}{'temp'} ) { $tempfile = $_FileList{$filename}{'temp'} }
　　else {
　　　$tempfile =~ s/(.*)\.(.*)/$1\.tmp/;
　　　$_FileList{$filename}{'temp'} = $tempfile;
　　}
　　if( !open( $handle, ">$tempfile" )) { die "file open error(write)" }

　}
　$_HandleList{$handle} = $filename;
　return $handle;
}
sub close {
　my ( $handle, $option ) = @_;
　if( $option && ( $option == 1 || $option == 2 )) {
　　close( $handle );
　　my $filename = $_HandleList{$handle};
　　if( $_FileList{$filename}{'temp'} && $option == 1 ) { rename( $_FileList{$filename}{'temp'}, $filename ) }
　　elsif( $_FileList{$filename}{'temp'} && $option == 2 ) { unlink( $_FileList{$filename}{'temp'} ) }
　　unlink( $_FileList{$filename}{'lock'} );
　　close( $_FileList{$filename}{'handle'} );
　　delete( $_FileList{$filename} );
　　delete( $_HandleList{$handle} );
　} else {
　　close( $handle );
　　delete( $_HandleList{$handle} );
}　}
1;

例：
require './filelock.pl';
$file = filelock::open( "<count.dat" );
$data = <$file>;
filelock::close( $file );
$data = $data + 1;
$file = filelock::open( ">count.dat" );
print $file $data;
filelock::close( $file, 1 );

わぁ。。 もっとシンプルなやり方あるのにぃ〜

my ( $filename ) = @_; まで読んだ。

どうせ>>848は、「じゃあ、そのやり方を書いてみろ」
と言ったところで、その案に穴があるか、書けないか
どっちかだろ？…という訳で、とりあえず

>>848
じ ゃ あ 、 そ の や り 方 を 書 い て み ろ

unlinkしてからcloseもだめです。

(Aが正常にロックを取得した状態から)
B: open
A: unlink
C: open
A: close
B: flock(成功する)
C: flock(成功する)

flockを使うときはロックファイルは一度作ったら消さないのが
わかりやすい。

どうしても削除したければ、その操作をするためのロックを
別にするとかややこしいことをする羽目になる。

>>851
ん？Aがロックした状態なんだよね？
B: open -> Aがロック中なので開けない
A: unlink -> 自分がロック中なので削除できる
C: open -> Aがロック中なので開けない
A: close -> 自分のロックを外す
B: flock(成功する) -> Bがロック
C: flock(成功する) -> Bがロック中なので開けない…のでわ？

>>852
flockによるロック中でもopenはできるのでBはopenできるし、
Aが削除した後はそのファイルは存在しないんだから、
Cは新たに同じ名前の別のファイルを作ってopenできる。
そしてことのきBとCがそれぞれロックファイルだと思って
開いたファイルは実は別のものになるというのが問題
なのです。

>>853
削除したらロックが外れるのは初耳だ。
つちの環境だと
open -> unlink -> sleep(10) -> close
で、sleep(10)の間はflockできないんだが…。

>flockによるロック中でもopenはできるので
>>833(845)のソースではopenする前にflockの
確認してると思うけど、そりゃ、perlが内部で
flock処理に入ったタイミングで他プロセスが
openしたらできるかもしれないが、そしたら
flock自体意味無しって事になるぞ？

正:うちの環境
誤:つちの環境

とりあえず>>853は>>833(845)のソースを実際に実行して
穴があってから発言したら？
"俺予想"だけで発言しても意味無いよ。

>>854
削除したらロックがはずれるのではなくて、同じ名前のロック
ファイルを別に作れてしまう。sleep(10)の間にロックファイルを
openしようとしたら存在しないので新しいファイルが作られてしまう
から、当然flockもできるでしょ。

> openする前にflockの 確認してると思うけど
flockはopenした後のファイルハンドルに対する操作
だから、openしてないのにできるわけないよ。ロックファイルの
openと操作したいファイルのopenを混同してない?

package filelock;
や
sub open
や
sub close
見ただけで、他のところ見る気なくすね。

>>856
なるほどね。
しかし、open→flockの間にflockされる問題を回避する事なんてできるの？

>>857
スレタイを百万回読んでスレの趣旨が名前なんて関係無いという事に気付け。

> しかし、open→flockの間にflockされる問題を回避する事なんてできるの？
げらげら
sub openとか、package filelockなんか平気で使ってる奴はやっぱりレベル低いねえ。

せっかくのflockが泣いてるぜ。。

>>859
漏れは>>858だけど>>833じゃないんだけどなぁ。
なんか、このスレは文句ばっかりで意欲的に書き込んでる>>833を
援護しただけなんだけど、文句言うだけがスレの趣旨みたいね。

スレ汚しスマソ。

> しかし、open→flockの間にflockされる問題を回避する事なんてできるの？
じゃなくて、その問題が起きないようにしないとロックになってないわけよ。
一番簡単なのは851で指摘してる通りロックファイルを削除しないこと。

ただの文句としか言えない書き込みがあるのも確かだが、まじめに
バグを指摘してるのにひとくくりにして文句とか言われてもなぁ。

>>848-862
色々とご指摘ありがとうございます。ロックファイルをunlinkす
ると、close前にロックファイルがopen(作成)できてしまう問題を
回避する為にunlinkしない事にしました。
しかし、それだと*.lckが沢山できてしまうので、filelockディレ
クトリを作ってその中に作る事にしました。同様に書き込み用の
テンポラリファイルもその中に作るようにしたので、今までの
*.lckや*.tmpファイル名が使えなかったり拡張子だけが違うファ
イルが扱えない問題も無くなりました。
その代わり、各ディレクトリにfilelockという名前のディレクト
リができます。以下にソースを晒します。

sub open {
　　my ( $filename ) = @_;
　　my ( $handle, $mode );
　　if( $filename =~ /^>.*/ ) { $filename =~ s/^>(.*)/$1/; $mode = 2 }
　　elsif( $filename =~ /^<.*/ ) { $filename =~ s/^<(.*)/$1/; $mode = 1 }
　　else { return undef; }
　　if( $mode == 1 && !( -e $filename )) { return undef; }
　　$filename =~ /(.*)(\\|\/)(.*)/;
　　if(! -d "$1$2filelock") {
　　　　mkdir("$1$2filelock", 0755);
　　　　mkdir("$1$2filelock/tmp", 0755);
　　}
　　if( !$_FileList{$filename} ) {
　　　　$filename =~ /(.*)(\\|\/)(.*)/;
　　　　my $lockfile = $3 eq '' ? "$1$2filelock/$filename" : "$1$2filelock/$3";
　　　　if( !open( $handle, ">$lockfile" )) { die "file open error" }
　　　　my $count = 0;
　　　　while( !flock( $handle, ( 2 | 4 ))) {

　　　　　　sleep( 1 );
　　　　　　if( $count++ > 10 ) { die "flock busy($lockfile)" }
　　　　}
　　　　$_FileList{$filename}{'lock'} = $lockfile;
　　　　$_FileList{$filename}{'handle'} = $handle;
　　}
　　if( $mode == 1 ) {
　　　　my $openfile = $filename;
　　　　if( $_FileList{$filename}{'temp'} ) { $openfile = $_FileList{$filename}{'temp'}; }
　　　　if( !open( $handle, "<$openfile" )) { die "file open error" }
　　　　$_HandleList{$handle} = $filename;
　　　　return $handle;
　　} elsif( $mode == 2 ) {
　　　　my $openfile = $filename;
　　　　if( $_FileList{$filename}{'temp'} ) { $openfile = $_FileList{$filename}{'temp'};
　　　　} else {
　　　　　　$filename =~ /(.*)(\\|\/)(.*)/;
　　　　　　my $tempfile = $3 eq '' ? "$1$2filelock/tmp/$filename" : "$1$2filelock/tmp/$3";
　　　　　　$_FileList{$filename}{'temp'} = $tempfile;
　　　　}
　　　　if( !open( $handle, ">$openfile" )) { die "file open error" }
　　　　$_HandleList{$handle} = $filename;
　　　　return $handle;
　　}
　　return undef;
}

引き続き、欠点や改良点があれば指摘して頂けるとありがたいです。

というか、排他制御の何たるかが理解できてないのに、
いくらコード書いたって無駄だろ。
少なくとも誰も使わんと思うが。

文句しか書かない厨は、華麗にスルーでおながいすまつ。

文句にしか聞こえない馬鹿は、似非ロックをバグと一緒に作っていなさい。

>>867
すげー苦しい言い訳だ。>>865が文句に見えないなら
小学校の国語からやりなおした方が良いよマジで。
とりあえず漏れが>>865が文句だと思う具体的な根拠は…
・どこが問題なのか具体的な事が書かれていない
・自分の中の意見を「誰も」と書くことで皆と同じだと思い込んでる
・文章が全体的に罵倒した口調。何かイヤな事でもあったの？(w

>>833
最初に比べると随分マシになったと思うよ。
具体案を何も提示しないアホな煽りに構わず頑張って欲しい。

>>865-367
2ちゃんねるですからねー
煽り煽られはあたりまえ
荒らしはスルーが基本ですよ

なんてルーチン内でロック失敗してundef返すのとdieで処理を完結させるのが
混在してるの？

もちっとプログラミングができるようになってからやろうな。
まだ君には早いよ。

みんなに使って欲しい、というんではなく、Perlの勉強として
やってんでしょうから、大目に見てやんなって。

perlの勉強の前に排他制御の勉強しないから似非ロックが量産される。

>>870
ファイルが無かったりオプションの指定が違ったりだとundefしてて、
ファイルに書き込めなかったりロックできなかったりするとdieしてる。
たぶん、見た感じだとundefは想定内(？)のエラー。dieは想定外(？)
のエラーって感じじゃないのかな？

漏れは>>883のソースで十分に排他制御できてると思うんだけど
とりあえず>>865>>873が言う「排他制御」と>>833のソースの
排他制御は何が違うのか具体的に書いてくれまいか？

>>883
頑張れ。

>>875
「これだから排他制御を理解してない香具師は…」って
言いたいだけなんだよ。そっとしといれやれ(w

>>833
排他的なロックに対しては、それで良いと思う。テンポラリファイルを作って書き込み
エラーにも対応してるし。しかし、それで全てＯＫという訳では無い。
例えばAというファイルをプロセス1〜10が同時に読み込み処理が行われて書き込み処理が
無い場合を考えてみよう。プロセス1が読み込み終わるまでプロセス2は読み込み処理を
行えない。読み込み処理だけならば排他的なロックは必要無いのに。
まぁ、それをわかっていて>>833が何でも排他的なロックを使っているなら良いのだが…

こうだろ？

× 読み込み処理だけならば排他的なロックは必要無いのに。
○ 読み込み処理だけならば排他的なロックは必要無いケースもあるのに。

ソースは他のところに上げて、そのURLを書いてください。
すごく邪魔

なにがなんでも「データを取得できずに空ページを表示」というのを防ぎたいんじゃないのかなぁ？
って思ったり。

書き込みオープンだけを行うと、一回目と二回目で違うファイルを開かないか。

>>882
開かないと思うけど…。それに追記に対応してないみたいだから
１回目も２回目も「新規ファイル作成」扱いになるんだよね？

>>864で、書き込みファイルの指定が
> my $openfile = $filename;
> if( $_FileList{$filename}{'temp'} ) { $openfile = $_FileList{$filename}{'temp'};
てなことになってる。

「書き込みを行って読み込み」を行うとすると、
まず書き込みで$filenameに書き込まれて、
読み込みで$_FileList{$filename}{'temp'}が読まれることになると思われる。

test

で、結局どうなったの？

　　　　　　＿＿＿＿＿_　　　　　　 ＿＿＿＿＿＿
　　　　　r'　,v^v^v^v^v^il　　　　／　　　　　　　　　　ヽ
　　　　　l　/ jニﾆｺ　iﾆニ!.　　 /　　ジ　　き　　ぼ　　　l
　　　　i~^'　 fｴ:ｴi　 fｴｴ)Fi　　!　　　ｬ　　れ　　く　　　 l
　　　　ヽr　　　　　 ＞ 　 V　　!　　 イ　　い　　は　　　l
　　　　　l　　　!ー―‐r　　l　＜.　　 ア　　な　　　　　　 l
　__,.r-‐人　　 ｀ー―'　　ﾉ＿　ヽ　　ン　　　　　　　　　/
ノ 　 !　!　　ﾞｰ‐--￣--‐'"ハ ~^i ＼＿　　　　　　 ＿ノ
　ヽ　!　ヽ､＿　　　　 ＿.ノ　 i　 ＼　　 ￣￣￣￣
ヾV /　　　　　　　　　　　　　 ! ／.入

renameでロックをしてみました。どうでしょうか？
　　$nowsec=time;
　　$lockname="./lock/lock_".$nowsec;
　　$basename="./lock/lock";
　　while (1){
　　if (rename $basename,$lockname){&process()};
　　$n++;
　　if ($n>=5){&error()};
　　sleep 1;
　　};
　　opendir (LOCKDIR,lock);
　　@filelist=readdir(LOCKDIR);
　　closedir(LOCKDIR);
　　foreach $filename (@filelist) {
　　if ($filename=~/_/) {
　　($dest,$locktime)=split(/_/,$filename,2);
　　　　unless ($locktime==$nowsec){
　　　　$timedif=$nowsec-$locktime;
　　　　　　if ($timedif>=5){
　　　　　　rename $filename,$lockname;
　　　　　　};
　　　　};
　　};
sub process{
　　&backname()
}
sub backname{
　　rename $lockname,$filename;
}

ファイルロックと言うのは、
先にファイルを開いておいて、それからロックするものですか？

オープン前に排他制御かけるのは無駄ですか？

有効。

>>889
flockだとファイルハンドルが必要だから先にオープンしないといけない。

@dataにデータがある分だけ、ファイルF1とF2に全く同じデータを上書きしたい場合
こんな感じでいいのでしょうか？
上書きする部分だけループにしています。添削してもらえませんか？

open(F1,">$file1")||die();
flock(F1,LOCK_EX);
open(F2,">$file2")||die();
flock(F2,LOCK_EX);
foreach(@data){
($aaa,$bbb)=split(',',$_,2);
print F1 "$aaa,$bbb\n";
print F2 "$aaa,$bbb\n";
}
close(F1);
close(F2);

1個ロックしときゃいいんじゃないの？

>>892
書き出したファイルを読み出すことは無いの？
@dataで書き込むデータは常に増えて、減ることはないの？

上二つのどちらかでも該当すると ">"でオープンするのはまずいと思われ。

定番どころをまとめておくか。

http://search.cpan.org/~nwclark/perl-5.8.7/pod/perlfunc.pod#flock
http://www.kt.rim.or.jp/~kbk/perl-5.8/perlfaq5.html#how_can_i_lock_a_file
http://web.archive.org/web/20040216083853/www98.sakura.ne.jp/~jun/perl/flock.html
http://homepage1.nifty.com/glass/tom_neko/web/web_04.html
http://www.bioinfo.jp/tips.html#flock
http://www.din.or.jp/~ohzaki/perl.htm#File_Lock

>>893
F1とF2で別々のファイルを開くのに、ロックは１つで良いのですか！？

>>894
このcgiファイルでは、このF1やF2は上書きだけで終了です。
このスクリプトの中でF1およびF2の中に追加項目があったりするので、それを足したのをまた同じF1やF2に上書きするという処理をさせています。

ですので、このファイルでは
>書き出したファイルを読み出すことは無いの？
>@dataで書き込むデータは常に増えて、減ることはないの？
ということは無いです。

ただですね、他のcgiファイルでは読込みがあります。
F1とF2では用途が違うので同じ内容を2つに分けていますが、片方はダウンロードして使いたいのでCSVファイル、もう片方が他で読み込んで使う用途にtxtファイルにしています。
このtxtファイルの方も、他のcgiファイルのスクリプトの中で読み込みはしますが、項目が減ったり増えたりすることはありません。

私は、この部分が変に冗長になっているのではないかと思い、他に良い書き方は無いかと考えてみたのですが
どうしても他の方法が浮かばなかったのでこちらの専門スレに投稿させて頂いた次第です。

良かったら、他の書き方があればご教授願えませんでしょうか？

>>895
ありがとうございます。
その内4つは調べている段階で既読でした。
他のサイトを拝見してきます。

>>895
今拝見してきたのですが、端的にflockの使い方良し悪しについて述べられているサイトを見つけるのが難しい中、プロセスから易しく書かれたものが見つけられました。
ありがとうございました。

その中にあった
http://web.archive.org/web/20040216083853/www98.sakura.ne.jp/~jun/perl/flock.html#99
の「ゴミ」というところに似た書き方をしているのではと、かなり不安になりました。
特にCSVファイルの方は、サーバからダウンロードして後から情報の閲覧や整理に使いたいので
（@dataに追加するデータは、ある条件を満たすもののみ○、そうでないものは何も書かないというごく簡単なものですが）
○では無いのに○が付いてしまったり、またはその逆などのエラーがあると困ってしまうのです。

ますますもって、このままで良いのか不安になってきました。
ファイルロックについて、このサイトのようにプロセスから細かく記されている書籍などはご存じないでしょうか？
もし、お暇でしたら私のスクリプトの不安箇所の訂正などして頂けたらありがたいのですが....

>>892
open(F1,"+<$file1")||die();
flock(F1,LOCK_EX);
open(F2,"+<$file2")||die();
flock(F2,LOCK_EX);
...
truncate(F2, tell(F2));
close(F2);
truncate(F1, tell(F1));
close(F1);

($file1,2は既に存在するとして)こんな感じかな。
同じ内容なら、一つのファイルにすることを考えた方がいいかも。
リンク張るとか。

> 「ゴミ」というところに似た書き方をしているのではと、かなり不安になりました。
同じファイルに対して排他的なロックすることで起こるデッドロックだね。
関係があるとしたら、File2とFile1を逆順に排他的にロックするプログラムが有るとき。
そのときはデッドロックを引き起こす可能性がある。

>>897
lock は結局読み込みから書き込みまでの間に何をするかなんだよな。
（読み込みが含まれるのは読み込んで書き込むまでの間に他の
プロセスが書き込みを行ってしまっていた場合に、新たに書き込む
データが既存のデータを壊してしまうから。）
だから本当は書き込みのところだけ晒されても正しいのかどうかは
判断できない。

ロックで具体的にこうしろというコードが表に出てこないのは
そういう理由もある。

士ね

更新処理はこうしてる。

if (!open(ORI,"$original_file")) { &error; }
if (!open(TMP,"> $tmp_file")) { &error;}
if (!open(LOCK, "$lock_file")){&error;}
flock(LOCK, 2);
while ($_ = <ORI>) {
#各種更新処理
print TMP "$changed_line";
};
close(ORI);
close(TMP);
&lock;
flock(LOCK, 8);
close(LOCK);

sub lock {
$list = `ls $ls`;
@lists = split(/\s+/,$list);
@lists = grep(/\.tmp/,@lists);
@lists = grep(!/$tmp_file/,@lists);
if (@lists) {
if (-e "$tmp_file") { unlink("$tmp_file"); }
&error;
}
if (!rename("$tmp_file","$original_file")) { &error; } ;
chmod 0666,"$original_file";
}

システムが瀕死の状態ん時に（年に1度ぐらい）壊れるが。

open my $lock, "> $lock_file" or die;
flock $lock, LOCK_EX|LOCK_NB or die;

open my $in, "< $data_file" or die;
open my $out, "> $tmp_file" or die;

while (my $line = <$in>) {
# bra bra bra
. . . . .
print $out $line or die;
}

close $out or die;
close $in;

rename $tmp_file, $data_file or die;

close $lock;

とかでいいんじゃね？

>>902
flockを信じればそれでもいけるが、テンポファイルが何らかの障害で生き残った場合
リネームで致命傷。
ユニークなファイル名にしといた方が安全かなと。

つFile::Temp

flockを信じればって、じゃあ何を信じりゃいいのさ？
つか、flockすんならテンポラリファイルいらねーだろ。

use Fcntl qw/:DEFAULT :seek/;

sysopen my $fh, $file, O_RDWR|O_CREAT|O_EXLOCK, 0600 or die $!;
my $sz_file = -s $fh;
sysread $fh, my($buf), $sz_file or die $!;
my @data = split /\n/, $buf;

　　　　　　　：
　　　　　　　：

my $sz_data = length($buf = join "\n", @data);
sysseek $fh, 0, SEEK_SET or die $!;
if ($sz_data < $sz_file) {
　　$buf .= "\n" x ($sz_file - $sz_data);
　　syswrite $fh, $buf, $sz_file or die $!;
　　truncate $fh, $sz_data or die $!;
} else {
　　syswrite $fh, $buf, $sz_data or die $!;
}
close $fh;

>>905
書き出し中に再起動したらどうする？
書き出し中に電源落ちたらどうする？

排他処理とは関係ないけど、907が言うような障害対策？を
まとめたサイトってありますか？

>>907
そこまで考える必要があるなら、DB使うよｗ

>>909
そこまで考えるとDB使っても無理。
データは壊れるものと思って、定期的なバックアップは必要。
もちDBのほうが壊れにくいが、それでもMySQLなんて更新多いと壊れる事はある。
このスレはDB使えなくて、それでも極力ファイル破損させたくないって人が対象だろうから、
flock＋店舗ファイルが正解なんじゃない？
共用鯖使ってる人が多いだろうけど、そういう鯖は完全に落ちなくてもflock効いてない時結構あったよ。
俺の借りてた鯖の場合は店舗ファイル使って、ずいぶん壊れにくくなったなぁと思うんだけど。

今は自鯖あるから俺もDB使っているけど。

open my $lock, "> $lock_file" or die $!;
flock $lock, LOCK_EX;
tie @data, "DB_File", $data_file, O_RDWR|O_CREAT, 0666, $DB_RECNO or die $!;
# 更新処理
untie @data;
close $lock;

これで壊れたことないんだけど、何か問題ある？

>>902
>>911
君らの方法でFAな気が酢

いやいや、
> LOCK_NB or die;
って、少しは待ってみるとかalarm仕込むとかしようよ。

>>910
> そこまで考えるとDB使っても無理。
SQLite3 なんかはトランザクション中に再起動や電源断があっても大丈夫って言ってるみたい。
やりかた次第じゃないかな。

いや、だから、ロックファイル＋テンポリネームが答えなんじゃ・・・

テンポリネームｗｗｗ

ここでよいのか分かりませんが。。

このスレを参考にflockでかなりファイルが壊れなくなりました
頭が下がる思いです

で、最近処理速度が気になります。
無論ハード面での影響があるとは思いますがflockで処理するより
MySQLなどを使った方が処理速度は飛躍的に向上しますか？
えろいひと教えて下さい

>>917
データ構造が巨大かつ複雑で、そこから任意の情報をいやらしい感じに読み書きするような話なのであれば、RDBMS に SQL 渡して丸投げしたほうが *効率は* いいと思う。
餅は餅屋というやつだ。

くぁＷせＤＦＲＧＴＹふじＫぉＰ；＠：

もちつけ　LとOが入れ替わってるぞ

すなおにsleepでいいじゃん。

俺様が勉強してるからあげ

結局、一番有効な排他処理は？

すみませんが、お聞きしたいのですが、
ローカルの環境でカウンターのファイルロックの強度を試すのに、for文で1000回カウンターのファイルにアクセスするスクリプトを作り、
それをタブブラウザで10個開いておいて、全てのタブを再読み込みさせて10000回カウントされているのを見るのは有効な手段でしょうか？
またネットワークにつながっているもう一台のパソコンからも、さらに同時に更新をかけて、20000回カウントされてるかどうか見るのは有効でしょうか？

「有効な手段」の定義が良くわからんが、タブブラウザ使っても
httpの同時セッション数が既定の2とかだとまったく意味ﾅｻｽ。
素直にab（apache bench）とか使っとけ。

テストしてやるからソースを

テストしてやるからサーバを

テストしてやるからネットワーク接続を

テストしてやるからパソコンを

その前にとりあえずご飯を

その前に妹を紹介して

>>924
ロックには二種類しかない、駄目なロックと正しいロックだ。中間はない。
「ロックの強度」などと言うやつが作ったものは駄目なロックである可能性が非常に高い。

男は黙ってライブステージに立てロックを感じろ

今夜ネットつながるのでファイルロックを研究するためこのスレ使いますね。PHPですけど。

ずんずんちゃっずんずんちゃっ
うぃ〜うぃるうぃ〜うぃるろっきゅ〜

それ lock じゃなくて rock

ファイルロックはデータファイル以外にロック用ファイルを用意したほうが楽だから
そうしてるけどデータファイル自体をロックする場合って
一時ファイルに書き出してデータファイル名にリネームした瞬間ロック解除扱いになるんだよね？

そうなるとロック待ちプロセスがデータファイルオープンしてファイルロック中にリネーム
されたらファイルが存在しなくなってファイルハンドルが無効になってファイルロックが偽を返すのかな？

とりあえずコードで説明して

>>937
> 一時ファイルに書き出してデータファイル名にリネーム
それ自体は何ら排他処理になっていない。書込途中のプロセス死亡と
いったケースでデータファイルが壊れるのを防ぐ為の手順。

ロックファイルを使わずに排他処理したいなら、

open my $fh, '+<', '/path/to/file' or die $!;
flock $fh, LOCK_EX;
...
close $fh;

のようになる。

このスレも残りわずかですね

１つ疑問いいですか？
flockの有効範囲（？）っていうのがいまいち分からなくて。。
同一サーバ内、バーチャルドメインごと、１スクリプトごと。。。？？

flockを使って、このスレにある方法を使い正しいロック方法の時だとします

ここまで読んだものから推測するとサーバ内であれば別のスクリプトから呼び出しても効きますよね？(ファイルハンドルが同じなら)

逆に言えばflockを使っているファイルハンドルを別のスクリプトで使ったら解除してしまうってことですか？
レン鯖みたいな共用鯖でよく使いそうなファイルハンドル（INとかOUTとか）でflockを使うと危険なんですかね？

言語に備わってるファイルロック関数は信用してはいけない

>>940
Perlのflockは様々な実装があるので、ここではUnix互換OSのflock(2)が
使われた場合とすると、

・flockはOSの機能なので、機能するのはOSの範囲内。
・正しい書き方をすれば、別のプロセスがロックを外すことは無い。
・別プロセスからのflockの開放は可能らしい。

ファイル構造体にフラグ立ててるわけだからファイルハンドル・別スクリプト云々は考えなくていいっしょ

mkdirが使えるなら絶対そっちのほうがいいよ

>942
遅ればせながら?ｫです

NFSを介した向こう側のファイルを開く時はflockが効かなかったりする。

>>946
(OSが管理してるので)同じサーバ内でならflockでいい。
別のサーバからのアクセスもロックしたいなら
lockd動かしてfcntlでロックする。

ファイルロックって、馬鹿ですか？
mutex使えよ、アホ

>>948
Windowsなんて糞なサーバ使うより1000万倍まし。

>>946
そういうときは、fcntlを使うようにオプションで指示してコンパイルする。

ファイルロック関数に頼ったロックに頼るべきではない。
独自に考えるべき

ここはスレタイにあるとおり、「perl」でという制約の元の排他制御に
関する議論をするスレッドなんだよ。
しかもwebprog板なので、サーバーサイド限定だ。
すなわちWin限定の解は採点が低い。

次スレは言語選ばないべき。過疎ってるから

PHPも仲間に入れてやってください

PHPか。

Perlで1個作って、それを移植するだけだろｗ

>>956
ほとんど同じでOKなの？

５年前のスレかよｗ

半年前のレスかよ

ageてみるか

このスレが無限ロックされてるんじゃね？ｗ

flockにロックIDとかつけてくんないかなー
部分ロックしたいときに困る

ていうかファイルに対するlockじゃなくて、完全にIDのみで管理するロック機構があれば応用がきくのに
そういうのって何で作られないの？何かわけがあるの？

ファイルに対してlockしないでなににlockするんだい？

管理はファイルごとに行うんじゃなくてファイルハンドルごとに行うんじゃないかい？
ま、ルールに則って処理しなければlockはいくらでも無視できるけど

何言ってんのさ。
mkdirとかを用いた方法だって、あくまで"処理のロック"だろ。
その処理ってのがファイルアクセスだったときにファイルロックになるだけでさ。

わざわざロック専用のファイル作ってそれにflockかける場合のこと考えると、「対象としてのファイルがなければロックできない」ってのはどうにも無駄な制限だと思うんだけど。


って書いたけどIDだけでの管理は共用鯖とかだと現実的じゃないな。

System V IPCのセマフォ使えばいいんじゃない？
perlなら組み込み関数あるし、CPANにもライブラリあるよ。

質問です。
apacheのアクセスログの様にとにかく最後尾に追記するだけの場合、排他処理は必要ですか？

use Fcntl;
sysopen(OUT, $FileName, O_WRONLY|O_CREAT|O_APPEND);
print OUT "aaa\n";
close(OUT);

これだけで済めばいいな〜というのは甘い考えでしょうか？

追記は確か混じった。

>>968
レスありがとうございます。
後で編集するので書き込まれる順序は特に気にしませんが
一応flock程度はやっておこうかなと思ってます。

それは print を使うからでは。
一回のシステムコールで書き込まれるようにすれば?
syswrite を使うか、バッファを無効にする。

書き込みすんだったら、
ロックは必須でしょう？

このスレでも何度かいわれたし、
http://www.bioinfo.jp/tips.html#append に詳しく書いてある。
確認してみれ。

システムに依存するけど、どの操作もアトミックにできれば、ロックはいらねぇって話だわな。