/**ファイルシステム総合スレ その1**/

/.Jでこのスレと同じようなこと繰り返してるな。

>>301
私は235,236,238,245です
/.では簡潔な発言をした方のACです
softupdateは鰯の頭です

2.5のXFSはバッファキャッシュを使わずに巨大な
I/Oを一度に発行するので，でかいデータを扱っても
割り込みの数やCPU負荷を抑えられるというメリットが
あります。

NortonGhost2003《やっと》ext3に対応。

LinuxのUDFって日本語ファイル名が使えないの？

>>272,275
かめれすだが ...
e2compr の 2.4 対応版でてきたよ。
http://www.alizt.com/

>>306
（ﾟ∀ﾟ）すばらしい！！
だが・・・なんて色使いなんだこのページわ・・・

http://marc.theaimsgroup.com/?l=linux-kernel&m=103298446916066&w=2
なんか、もーreiserfsなんて要らない感じだな

近代的な(linuxの)fsの機能
o 高速なディレクトリアクセス(hashでB-treeに対抗できてる？)
o i-nodeのダイナミックアロケーション
(reiserfs, jfs, xfs: df -i で変な数字が出てくる)
o ブロックの遅延確保(XFS)
o バッファキャッシュを使わずに巨大I/O(xfs,(jfsはジャーナルのとこだけ))
o SMPでのスケーラビリティ(ext3は低い，ext2を含めて他は高い)
o tail merging(reiserfs)
あとはlinuxでの動作実績(1年ぐらい)も欲しい

>>308
ディレクトリのアクセスが速くなるのはいいけど
ReiserFSｽﾃと言うほどExt3が良いの？ どんな点が？

ReiserFSはこれからのFSだからもうちょっと見守ってみるべきかと。

実際問題としてディレクトリエントリへのアクセスが
遅いなと感じるようなディレクトリ構成は、何か間違っていると思う。
>>310
reiserfsとext3をそれぞれ別の端末で使ってたけど、
クラッシュ時に嫌な壊れ方をするのは前者だったので
新規にmkfsするときはext3の方が多いです。

EXT3のパーティーションをfsck.ext2やっても何も問題ないですか？

fsck.ext3ってfsck.ext2のhard link、、、じゃないな、今見たら
ファイルサイズはもちろんMD5も同じなんで同一バイナリなのだろうが
違うinodeだな、なんじゃこりゃ(debian sid/i386の環境)

>>313
つーことで、問題無いというか同じ事だと思います

>>314
ありがとうございます。今からEXT3にします。

さて、今から 1TB のディスクをフォーマットするんだが、
ファイルシステムは何が良いだろう。(ext2,ext3,reiserfs,jfs)
ポイントとしては、1)小さい多量のファイル 2)NFS の２点。

自分としては reiserfs にするか jfs にするか迷っているのだが。

テストしないの？

やってるよ。
でも例えば dd if=/dev/zero of=/mnt/disk1/largefile
とかやってHDD全体をなめるテストだけでも１日かかるんだわ。

>>316
reiserfsは小さいファイルへのアクセスが速いが，まだ若すぎる．
1TBっていうからには個人での用途ではなく，
安定性が求められると思うんだが，
それだったら現状ではext3あたりしか選択肢はないように思えるんだが．
>>320はどうよ？

んー、ディスク半分くれたら考えてもいいよ。

ext3(data=jarnal)は書き込み性能が他の半分程度しかない
(bonnie++で計測)んで、選択肢としては悪くないのだが...
使用環境を想定したテストはまだこれからなんだが、
チェックの組合せが多いとぼらんてぃあーではしんどいんだわさ。

>>321
data=journalなら書き込み時間が倍になるのは
道理だと思うのですが？

いや、だから、ext3(data=ordered)とjfsとreiserfsから
選択するとしてもext3なのかな...と思って。

>>323
話が全然見えません

>>323
jfsが選択肢に入ってるのにxfsが選択肢に挙がっていないのは何故？
xfsも1.1になってだいぶ改善されたとかdeveloperWorksの記事にあったけど。
(>>287のリンク先の記事)

1)たまたまテストしているマシンがターボでxfsが入っていない
2)xfsは大きいファイルに強いが小さい大量のファイルはどうか？
と言う点で今回の選択肢には入ってません。2)の経験談ありませんか？

(別の数MB〜数百MBのファイルサイズが主の500GBのHDDでxfs+lvm運用で
そろそろ１ヵ月になるのがありますのでxfsを無視している訳でなないです)

今回の用途とは別だけど、
-rw-r--r-- 1 XXXXX XXXXX 1357266583552 10月 11日 03:12 /mnt/disk1/test/bigfile
と書き込みはOKだったが、
dd if=/mnt/disk1/test/bigfile of=/dev/null
とかやったら
Oct 11 11:03:41 XXXXXX kernel: 08:11: rw=0, want=1621124684, limit=1326848481
なんてエラーがずらずらと出た....大丈夫かいな。

あ、ちなみに上のエラーはreiserfs上です。

>326
lvmってMAX256GBじゃなかったっけ？

>>326
reiserfsはホントに壊れます．
個人用途で半年間 '/'(ルート)をreiserfsで使いましたが，
気付いたときにはfsckでも解決できないくらい壊れてました．
結局，フォーマットして入れ直し．(ext3にした．)
悪いこと言わないからreiserfsだけはやめた方がいいです．

あと，ちょっとやそっと速いことなんかより，安定性を重視するべきだと思うよ．

reiserfsの悪い噂は散々聞いているが、使用時のkernelのバージョン
と一緒に聞いたことはほとんどないな...
develpersworksの記事にも最近のreiserfsは安定してきているとあるが、
どうよ？

lvmはPEのサイズ変えれば2TBまでいけます。

>>330
確かに．
ちなみに私は導入時(インストーラのカーネル)は2.4.9だったけど，
すぐに当時最新だった2.4.17にした．
Debian/testingなので，Debianにカーネルの最新パッケージが
登場するたびにカーネルは作り直した．
壊れてるのが発覚したときは2.4.19だったと思う．
残念ながらいつ壊れたのかはわからない．

漏れは二台reiserfs onlyで運用してるけど、
特に問題出てないなぁ。昔は酷かったけど。

EXT3使ってますが、Windowsみたいにデフラグみたいなやつし無くても大丈夫なんですか？

FAT が特別ダサいだけです

>>332
カーネルのバージョンキボンヌ．

その後のテスト経過ですが、ファイルシステムをext3(data=orderd)にして、
NFSテスト(bonnie++をローカルとリモートで１日実行)はOKでした。
小さいファイルの扱いは、1-64kBのランダムな大きさのファイルを
書き込んで、後で読み込むというテストをやっているのですが、
６つほど並行して１日実行しても、60GBほどしか埋まりません。
(しかもまだ書き込みフェイズだし)
ファイル数は180万、１つのディレクトリに60万ほどありますが、
現時点でファイル生成の速度は極めて遅くこのままでは1TBを埋めるのは
不可能っぽいです。

ちなみに環境はターボ８(2.4.18-3smp)です。なにか良いテスト方法って
ないでしょうかねぇ...

>>１つのディレクトリに60万ほどありますが
30万のまちがいね。

>>335
常に2.4系最新(含むpre/ac patch)

336のテストは48時間の後中止しました。hashなしext3ではこれ以上続けても
無理なんで。

続いてjfsのテストに入りましたが、dd if=/dev/zero of=largefileは980GB
ぐらいのところでjfsCommitのカーネルスレッドがCPU異常消費で進まなく
なったので止めて、一旦別のファイルでディスク埋めた後、dd if=largefile
of=/dev/nullで読みだしはOKでした。

ローカルとNFS越しとでbonnie++の連続実行テストは始めて３０分ほどで
SCSIエラー多発でカーネル完全沈黙。2.4.20pre11を入れて再開してます。

これまでの結論。ターボ８のjfsはへたれである。

ディストリ関係ある？

>>340
禿同

ディストリビューターの仕事ってのは、便利なパッチを集めてきて
それを検証することではないのかな？
特にターボは金もらってやってるんだし、金とってるんだから
(テストしてるのはプロモ版だがな)もう少しマシな仕事をだな...

>>342
JFS for Linuxがどのような状況にあるかくらい知ってんだろ．
Turboは全体的に言ってクソディストロだというのには賛成だが，
JFSの不具合をTurboのせいにするのは筋違いだと思うが．

そんな jfs の 1.0.24 ﾘﾘｰｽ age

Utilities changes

- byte-swapping fixes for big-endian hardware
(fixes in logredo and fsck.jfs)


File System changes

- readSuper() was incorrectly checking return status of sb_bread()
- change name of get_index to read_index fixes MIPS build issue
- Releasing LOGGC_LOCK too early
In txLazyCommit, we are releasing log->gclock (LOGGC_LOCK) before
checking tblk->flag for tblkGC_LAZY. For the case that tblkGC_LAZY
is not set, the user thread may release the tblk, and it may be
reused and the tblkGC_LAZY bit set again, between the time we release
the spinlock until we check the flag. This problem is easy to hit on
a 2.5 kernel with CONFIG_PREEMPT set, but it is a potential problem
on SMP as well.
The fix is to hold the spinlock until after we've checked the flag.

ひさびさにこのスレ見た。
ものすごく sage 進行だ…

>>343 Turbo8に採用されているjfsが腐ってるという可能性はある。インストーラに使ったjfsのversion問題？

>>332
漏れも Debian/sid, kernel-2.4系おっかけで
ずっと reiserfs だけど、壊れたのはかなり昔だな。
まだパッチ配布で kernel に入る前の頃。
ここ最近は壊れてない。

339のテストの続き。(on jfs)
2.4.20pre11でローカル+NFS越しのbonnie++は24時間のテストクリア。
localでのbonniee++ ４つ同時実行の24時間テストクリア。

1B〜64kBのランダムな大きさのサイズのファイルの書き出しと読み込みテスト
は、５つ同時実行でディスク全体を埋める書き出しのテストは終了。
現在読み込みテストに入ってますが、書き込みに比べて死ぬ程時間
がかかります。CPUのidel時間がほとんどなので外付けRAIDが遅いんでしょう。
また、１つのディレクトリ下には推定で800万個のファイルがあるはずです
が、ls -f しても２時間戻ってこず、端末も凍ったので再起動しました。

ちなみに、2.4.20pre11のjfsは1.0.23相当、たーぼ８のそれは1.0.17です。

せっかくいい感じに沈んでたのにageられてる…。

ところで、>>348はテスト終わったら各FSの印象とか
まとめてくれたりしない？
本格的なテストをやってるようなんで大変参考になると思うんだが。

348の続き
jfs上での小さいファイルの読み込みテストは、１時間程でkswapd
スレッドがCPUを異常に喰うようになり、テストが進まなくなりました。
再現性ありです。VMの問題かとも思いましたが、その後reiserfsでの
テストでは問題は起きなかったのでjfs特有の問題と思われます。
(2.4.20pre11のjfsは1.0.24相当でした。訂正)

最後にreiserfsのテストに入っていますが、こちらは小さいファイルの
書き込みに問題があり、3-400GBを超えたあたりからbdflush,kswapd,kupdated
のスレッドが異常にCPUを喰うようになりテストがすすまなくなりました。
500GBほどで止めて読み込みテストにはいり、こちらは問題なく終了しました。
現在、最後のbonnie++によるNFSテスト中ですが問題なく終りそうです。
それが終ったら簡単にまとめてみます。

テスト終了しましたので、簡単に各ファイルシステムの感想など。
今回は用途が小さい多量のファイルを扱うということで、その辺を
中心にテストしましたので、評価できないところもあります。

ext3(ext2)
１つのディレクトリに多量のファイルがある場合に問題あり。
hashed directoryが安定版にはいればオールマイティなfsかも。

reiserfs
ファイルの書き込み性能に問題があり、特に連続して書き込みを行なう場合
カーネルスレッドの異常動作を引き起こす。またjfsと比較してディスクの
書き込み量(vmstatのbo)に周期的な波があり、詰まるような挙動をする。
また、大きなファイル(数10GB)の読み込みに問題がある。

jfs
多量のファイルの連続した読み込みに問題がある。それ以外は特に問題なし。

用途から今回はreiserfsを選択しました。神の御加護があらんことを。

ext3で　/が逝ってしまった...
kernel panic であがらない

仕方ないので過去に使ってたHDDを繋いで fsckするも
エラーで修復すらできません...
おまけにマウントできないし

まあデータ領域はマウント出来るのでデータは取り出せるかと
同容量のHDDがない為明日にでも買いに走らないと....

てかfsck効かない場合いい方法ってあるのかな？

# mount
/dev/hda3 on / type ext3 (rw,errors=remount-ro)
こんなメッセージが出ているんですけど、　このエラーの意味がわかる人いますか？

>>353
どこにエラーでてるんだ？

>>353
man mount位は見てみたのか？

調べてみましたエラーじゃなかったですね。　　ってちょっと言い訳させてください。

# mount
/dev/hda3 on / type ext3 (rw,errors=remount-ro)
proc on /proc type proc (rw)
devpts on /dev/pts type devpts (rw,gid=5,mode=620)
/dev/hda2 on /boot type ext3 (rw)

いつも挙動不振な奴にのみ　errors　なんてメッセージがでていたから　エラーだと確信してしまいました。
他の奴には書いてないのになぁ・・・

>>356
fstabにそう書いてあるはずだが。編集した覚えは無いか？

>>356
つかfstabみたことないのか？

＞ＡＬＬ
fstab 見たこと無かった。　スマソ。　編集した覚えなんてまったく無い。

ReiserFSって圧縮化できないの？

自分の使っているkernelのxfsのversionってどうやって調べるの?

>>361
ソース見るとか

tune2fs -j するつもりで mke2fs -j してしもうた。
死んでしまいたい。

>>363
よし

結局どのFSも全ての面ではNTFS上回ることは出来ないのね

>>↑
別にACLやマルチストリームなんていらねーYO

>>↑
速度や安定性なんかの面においてです

>>365-367
( ´_ゝ`)ﾌｰﾝ
もう終わりですか？

>365

NTFSとの比較ってどこにあるんですか？

速度だって。

何処

>>367
主観的な印象だが、NTFSってfragment化を起こしまくるという印象がある
あれはWindowsの実装が悪いのか、ファイルシステムとしての仕様が
根本的に悪いのか

FATから簡単にコンバートできるって事は、メタデータはともかく
ファイル実体の配置に関してはかなりダサいのでは？

>>372
わざとじゃない？ext2よりマシかと

>>373
そうですか？
耐障害性はともかく、ext2のブロック割り当ては
FATほど馬鹿じゃないと思います

ちょっと質問なんですが．．．
DVD-RAMをvfatでフォーマットして、ファイルをコピーしたら、大文字のファイル名が小文字に
なってしまうことがあります(例えば、AAA→aaa)。
ext2でフォーマットしてやってものに、同様なことを行っても、ファイル名は、変化ありません。

これは、ファイルシステムの問題なんでしょうか？

どっかでみた質問だナ

>>375
そうだ。
FAT はもともと大文字小文字を区別しなかった事の名残り。
VFAT のマウントオプションを調べてみれ。回避出来るだろう。
でも VFAT は短いファイル名と長いファイル名の二つを持つ等、
非常に特殊なファイルシステムだ。この点を良く理解していないと
Windows 以外の OS で VFAT を利用するとき足をすくわれる事になる。

vfat の mount オプションのお話ですか。
2.2系と2.4系ではｶﾅｰﾘ変わったんだね。調べてﾋﾞｸｰﾘしたよ。

shortname=lower|win95|winnt|mixed
-- Shortname display/create setting.
lower: convert to lowercase for display,
emulate the Windows 95 rule for create.
win95: emulate the Windows 95 rule for display/create.
winnt: emulate the Windows NT rule for display/create.
mixed: emulate the Windows NT rule for display,
emulate the Windows 95 rule for create.
Default setting is `lower'.

>ファイル実体の配置に関してはかなりダサいのでは？

NTFSのファイル管理はB-TREE仕様ですが何か？
ファイル名もUnicode統一で非常に美しい
OSはカーネル以外アレだが

NTFSって結構多機能なのね
ACL、マルチストリーム、暗号化、圧縮、ジャーナリング、クオータ、
ユニコードファイル名、マウント、リンク、リパースポイント

問題は使ってる奴でさえその存在を知らない言ってことだな（笑

>>380
手軽に暗号化ファイルシステムが利用出来るのは大きなメリットだよな。
セキュリティ板の人妻スレを思いだしたよ。懐かし。

>>379
B+Treeを使っているのはディレクトリエントリでしょ
ファイル"実体"の配置はFATと同様？
穴空きファイルが作れるらしいから少しは違うと思うのだけど
Unicodeを使っているのが美しいという美的感覚も、ズレていると気がしないでもない

>>381
何でも一つのレイヤーに押し込んでしまうのがWindows的アプローチ
ファイルシステムとは独立した仕組みで実現するのがUNIX的アプローチかと
前者の方が取っつきが良くて、後者の方が応用が効く
一長一短ですな

> セキュリティ板の人妻スレ
ﾁｪｷ

マルチストリームはNT鯖がマックバイナリ記録するのに使ってるネ
ストリームにファイル隠すと見つけるのは難しい暗号化より安全だし
逆に言うと機能だけ存在していて使う手段が実装されて無いだけ（稾

copy treasure.jpg c:\config.sys:kakusi
てな感じで使うしかない

>377,378
了解です。調べてみあす。

>Unicodeを使っているのが美しいという美的感覚も

Unicodeのファイル名が美しいのではなく
Unicodeの統一性自体が美しいという罠

>>386
Unicodeは美しいのですか？
EUC撲滅スレで話されている内容を全て理解できない程度の知識ですが、
美しいと言えるほどスマートでは無いと思います

Unicode使っていれば美しいというなら、VFATもlong filenameの方は
UTF16で記録されてます

ﾌｧｲﾙｼｽﾃﾑ自体が多機能でもそれを使うすべが無い。
まさにM$らしいﾌｧｲﾙｼｽﾃﾑ、それがNTFS。

すべはあっても標準ではない
もしくはGUIではない

vine2.5です。
windowsからlinux側を見るのにexplore2fs使いました。

別のマシンのHDにマウント（NFS）されてるディレクトリが
見れません。見るのは無理ですか？

> 別のマシンのHDにマウント（NFS）されてるディレクトリが
「Linuxが動いている時は別のマシンからマウント(NFS)しているもの」
と理解していいのか? なら「別のマシンのHD」をみなよ。
つことで、クライアントでの対応なら WindowsでNFSつかえばいい、高いが。
「別のマシン」でsmbサーバ動かすほうがおすすめだな。

NT側でNFSクライアント走らせるって手もあるな

↑

Service for UNIX要るしー

>>393
Humming Bird買ってもよいぞ。

でも使い勝手等考えたらSAMBAの方が194.5倍楽

>>378
man mountみてみましたが、大文字小文字を区別してくれる代わりに
8.3の制限がでてしまうのですね。トホホ。
使えねー。

age

waflってreiser4のwandering logとは違うよね？

Linux最新カーネルにデータ消失のバグ
http://japan.cnet.com/Enterprise/News/2002/Item/021209-1.html

> 　Linuxオペレーティング・システム(OS)の最新版にバグが見つかった。
> 特別な条件が重なった場合、データが消失する可能性がある。
>
> 　このデータ消失バグは、Linuxの心臓部であるカーネル(用語解説)の
> 最新版『2.4.20』に影響を及ぼす。同カーネルは11月28日(米国時間)に、
> リナックス企業のアップデートでリリースされたばかりで、まだパッケー
> ジ製品には入っていない。

data corrupting bug in 2.4.20 ext3, data=journal
http://www.uwsg.indiana.edu/hypermail/linux/kernel/0212.0/0010.html

いまさらなのかもしれませんが、
ext3でquotaが使えるようになってたんですね。
知らずに待ってました。
でもなんか不安だなー。普通に使えてます？

ところでXFSってどーなったの？
kernelに標準で取り込まれる日はもう来たの？
そろそろkernelの更新を考えてるもんで…