乙、とでも言ってやるか!
乙 テンプレにzfsのリンクもあればうれしいの
引き続きxfs+nfsでのカーネルスタックについてお楽しみ下さい!
>>8 導入事例も結構多いし、シャレにならない問題だからなぁ。
Linuxはこういうところが無責任で嫌い>< 早く直してくださいよ。
そのカーネルスタックの問題とやら、再現する手順は確立されてる? この環境でこんな負荷かけたら確実に発生するよってのが分かればいいのだが
xfs以外で16TB超えられるファイルシステムで yum とかで簡単に導入出来る奴ってあるの?
>>12 yumってことはRHEL系か。なら、RHEL6系OS + ext4。ただし、現状208日問題あり。
ext4って16GB越えのパッチ当たってるRHELでのrpmってあるの? Fedra はあった気がするけど
16GBじゃなくて16TBだ・・・
>>11 いまのとこ前スレの
>963 名前:login:Penguin [sage]: 2012/01/14(土) 22:34:19.77 ID:VDsdnEd3 (2)
>xeon dpと4G fcのカタい設定でserver20台用意して
>xfsとext3半々、nfs越しに負荷かけたら、
のみ。FC-HBAの種類、カーネルバージョン等不明。
このスレの識者さんたちは、デスクトップ向けだとどのfsがおすすめなの?
>>16-17 ありがと
そしてディス鳥・カーネルバージョンもよくわからんと。。。
とにかく発生するのはものすごくレアなケースなのだろうね
RHEL3時代のext3は高負荷かかるとすぐにハングする代物だったが、
XFS関連での障害は周りで聞いたことないす
20 :
login:Penguin :2012/01/19(木) 02:34:16.77 ID:QHvaYXxg
ext3は16TB以上が・・・
15TBのパテをいくつも作ればよろしい
じゃあXFSでいいと思うよ。 ていうか他にまともな選択肢ないじゃん。 hfsplusかntfsでも使うか?
ntfs使ってるけど、もうずっとノートラブルで快適でいいよ
デスクトップというか個人で16TB以上のファイルシステム扱うなんてそうそう無いよな
個人でデータ用に使うならNTFSが最強っぽい
個人で使うならWindowsが最強っぽい
>>33 なんでLinuxで使ってるのにスレ違いなの?
レス違い
37 :
login:Penguin :2012/01/21(土) 21:30:23.41 ID:tQG+Il8o
>>32 ntfs-3g が重すぎる気がするんだけど気のせい?
だからやせ我慢しないで素直にWindows使えばいいのに
なんで個人の話になってるんだ? このスレだったら小規模でもサーバー立ててクラスター作ってるんだと思ったんだけど
なんでそんな妄想したんですか?
LinuxはサーバーOSだからだろ? 言わせんなよ。
人殺しが作ったファイルシステムが一番パフォーマンスがいいんやな 悲劇やな
reiserfsとxfsどっちのほうがつよいの?
それはニーナに訊けよw
死人に口無し
xfsでカーネルスタックが起きる具体的な事例を教えてくれ
kosakiタソまじハッカー
そうカッカしなさんなって。 特にエラー検知はLinuxにも必要な仕組みだ。 全域チェックサムは今のところZFSにしか付いていない。 ファイルシステムの後進性がLinuxの足かせになりつつある気がする。 FUSEでもいいから使いたい。
>>52 > 全域チェックサムは今のところZFSにしか付いていない。
btrfsはダメなの?
ダメだろ
完成すらしなさそうだしな
ファイルシステム民が考える 最高の自宅サーバーのFSの構成を教えてくらはい /boot /home /var/www /var/log /var /tmp /mnt
/boot:xfs /home:btrfs /var/www:ZFS /var/log:ZFS /var :ZFS /tmp:btrfs
/boot / /data
/
全部zfsでいいやと思ったけど /tmpはtmpfs一択だな。メモリに余裕があればの話だけど。
NTFSが遅くてext3が速いってのはLnux上で使ったときの話だろ? Windowsでは実際NTFSしか使えないから検証のしようがないが もしWindows上でext3(4)が使えるようになったとしたら相当速くなったりするんだろうか
>>65 板の性質上winでのパフォーマンスには興味ない奴が大多数だと思われ
もうFreeBSDでいいじゃん おまえら15年もの間よくがんばったよ
>>65 オープンソースのext4実装onWINDOWSの場合、速い!でもなんか心配。。。で使われない
まさかのMSがext4実装の場合、MSがNTFSより速くする訳がない
という話になるわな
69 :
login:Penguin :2012/01/24(火) 15:01:31.70 ID:+81VQicO
ZFS正式サポートのFreeBSDに比べてLinuxときたら...
>>65 ext3はwindowsでも使えるよ。
ext4は読み込みだけだったけど、今は書き込みもできるのかな。
速度は気にしたことないからわからない。
JFS
ext5の開発が待ち望まれるな
>>73 そもそもext4はbtrfsまでのつなぎのfsとして開発が始まったものなので、
もしext5が開発されるようなら、Linuxのfsはかなり終わってる状況…
Oracleってlinux助ける為にbtrfs買い取ったんじゃないの?
他のスレに書いたけどそのスレ数日間止まってるのでここにも書かせて下さい NFSサーバってファイルを読む時にサーバ上のメモリにキャッシュすると思うけど 4GBとか大きなファイルにアクセスする時にはいきなりファイル全体をメモリに置くの? それともアクセスの状況を考えてちょっとずつ置くの? 例えばメモリ16GBぐらいのシステムで別の4GBのファイル8つに クライアントがそれほど速くない速度(4MB/sec)アクセスした場合は どんな感じでキャッシュされるのだろう?
FIFOじゃね?
>>75 OracleにしろRHにしろ、買収した途端に発展が止まるのが定番パターン。
大きい企業が手を出すとスピード感が落ちるのは仕方ない
買収?
>>74 >そもそもext4はbtrfsまでのつなぎ
ソースが見当たらない。
>>82 日経Linuxの記事タイトルってソースとしては弱すぎやしないか?
(※ 記者の願望です)
※要出典ってやつか
>>83 うぐぅ。当時のLKMLのアーカイブから引っ張ってくるの面倒なんだもの…
俺もbtrfsにはめっちゃ期待してるから 別にbtrfsをディスるつもりはないけど 2009年当時と今じゃ事情が変わってたりするだろうしね。
Ted Ts'oがはっきりそう言ってる。 もう何年も前の話だから、今どう考えてるのか知らないけど。 検索代行してやるつもりはない。
LinuxはGNU Hurdが出るまでのつなぎ。 そう思ってた時代が私にもありました。
じゃあそろそろ btrfs にインスパイアされた ext5 が出てくる頃合いじゃねぇか・・・
じゃあ俺はext0を作るお
じゃあおれはexit
94 :
login:Penguin :2012/01/26(木) 00:44:30.65 ID:rWv38/3V
そういう停滞した雰囲気なら、もうそろそろストールマンがGNU FSとか出してきそうだけどな。 そのFSに置かれたファイルは全て自動的に共有される機能搭載とかで。
たかがディスクにデータ並べるだけの話なのに似たようなものいくつも作って競い合って馬鹿みたい
それを行ったらブラウザなんてたかがHTMLtを解釈して表示するだけのソフトなのに 各社似たようなの作って競い合ってるんだけどな。
プログラミング言語なんて たかが人間の記述したコードを機械語に変換するだけの話なのに 似たようなものいくつも作って競い会って馬鹿みたい。
今風にするならext0じゃなくてext/Zeroのがいいと思う
ext零式
ZFSのライセンスがGPLやBSDなら良かったのになぁ
101 :
login:Penguin :2012/01/26(木) 14:08:00.23 ID:KrAIP0Th
FreeBSDのZFSをLinuxに移植すればBSDライセンスなんだろうから、問題無くね?
>100 GPL はまずいだろ >101 FreeBSD では CDDL ライセンスのコードは「別管理」になってるよ GPL 分のコードも別管理
もうライセンスとか無くなればいいのに そんな世界になってほしい
全部自分で作ればいいじゃん ソフトなんて0と1が並んでるだけなんだから君にもできるw
ライセンスがなかったら 後から何言われるかわからなくて逆に怖いよ。
gifのことかー!
サブウェイだと頭を出す場所は限られてるから そこで待って叩けばいいんじゃないかな
サブウェイライセンス 宋代に発明されたとされる参度一致なる糧食に 密かに挟み込まれた密書に由来する。 偽装、偽装ではないが意図的、ないし意図せずして 別種の雷扇子を内包するもの。 ---- 民明書房"はじまりのライセンス"より
地下鉄と潜水艦とじゃあまりにも違いすぎるだろ……
フットロングのハニーオーツでお願いします。
サブウェイがネタだったのかガチだったのかが知りたい
フットロングって何?パンの種類か何か?
通常サイズの2倍で長いパンまるごと一本分
そんな注文できるのか。知らんかったわw
でも半分を二つ頼んでも同じ値段だから、違う味のを二つ頼んだ方が良い
このスレで16GB以上のRAID組んでいる人ってメモリは何GBぐらい積んでるの? かなり積まないと鯖側でキャッシュアウトしそうだよな
120 :
login:Penguin :2012/01/31(火) 01:10:34.80 ID:lzm6F0Cu
2TB積んでる俺は答えちゃダメかな。
今時16GB未満のRAID組んでる奴いるのか?
今管理してるサーバは12ギガのraidだな
CopyFSの調子が悪くなった。 お前らんとこは大丈夫か?
16GB未満のRAID組んでるよー SDカードだけどな Linuxとアダプタの相性が鬼門
パーティションテーブルにGPTを使いました。 Secondary GPTのヘッダは書き込まれたのですが、エントリが書き込まれませんでした。 Primary GPTにはヘッダ、エントリ共に書き込まれました。 インストーラで作ったので、パーティションを作成したツールが何かはわかりません。 ツールによってエントリ部をSecondaryにコピーしないのでしょうか? ディスクの末には34セクタ以上の空きがあるので、書く場所は十分あるのですが。
こんばんわZIPPO初心者です。 今年新卒で記念に初めてZIPPOを買おうと思っているのですが 俺の尻の穴に貴方の野太いちんぽぶち込んでくれませんでしょうか? 今が旬のオススメZIPPOなんかを教えて欲しいです。 よろしくお願いいたします。
128 :
127 :2012/02/03(金) 12:16:02.18 ID:Xus/JX5l
す、すみません! 3行目に他スレに使おうと思ってた文章が入ってしまいました 3行目だけ無視して読んでください 誤爆すみませんでした!m(_ _)m
8年くらい前のネタだな。
>>126 GPT時代に、 fdisk にかわる CUI ツールはなんですか?
パーティショニング自体が時代錯誤なんじゃないのかね。 mkfs.hoge /dev/sdX だけ覚えておけば、他はいらないと思う。
/: : : : : __: :/: : ::/: : ://: : :/l::|: : :i: :l: : :ヽ: : :丶: : 丶ヾ ___ /;,, : : : //::/: : 7l,;:≠-::/: : / .l::|: : :l: :|;,,;!: : :!l: : :i: : : :|: : ::、 / ヽ /ヽヽ: ://: :!:,X~::|: /;,,;,/: :/ リ!: ::/ノ l`ヽl !: : |: : : :l: :l: リ / そ そ お \ /: : ヽヾ/: : l/::l |/|||llllヾ,、 / |: :/ , -==、 l\:::|: : : :|i: | / う う 前 | . /: : : //ヾ ; :|!: イ、||ll|||||::|| ノノ イ|||||||ヾ、 |: ::|!: : イ: ::|/ な 思 が /: : ://: : :ヽソ::ヽl |{ i||ll"ン ´ i| l|||l"l `|: /|: : /'!/l ん う ∠: : : ~: : : : : : : :丶ゝ-―- , ー=z_ソ |/ ハメ;, :: ::|. だ ん i|::ハ: : : : : : : : : : : 、ヘヘヘヘ 、 ヘヘヘヘヘ /: : : : : \,|. ろ な |!l |: : : : : : : : :、: ::\ 、-―-, / : : :丶;,,;,:ミヽ う ら 丶: :ハ、lヽ: :ヽ: : ::\__ `~ " /: : ト; lヽ) ゝ レ `| `、l`、>=ニ´ , _´ : :} ` / ,,、r"^~´"''''"t-`r、 _ -、 ´ヽノ \ノ / お ・ ,;'~ _r-- 、__ ~f、_>'、_ | で 前 ・ f~ ,;" ~"t___ ミ、 ^'t | は ん ・ ," ,~ ヾ~'-、__ ミ_ξ丶 | な 中 ・ ;' ,イ .. ヽ_ ヾ、0ヽ丶 l / ( ;":: |: :: .. .`, ヾ 丶 ! \____/ ;;;; :: 入:: :: :: l`ー-、 )l ヾ 丶 "~、ソ:: :い:: : \_ ノ , ヾ 丶
今はどのFS使っておけばいいのよ 新しいHDD買ったからどれにするか悩む
ext4使っとけばだいたい問題ないよ
137 :
login:Penguin :2012/02/04(土) 21:09:01.82 ID:9l/juQuF
新しいまっさらなHDDなら、人柱としてNILFSなんてどうでしょうか。 バグレポートに謝辞と共に名前を残してもらえるかもしれません。
nilfsいいゾ〜これ
NFS鯖 A ext3 NFS鯖 B xfs クライアント C C上でデータをrsyncでAからBに転送しようとするとCが落ちて再起動される・・・ なんでだ?
なんでだって、そりゃあんた、いくらでも思い付きますが…
露骨な誘導ですねw
あれから、btrfsはどこに行ったんだろう
>>145 来まくりやがっておいでだと思うのですが如何
日経Linuxにbtrfsの記事が乗ってたけどダメダメなんだってね。
gptで管理している最後尾のext4のパーティションをリサイズしたいけど上手くいかない。 msdosパーティションの要領で、 1.古いパーティションを削除 2.リサイズ後のパーティションを作成。 3.resize2fs /dev/sdx と試すも、3でスーパーブロックが見つからないとエラーメッセージがでてしまう。 Bad magic number in super-block...というやつ。
150 :
login:Penguin :2012/02/12(日) 01:39:36.17 ID:AaW5WVna
>>148 ZFS使えって言ってる割にはopenindianaにも触れないわ、ZFS on Linuxにも触れないわっていうのはどうなんだ。
日経だから
おれは日経より、あの娘の月経のほうが興味あるお
通報した
精通した
せいつう・・・ つまりプロフェッショナルか!!!
おれは精通に精通してる
FSCache で、ローカルHDDをSSDでキャッシュしてみた人居ませんか?
いません
やっぱりExt5開発されるのかな hammerFS移植って道は残ってるんだっけ? 進んでるって話は聞かないけど
163 :
127 :2012/02/19(日) 00:22:20.70 ID:syI8A8TK
本命はext5じゃないかな
ZFSでubuntuを使いたいよー
kernel 2.6とかいつの話だよ
てほど昔でもないでしょ。 stable系としてまだまだ現役。RHELもそうだし。
168 :
login:Penguin :2012/02/19(日) 12:54:34.05 ID:2qXpjA70
つーか、なんだかんだ言っても そのe4defragがデフォルトでビルドされるe2fsprogs-1.42なんて、Gentooくらいでしか使えないんだろ? おまけに、おまえらと来たらビルドする知識も環境もねえもんな? 「kernel 2.6とかいつの話だよ」とかほざいてムリヤリ煽るのが精一杯だもんな… 昔は、このスレもXFSのパッチを自分で2.2に当ててまで使ってる奴とかゴロゴロいたのに いつからこんなボンクラばっかになったのかね… 2.6.35の時代がどうだったかは知らんが、うちの3.2.6にe2fsprogs-1.42な環境なら $ sudo e4defrag /home ext4 defragmentation for directory(/home/) [3/245864]/home/user/.muttrc: 100% [ OK ] [4/245864]/home/user/.xinitrc: 100% [ OK ] [5/245864]/home/user/.gtkrc-2.0: 100% [ OK ] [6/245864]/home/user/.bash_logout: 100% [ OK ] [7/245864]/home/user/.vimrc: 100% [ OK ] [8/245864]/home/user/.bash_profile: 100% [ OK ] [10/245864]/home/user/.ssh/authorized_keys: 100% [ OK ] [11/245864]/home/user/.Xauthority: 100% [ OK ] [16/245864]/home/user/.maildir/.INBOX/dovecot.index: 100% [ OK ] 〜 中略 〜 Success: [ 219222/245864 ] Failure: [ 26642/245864 ] と、Signalが飛んでくることもなく綺麗に終了する $ sudo e4defrag / とかやって丸ごとデフラグしても、うちでは正常に終了するな
>>168 Fedoraは15では確実にe4defragあった 時々使っても特に不具合無かった
14にあったかどうかは覚えてないな
スレ遡ると私の報告があるかも知れない
ニルスはいったいいつ正式採用されるのですか?
upstreamはまだ1.42なのにdebianの方は1.42.1にフライングしてるしwww > Date: Fri, 17 Feb 2012 15:07:13 -0500 > Changes: > e2fsprogs (1.42.1-1) unstable; urgency=low > * New upstream release
e2fsprogsをOSのメジャーアップデートまで変えないであろうRedHatは RHEL7になるまでext4は16TB上限のままなのかなぁ。 4TB HDD 6台のRAID5で溢れるから、そろそろ一般ユーザーにも 上限が見えてきつつあるんだけど。
ext4はファイルの作成日時がないんやな
>>177 64ビットの持ってないし、、、PC-BSD使おうかなあ、、、
新しめのハードならBSD系はちょっと
>>176 crtimeのことだと思われ。
ext4にもcrtimeはあるらしいよ。
見えないようになってるし、弄れないけど。
BSDはオワコン
ちょっと表でろよてめぇ
オワコン言われるほど始まってもいねえよ
たしかに
>>178 32bitでも動くことは動くでしょ。OS関係無く32bitな環境でZFS使うのが間違ってる気はするけど。
NTFSのアクセス日時だけはいらねえ 断言できる
もうNtfsDisableLastAccessUpdate(noatime相当)がデフォルトになってるから安心しろ
64bitを導入しなくても32bit Linuxで16TBなHDDにEXT4などで ファイルシステムを構築できますか?制限はありますか? HDDのセクターサイズは4096byteのタイプを想定します。
ZFS の recordsize って一度設定してしまうともう消せない? tank でやっちゃったよ…。
191 :
login:Penguin :2012/02/24(金) 01:06:53.23 ID:iuIUMjsf
18TBのRAID6を xfs で作ったが ext4 にしたくなった・・・ 18TBのRAIDのバックアップ先に18TBのRAIDが必要だ。
もう18TBも埋まってるのか つかバックアップなしとかどんな運用だw
193 :
login:Penguin :2012/02/24(金) 08:30:25.13 ID:XE8u+5eJ
RAIDならバックアップは必要ないだろ。 ところで、32bit linuxで使ってたファイルシステムを64bit linuxにつないでも大丈夫なのか? エンディアンが原因で中身を全部吹き飛ばしちゃうんじゃないだろうか
え?raidでも当然のようにバックアップしてますが
RAIDならバックアップは必要ないだろ。 RAIDならバックアップは必要ないだろ。 RAIDならバックアップは必要ないだろ。 RAIDならバックアップは必要ないだろ。 RAIDならバックアップは必要ないだろ。
アレイが破損したらバックアップ取ってなければ全滅やなw
なんという釣り餌w
こんなあからさまな釣りでさわぐなよ。
多段履歴バックアップを超える危機管理以外の方法はないね。 RAODの規格にバックグラウンドでアクセスが少ないときに多段 バックアップするタイプも定義してほしいわ。 論理的ファイル構造が壊れたらハードウエアが完璧でも 全体が壊れるわけでバックアップに勝る復帰方法は無いわ。
rsyncでバックアップとってたら、ファイルサイズもタイムスタンプも 同じで中身が入れ替わってたでござる、の巻
個人用途では大容量2台でミラーリングでいいや もちろんオンボードで
>201 たまには -c (checksum)で rsync 走らせろや
nilfs2でuuidの割り当てができないんだけど…。
206 :
login:Penguin :2012/02/26(日) 19:14:23.27 ID:6q3qK+QF
ZFS同士のファイル転送でチェックサム付きrsync実行するのって意味ないよね?
>206 にゃんで? checksum の目的が違うでしょ
209 :
login:Penguin :2012/02/28(火) 19:08:49.11 ID:1+4VJW68
んじゃ同じファイルのチェックサムをZFSとrsyncでそれぞれ計算するの? いくらCPUパワーが有り余ってるからって資源の無駄遣いだね。
は?
ファイルシステムが行うのは記録内容が破損したかのエラーチェックで ファイル同士の同一性の確認を内容比較じゃなくchecksumでやって いるんじゃね?
209はたぶんものすごいバカ
無駄だというのは間違った感想じゃないと思う ファイルシステムが勝手にチェックサムを計算しておいて、システムコールで取り出せるって設計もないわけじゃない アプリケーションが必要としたら、既に計算してあるチェックサムを即座に知ることができる
できたとしても、ファイルシステム(zfs)依存の機能になるから 汎用性は低くなっちゃうよね。 まぁ、zfs 操作ツールとして rsync互換のコマンドがあったら、 たしかに相当便利だろうね。 posixでファイルシステムに記録されるチェックサムまで 規定されてれば面白かったかも。
>まぁ、zfs 操作ツールとして rsync互換のコマンドがあったら、 >たしかに相当便利だろうね。 の返事は、 >できたとしても、ファイルシステム(zfs)依存の機能になるから >汎用性は低くなっちゃうよね。
e2fsprogsでbtfs操作しろとな?
>>215 だから、
> posixでファイルシステムに記録されるチェックサムまで
> 規定されてれば面白かったかも。
て書いたんだけどなぁ。
ちょっと想像力が足りないんじゃない?
218 :
login:Penguin :2012/02/29(水) 09:11:00.28 ID:9rArbxRw
#rsync --zfs-specific-function -c ~ error: not support fs(ext2) use -force option
#rsync --zfs-specific-function -force -c ~ error: don't use -force option use -really-force option
ext4はウンコじゃんかよ・・・ 素直にReiserFSしとけばよかった
Reiserは糞 情強はXFS
reiserFSはヤバい コイツこそがキラーFS
なんで?
察してください
なるほど殺人者か
JFSが最強だよ
228 :
login:Penguin :2012/03/03(土) 11:58:49.05 ID:/wEvphsI
実際問題、次世代が混沌としてるのが実情だよね
そもそもファイルシステムって概念自体がレガシーになってきてるんじゃないか? テラデータ時代にPOSIX互換でバランス良いファイルシステムってのは不可能だ。 ファイルシステムは起動+ブロック割り当て用にシンプルな奴があれば十分で、 あとはアプリケーション側で好きなように実装したほうがいいんじゃないかなぁ。 AppleのSparsebundleみたいなのがLinuxにも欲しいな。
あるが
>>228 やっぱり次までのその場しのぎの真打ext5が立ち上がるのか
btrfsーっ!早く来てくれーッ! HammerFSでもいいけど
実際ext5は開発が始まっているのですか?
>>233 知ってる限りは始まってないけど、ext4にいろいろ機能追加するプロジェクトはあったと思う
まあ、btrfsの行方がはっきりするまでは、冗談としてたまに話題に上がるものと思っていて下さい
BtrfsってFedoraに期待すればいいの?Ubuntuに期待すればいいの? そ・れ・と・も Oracle?
OraOraclecleだったらもっと売れたんだよ、あの子は!
SolarisやJavaやMySQLといいBDBといいあそこに買われた時点で飼い殺しだろ ext5に期待するしかねーよ
(´・ω・)カワイソス
btrfsよOOoみたいにブチ切れて飛び出してこい
240 :
login:Penguin :2012/03/03(土) 21:58:07.17 ID:UPuAeDDp
そうすっと、次はext5がOracle印になるのか
売ったヤツらと買ったのが嬉しいだけで あそこに買われたとこの客なんて迷惑しか被ってないだろ 技術者自分とこで囲えないんだからしゃーないとは思うがw
ワシのextは108まであるぞ
btrfsとzfsのどっちかは他社に売りなさいという命令を出せないかな? RedHatかIBMかミカカあたりがプロジェクトごと買い取って力入れるといいのに
244 :
login:Penguin :2012/03/04(日) 02:14:26.30 ID:eA3XPtVO
サムスンとかはこういうのに興味ないのかな
あいつらソフトウエア作れるっけ?
GPL自体を嫌ってそうだからなぁ ソースに変な自己主張入れたがるしw
>>244 >>245 自社のAndroidには専用のFS搭載してるって話だよ
当然クローズドライセンス
249 :
login:Penguin :2012/03/04(日) 20:46:29.60 ID:1VGgGkr4
ということは、スマホ陣営から次世代ファイルシステムが出てくる可能性もあるのか。 デスクトップ向けなら、これからはSSDが主流になるだろうから 可能性高いな。
メインメモリの比べレイテンシが非常に悪いHDDという前提で 開発されてきたファイルシステムが半導体メモリで前提が変わると 技術の方向性がどうなるのだろうという興味がある。
samsung androidでrfsフォーマットしたSDカードをPCでマウントできたりする?
>>241 いい技術が飼い殺されて技術者は流出する
アメリカは心底詰まらん国やね
>>251 PCでアンドロイド動かせばいいんじゃね?
255 :
login:Penguin :2012/03/06(火) 22:27:54.92 ID:GaloouTN
どのファイルシステムも大抵1ファイル16TBまで(?)の制限があるが、この様子だとすぐ達しそうだ
XFSにはねーぞ
ブロックデバイス 「いいのよ」
だが32ビットkernel、おめーはだめだ
32bit kernelだと容量制限があるの?
はい
64bitでも理論上の制限はあります
>>260 32bitだと2TB以上のHDDはカーネルが認識できません
ソースはあるけど、否定するやつはソースつきで。
RAID箱とか使ったことないんだろうな・・・
>266 なるほど 良く知らんが大きなファイルが大量にあった場合のファイルの削除はxfsが速かった
良く知らんが普通はファイルの削除ってinode情報を消すだけだから ファイルが大きかろうと小さかろうと同じような気がするんだけど。
ディレクトリの作成と削除はXFS馬鹿に遅かった気がする。
ファイルの削除はエクステントの解放とかあるからXFSが遅い印象あるんだがそうでもないのか
カーネルツリーのrm -rfとかのファイル削除系ベンチはxfsは常に最遅 …だった気がする
ext3の削除(巨大ファイル)はクソ遅い
273 :
login:Penguin :2012/03/11(日) 03:54:03.20 ID:EHP+eT6z
NILFSってまだあるんだっけ
nilfs使いたいけど不安なんだよなぁ・・・
ext4の削除はxfsやext3に比べてとても速い気がする。 /以下全ファイルコピーでバックアップを取ってるんだけど、 前回のを消すのが速い。
http://sourceforge.net/projects/fstransform/ ところでこんなブツを見つけたんだがこのスレ住民的にどうよ?
fstransform is a tool to change a file-system from one format to another,
for example from jfs/xfs/reiser to ext2/ext3/ext4, in-place and without
the need for backup. Idea from 'convertfs' program, but it is fully independent code.
バックアップ不要とか言われてもコワいからバックアップとってから
試したくなるけどね。
土日みっちりいろんなfs間変更とかして遊んでみようかなあ…適当なHDDつかって。
技術的には凄そうだし面白いんだけど実際に使ってるやつがいたらfs選択に失敗したんだなぁって思う
278 :
login:Penguin :2012/03/12(月) 21:03:07.22 ID:9N35RgR5
そんなことないだろ。 熟考した上で決めたファイルシステムだけど、カーテンの色がある時突然気に入らなくなるような感じで 変えたくなることってあるぞ。
>>278 大変さと重大さでたとえるなら、カーテンではなくカーペットだな
技術的には面白いと思し ext4からbtrfsに簡単に移行できるなら楽かなと一瞬思ったけど どうせ実行する時にはバックアップを取るからそれなりに時間かかるだろうし 移行なんて数年に一度だからあんまし有難みがないかなあ。 バックアップ用の外付けHDDを用意できない人とかなら嬉しいのかなあ。
ファイルシステム擬人化スレはここですか?
ssdならどのファイルシステム使う?
nilfs2
>>268 SSD の再割り当てに重要な trim コマンドを発行する場合は、
ファイルの大きさ(ストレージ上での占有ブロック数)は効いてくるのでは?
ssdなんか関係ないだろ。 削除したファイルが解放したブロック位置を スーパーブロックに反映するために 散在した多くの間接ブロックを読み込まないといけないから、 それなりにシークが発生する。
287 :
login:Penguin :2012/03/13(火) 12:40:13.57 ID:J+xkbOnS
シーケンシャルなファイルシステムってあります?
(・∀・) つながってて長いのがイイ!
UDFはどうだ?
最近のRAIDなHDDをバックアップできるテープ装置ってまだあるの?
293 :
login:Penguin :2012/03/14(水) 07:51:16.35 ID:nE8uoMiB
btrfsの名前の格好悪さは何とかならないの? そのネーミングセンスから中身もかなり不安になるんだけど。 OracleはZFSを解放してやってくれよ……ほんと……
解放ってなんだよZFSをGPLにしろってこと? 頭悪い事言ってんなよw
295 :
login:Penguin :2012/03/14(水) 10:56:41.71 ID:mx85pbU1
シーケンシャルなファイルシステムってのは、 ビデオテープみたいに使えるファイルシステムですね。 読み取り、書き込みは記録デバイスのI/O限界まで常に使い切ることが出来るようなものを考えてます。
マルチセッションのCD-R使えよ
GPL なんかにされたらたまんねーっつーの腐れが
299 :
login:Penguin :2012/03/14(水) 15:55:01.10 ID:G8wOP5rs
GPLなファイルシステム使うと、 中のファイルにもGPLが感染するの?
んなこたーない。
>>299 その理屈では、プロブライエタリなファイルシステムでは
オープンソースのコードが編集できないことになってしまう。
>>250 遅レスでスマンのだが
メモリと比較して遅いのが前提としたFSの設計思想ってどの辺の設計のこと差してんの?
>>294 BSDライセンスでも、MITライセンスでも、Apacheライセンスでもいいんじゃないか?
オラクルにクレクレは通用しない
IBMに買われていたらまだ可能性があった
IBMって言ってる馬鹿はなんなんだ IBMだってPM以外の連中は頚切られるぞ PMに力と成果なきゃプロジェクトは進捗無いまま削除対象になるだけ IBMの対応はカーネル2.2の頃のPOSIXスレッド議論から一貫してる 企業なら正しい対応だしORACLEだって一緒
素朴な疑問なんだがPM以外の連中の首を切った後で どうやって開発続けて行くんだ?
308 :
login:Penguin :2012/03/15(木) 23:09:38.99 ID:r+Tlzc8y
パッチを提供してくれる奴を安い給料で雇うんじゃね?
細かいデータの処理は殺人者の作ったファイルシステムが速いと聞いた
プロダクトのライセンスと思いきや 開発資源もクレクレなのか
3.2でXFSがよくなったと聞いてカーネルツリーの削除とかやってみたけど やっぱり遅かった
312 :
login:Penguin :2012/03/17(土) 05:39:23.53 ID:bglATxnE
ぬるぽ
313 :
login:Penguin :2012/03/17(土) 05:42:30.92 ID:ApNeA1rv
がっ
たい
GO!
ZFS on linux ってRAID6つかえる?
317 :
login:Penguin :2012/03/17(土) 11:05:38.00 ID:kbLxqCRj
無いよ
>>308 引継ぎの労力を考えろよ。
人増やせばいい式の「人月の神話」以前の考え方じゃねーか。
パッチを書いてた元社員とかいうのを雇うの?
つーか誰もoracleの元で働きたくないで御座るの巻
だなぁ
月200万くれるなら働いてやってもいい
自前のDBとBEAから買ったプロダクトとただ乗りOS以外は塩漬け&サポート値上げw
324 :
login:Penguin :2012/03/18(日) 21:06:31.81 ID:WMRAuy3b
でもOracleが買わないようなファイルシステムって将来性あるの?
>>324 企業が買収する理由は、
自社の技術としてモノにする事。
転売するため。
死蔵させて潰すため。
などなどがある。決っしてポジティブな理由だけではない。
>決っして なにこの衍字
将来性があったから買って将来性潰したんじゃないの? MSのskype買収みたくライバル企業の拡大防止みたいのもあるだろけど ただoraclevm()続けるならSolarisとVirtualBoxは何とかしてほしいわ ってFS関係ないな
しっかし、Oracleのせいで見事にLinuxのfsは瀕死状態になったなぁ。 状況がBtrfs登場前より悪くなっているし。
ext4一択でおk
>>311 XFSは遅い速い以前の問題抱えているからなぁ。kernelスタック食いまくり問題が
どうにかならない限り、手の出しようがない
>>328 Solaris復活が目的なのでこれでいいのです
オラクル「Solaris復活が目的なのでこれでいいのら!」
334 :
login:Penguin :2012/03/19(月) 12:50:23.07 ID:YauSjMPZ
>>332 これでいいのら、じゃないだろ。
少なくともバターFsだけでも返してくれよ...
Oracleは技術の墓場だな……
btrのoracleのまえの持ち主てだれ?
自社で開発した技術を返せとか言われちゃうOracleさんマジ哀れ。
ZFS 返せ……
まあ、SolarisとZFSはそう言われても仕方ないなw 特にSolarisはOpenSolaris方面でかなり反感を買ったし。
ZFS返してもらうかはともかく せめてbtrfsの開発のやる気はもうちょっと出してほしいな。
おまいら少しは自分でやれよww まずは赤黒木のマスターからだ
SUSEがんばってるから BTRFSがんばってるのを忘れないであげて
btrfsもzfsもOracleに買い取られたFS暗黒時代に 颯爽とHammerFSがLinux業界に本格参入して救世主に! という展開になったらカッコイイ。
ソレダ! じゃなくって、もうZFSとかhammerとかFS単体ってレベルじゃないだでしょ
しかしまあホントOracleって嫌われてんなw
誰もが知ってるよねー それ三年ぐらい前に見たわー
うみゅ。readonlyなのはもうあるのを知ってたからあえて「本格参入」って書いたつもりだった。
ライセンス的に問題点があるZFSと違って btrfsはGPLなんだからOracleに文句ばかり言ってちゃいけない。
>>350 んでも開発者の給料は会社が出しているんであって、会社がやめろちいってきたら
会社やめるか開発が鈍くなるか
>>350 まるでGPLに問題がないみたいな言い方だな
>>345 sutdent projectじゃ無理でしょう。PCヲタみたいな生徒か学生が現れないと。
>>352 Linuxのカーネルの開発に貢献したいという話でGPLで少しも問題ないけど?
GPL v3 or laterとかでも問題ないの?
btrに文句言ってるのはパッチを投げてるのに一向に反映してもらえない方々かもしれんだろ
btrfs-ML読んでいるがそんな奴はここにはおらん。
NTFSってこの先バージョン上がることもなくずっとこのままなの?
お布施と信仰心が足りなかっただけの事
まぁよくあること。 だから、障害テストや負荷テストは大事。 InfiniBandは俺の中ではまだまだ簡単じゃないんじゃまいかと。。。
>>364 Infiniband は結構枯れてるぞ? スパコンには必須だし、中小企業でも手出し
できるぐらいの価格だから10台程度のクラスタでも採用されるケースは多い。
大規模なストレージ製品だとIB使ってないほうが珍しいと思う。
さくらの場合のようなストレージがおかしくなって何時までも泥沼状態が続くって
パターンを良く見たり聞いたりするけど、(あくまでも個人的な妄想だが、)
パーツやディスクの故障箇所が一定の割合を超えるとあり地獄から抜けれなく
なるってことじゃないかなぁ。
どっかの技術記事でさくらの構成は意欲的な構成ですねえと評されていたが 残念な結果になってしまったということか。
>>365 まあ、クラスタで使うInfiniとIP on IBとでは話が違ってくるけどね。
ストレージならInfiniよかFC使えよと思う。
しばらくはext4でRaid1組んでいくかな
373 :
login:Penguin :2012/03/24(土) 15:49:16.18 ID:Z68eWHLX
なんでFUSE実装なの? 嫌になったらすぐ捨てて、逃げ出せしやすくするため?
やっぱコンテキストスイッチしまくりの布施は糞だよなぁ なんとかネイティブでZFS使えんもんだろうか
実装する側からするとカーネルの都合に振り回されずに実験できて幸せってかんじ? 観点のちがいか。
使う側の観点からだと「fuseならroot権限なくても使えるから便利!」ってアピールは良く見るけど そもそもfuse自体を有効にするのにroot権限が必要だからいまいちそのアピールには納得できない感がある。
ユーザーモードだとカーネル毎吹き飛ばさないのでデバッグが楽だからとか 適当に想像で言ってみる。
>>374 実装してる人はいるじゃん
ただ、カーネルツリーに取り込まれることが絶対ないから、主流には成り得ないだけで
Debian/kFreeBSDで我慢しる
昔CDDLとGPLは合法的にリンク出来ないってFSFが見解出してんたんだけど、 最近はどっちかのライセンスかFSFの見解が変わった?
昔も今もリンクした状態で配布できないだけだと思うけど こっちが聞きたいよ。いつの間にかFSFの見解は変わったの?
GPLが配布するときにだけ効いてくるという基本を 理解していない奴は意外と多い。
385 :
login:Penguin :2012/03/25(日) 16:33:22.29 ID:GavdBccW
>>330 いや、だからx86_64だとスタックサイズ大きくしてるだろ?
してないって主張?
ext3とext4はどっちがいいの?
技術的な解説キボンヌ。いやマジで。 ext4わext3よりどういいのか 現実どっちも使っているけど違いがよくわからん。 いまから新しい1TのHDDをフォーマットするんだけど どっちにするか悩んでいる。
自分で調べもしない非技術者には後継だからという理由で十分じゃないか 大半の使用ケースで優れていなけりゃ後継なんて名乗れないだろ
>>389 でかいのもおk
2038年後もおk
ジャーナルの性能うp
くらいしかしらない
>>391 なるほど。ext4にしとく。ありがとう。
プロ気取りの非技術者に説明もできない知ったかぶりはカコワルイ。 解らないなら黙ってればいいのにw。恥ずかしいな。
あ、コメ欄見てなかった。
今はどうなってるんだろ。
>>394 >>391 も技術的な解説はしてないけど、それでいいの?
ググりもしない馬鹿なんだから察してあげなよ
>>395 etc4のメリットが解ればそれでいいよん。非技術者だからな。
>>396 結局、解らない君は黙ってて、スレ汚しっていうんだよ、君みたいのは。
そもそも全員非技術者だろ、ココ
痛いプロ気取りもいるよ
400 :
385 :2012/03/25(日) 18:52:03.22 ID:GavdBccW
結局、データ入れるHDDって、何が一番優秀なフォーマットになるんだろう?
>>3 みたいにいっぱいあると迷うな・・・
一番強固なフォーマットで使いたい・・・(´・ω・`)
信頼と実績のXFS
用途次第。迷う程度の人はext4で。
ユーザー数の多さでntfs、fat、exfat。 強固かどうかは知らんけど、ユーザーが多い分問題が起きたときに影響を受けるユーザーも多いので 対策も早くとられるでしょう。 その対策がlinuxで使えるかは別の話ですが…。
何を以って強固っていうのかだな。 逆にinode情報が壊れた時にデータ救出が容易なfsが欲しい。
exfatがユーザー数多いなんてご冗談を
2TB以上はXFS 500GB以上2TB未満のHDDやSSDはext4
アカウントとパスワードを2つのUSBメモリに分けて管理してたら片方が読めなくなったんだよね。 壊れたのがどういうフォーマットだったかは知らないけど、いまはWindowsでフォーマットして普通に使えてる。
411 :
login:Penguin :2012/03/27(火) 11:21:18.75 ID:CNW61LzQ
AndroidってLinuxだよね? ファイルシステムはなに使ってるんだろ。 NILFS搭載カーネルとかあったら試してみたいが...
413 :
login:Penguin :2012/03/27(火) 14:46:05.42 ID:fL/9sTy0
スマホのフラッシュメモリにジャーナルFSを載せるのって、 フラッシュメモリ寿命を故意に短くする=スマホ寿命を短くして、 白ロム流通を阻止する手の一つなのかな。
スマホ程度の書き込みで一体どれだけ寿命を消費するというのか
>>413 YAFFS採用しようとしたけど、マルチコアだと性能上がらないからext4になった
この先YAFFSの開発が進めば採用される可能性はある
>>412 そういえばbtrfsを採用表明した勇気ある携帯・組み込み向けディストリビューションがあったような気がするけど、もう鳥の方が先にお亡くなりになったんだっけ。
お、いつの間にかZFS on Linux更新されてるのな。
419 :
login:Penguin :2012/03/27(火) 20:47:31.98 ID:rEiB2jG/
ライセンス違反でいつ消えるか分からないものには手出したくないよ...
いや、ソースで公開するぶんにはライセンス違反じゃないだろ。
>>421 ソースかどうかは関係ない。一緒に配らなければいい。
423 :
login:Penguin :2012/03/28(水) 11:01:48.50 ID:/72uPhSj
microSDカード三枚差しできて、RAID組めるスマホ出ないかなぁ 「高信頼性ストレージ搭載スマホ」なんて、新機軸で売れそうじゃない?
>>423 たかだか32Gのメディアは簡単にバックアップできる。したがって、raidにするほどセキュアでなくても良い。
お前は何を言ってるんだ。
知ってる単語を並べただけに見えるw
427 :
423 :2012/03/28(水) 12:58:05.55 ID:4fS1oXlP
でもデグレートした時、三枚差しのうち一枚を間違えて抜いたら、即死か。 あんまり良くないな
メディア1枚でも使用可能、2枚でミラーリング、なら簡単。
スマン。俺、英語は得意だけど、日本語苦手だから。つい、な。。。
English is OK
I can not speak English.
432 :
login:Penguin :2012/03/28(水) 17:22:16.13 ID:b3aalG7s
>>428 え?
でもそのRAIDじゃ"高信頼性"じゃなくなっちゃうよ?
そもそも現状の信頼性で困ってるのか、と。 複数挿しなんか必要ないでしょ。 サイズもデカくなっちゃうし。
うっかりumount忘れてSDカード抜いても壊れないような信頼性あるファイルシステムは?
435 :
login:Penguin :2012/03/28(水) 21:36:23.85 ID:TGUdfwW5
ZFSしかないだろうな
isofsと言ってみるてすと
Androidなんかそういう使い方平気でされてると思う。 SDのアンマウントなんかしてる奴は少数派。 アクセス中でない限り、平気なシステム作らないとダメなんじゃないの。 たとえアクセス中でも破損させないような作りが必要なような
ライトキャシュ無効にしとけばいつでもアンマウントできるけど 書き込み中は無理だろ
439 :
login:Penguin :2012/04/03(火) 21:32:02.12 ID:oo5XCw7k
無理でもないな
440 :
login:Penguin :2012/04/03(火) 21:44:35.56 ID:vK7rqc3Y
linux のファイル名は255 byteに制限がありますが、 255文字を超えることが出来るファイルシステムreiserfsだけ?
あとはntfsくらいかな。
>>440 コンパイラの定義のMAXPATHの上限に引っかかるから
普通に作れば全部MAXPATHの定義が上限ですよ。
>>437 アンマウントとか面倒だけど。
コマンドラインでsyncと入力して取り出さないの?
Ubuntu 12.04 beta 2 をインストールしてみたんだけど、 fallocate のバグは直ってるね。 でも、精度がまた落ちてる様子。 e4defrag 使っても、なかなか断片化を解消できない。 ubuntu 12.10 に期待だな。
446 :
login:Penguin :2012/04/04(水) 19:06:35.36 ID:RVeUZ2Rs
NILFSがあの物騒なメッセージを出さないでマウント出来るようになることを期待。
もう消えてないっけ?
448 :
login:Penguin :2012/04/04(水) 21:49:22.14 ID:XyCgAfug
>>442 440です。
>コンパイラの定義のMAXPATHの上限に引っかかるから
>普通に作れば全部MAXPATHの定義が上限ですよ。
つまり、全て一からコンパイルしなおせば、上限がなくなるということ?
そんなことなら2バイト圏(日本語圏)向けに1023バイトとかで
コンパイルして欲しかった。
欧米では255byteで十分なんだろうな。あーあ。
あきらめるしかないんですね。他に何かご存じの方や
挑戦した方がいれば教えて下さい。
なんか面白いマイ・ファイルシステム作りたいな。いいアイデアない?
>>449 youtube myfilesystem
面白いの出てくるのかと思って検索したけど何も出てこないじゃんか
>>449 P2P RAIDファイルシステムとか?
バックアップ部分をネットに依存とか、ネットに捨てるほどある重なるファイルで
あまり使わないものは常に外部に依存みたいな。
>>453 こういう場合ってストレージに参加者のDropboxつかうのって違反なんかな?
同一ファイルはDropbox側で実体ひとつになる、周辺ツールもそろってるし。
ふつうのdropboxfs自体はあるから、P2P共有部分を追加したらいけそう。
hadoopみたいに64MBで分割して任意の数のノードに保存みたい なのはあるといいかも
>>449 どんなファイルも1byteに圧縮するFS
457 :
login:Penguin :2012/04/08(日) 03:23:55.22 ID:nm3/lghx
/dev/nullがマウントできるFS
※情報不足で御免なさい ubuntu12.04ってネイティブのzfs利用可能なの?
zfs-native で間違いないです openindianaを選んだほうが早いかな
どこをどう読んだらそうなるんだ
半分以上、自分の希望だったんですが 今のところ、bootパーティションはzfs以外にしないとならんのですか
絶対に許さない
>>463 x86_64限定でkernel stack周りはどうにかなりそうだし、ようやくなんとかなるのかなぁ、
でもkernel 3.2ならext4の容量制限も緩和されているしなぁという感じ。
466 :
login:Penguin :2012/04/13(金) 22:51:45.76 ID:KiMfKhCq
>>449 >なんか面白いマイ・ファイルシステム作りたいな。いいアイデアない?
ファイル名の文字が255byteでなく、UTF−16で255文字なファイルシステム
作れば一生名前が残るかも。
>>462 MBRにgrub, grub2を書き込み
パーテ外にベタ書きしたkernelをロードすればいい
>>466 UTF-8で済むから意味がない。
UCS2(一文字16ビット)だと、UCS4(一文字32ビット)の文字が表現できないからUnicodeとしては欠陥になる。
表現できる文字数が減るってことだよ。
UTF-8はUCS4の文字も表現できる。
UCS4にしたらディスク容量が無駄になる。
バカじゃないの。
UTF-16とUCS2は別のものだよ…
>>468 UTF-8でもUTF-16でも表現できるUnicodeの文字数は同じ。
ディスク容量にしたって日本語中心ならUTF-16の方が無駄が少ない。
>>471 次世代FSでどこも採用していないって事はトレンドから外れているって事だろう。
umountができないFS
そこに保存したらファイルの内容を翻訳してくれるFS
475 :
login:Penguin :2012/04/15(日) 01:37:47.14 ID:wcHN5p+1
そして、バイナリファイルやソースコードの中身がグチャグチャになるんですね
そういやPOSIX的にはファイル名ってただの0終端バイト列じゃないの? FS側が文字コード変換までやるもんなの?
KI/KOを始めて見たときなんだこの糞実装わと思ったが UTF-8で同じようなの見るとは思わんかったw
>>476 LC_CTYPE で locale 切り替えるんじゃなかったっけ?
>>478 表示化けとかはユーザランドの話だからFS側には関係ない。
shift_jisの場合、いくつかのOSではAPI側がパス区切り文字の解釈は直してくれるけど
ファイル名文字列のバイト表現をファイルシステム側が変えるって話はないはず
>>476 >>478 >>479 UTF-16はバイト(8ビット)単位ではなくて16ビット単位だから
バイト単位の0が終端ではなくなる。
バイト単位だと文字列の途中に0が入ることもある。
だからファイル名に8ビットのNULL終端が必ずあると決め付けていないファイルシステムでなくてはならない。
NTFS(WindowsXP)で保管してたファイルが、sambaサーバにコピーした途端、 ファイル名が長すぎる、とか言い出してエラー出た。 なにこれ。
なにこれじゃねーよw sambaサーバ側の絶対パスが長すぎんじゃねーの
>>480 そのUTF-16のファイルシステムにLinuxのどのAPIでアクセスすんだよ。
ここLinux板だぞ
間に入るAPIがASCIIと互換性のない文字コードをサポートしてないんだから意味ないだろ
ssdはnilfsみたいなホンマか嘘か分からんこといわれたんだが ネットブックにssd入れて使うのにnilfs入れて見るとかありえんの? nilfs自体がそもそもネタfsとか思ってるんだけど
487 :
login:Penguin :2012/04/15(日) 23:29:54.66 ID:wcHN5p+1
やっぱり、長いファイル名を受け付けてくれるファイルシステムが欲しいな。 とはいえ、LinuxファイルサーバにWindowsのファイル保管庫をやらせたいだけなので、 sambaサーバがhddのraw blockデバイスに直接書き込んでくれてもいいんだよな。 理想としてはファイルシステムが長いファイル名に対応してくれることなんだけど。
>>472 面白いの作るっていうから…
トレンド追うのなら素直にbtfs待つよ。
でも、ネットワークというかハイパーテキスト構造なFSって、
webとは親和性高くて良いと思うんだけど。
ZFSは自動で重複を排除する機能があるけど、ブロック単位だから「どのファイルが重複してるか」は分からないんだよな。 そこで重複をファイル単位で自動でチェックしてくれて、その結果を簡単に修得できるファイルシステムを希望する
>>490 エロ画像の整理に便利なんだよ! 言わせんな恥ずかしい!
まあファイル単位だとランダムシークしてアクセスするたびにファイル全体のダイジェストを計算しなおしになるから あんまり現実的じゃないな
そもそも完全一致のファイルが見つかるだけでいいのか? 類似画像の検出は要らんのか?
>>487 ISOイメージか、仮想HDDイメージにでも放り込んで
イメージごとやればファイル名の問題は(ry
大きすぎるボリュームに大量の数のファイルをつぎ込むと
ファイルの検索だけで激しく重くなる。
細かいファイルはまとめて書庫に保存するなりイメージファイル化するべき。
そんなくだらんバッドノウハウいらんわ。 大量のファイルがあっても快適に使用できる ファイルシステムを探すのもこのスレの目的だろ。
>>463 赦す赦さないってどこの異端審問官サマだよw
ユーザにとっての第一の評価基準は、使えるか使えないかだろ。
家電HDDレコーダーのファイルシステムって何?メーカー独自?
>>499 XFSかext3 最近のはext4かな
NTFSは事実上ファイル名に510バイト使える Linuxは255バイトまで
502 :
466 :2012/04/21(土) 00:06:32.82 ID:kc2SruX3
こりゃ普及するわけがなry
バターさん元気?生きてる?
504 :
login:Penguin :2012/04/21(土) 12:01:57.08 ID:T7uXB/Ur
バターFSの開発が遅々としてるのって、 もしかして255文字以上のファイル名を許容できるようにLinuxユーザランドも含めて開発してるからか? もしそうなら、今日からZFS捨ててバター派になる
fedoraさんもbtrfsには難儀してるようだね。17は結局どうなっんたんだろ。
btrfsだけど 複数ボリュームで作ったプールをfstabで読み込ませようとするとエラー吐くぞ。まだまだだなー
fedoraはanacondaのbtrfs対応が間に合わなかったため17のデフォルトfsにはならなかった
自宅のCentOS 6.2のファイルサーバにZFS-Nativeのインスコ完了しました!! OSはssdに入れて、サーバデータをZFSにいれました。 [root@hoge]# zpool status pool: storage state: ONLINE scan: none requested config: NAME STATE READ WRITE CKSUM storage ONLINE 0 0 0 sdb ONLINE 0 0 0 logs sda3 ONLINE 0 0 0 cache sda4 ONLINE 0 0 0 sdaがssdの起動ディスク、sdbがHDDDです。 ZILとキャッシュの設定の効果が全く感じられない。 ファイルサーバのデータの読み書きの時、ZILとL2ARCに設定したSSDにとりあえず、 データは書かれているみたいだが、使っていない様子。ファイルシステムとしての 書き込みの速度も以前のEXT4の方が速いかも。 とりあえずZFSをファイルサーバのデータに使ったメリットは、何も感じられない。
509 :
login:Penguin :2012/04/22(日) 18:33:24.34 ID:njjLIW42
Windowsの255文字以上のファイル名をLinuxファイルサーバにコピーするには iSCSIというのを使えば良さそうですね。 さっき1台−1台で繋いだらうまくいったので、これから本番運用です。楽しみ。
>>508 どういうファイルサーバか知らんが、smbとかならZILは使われんぞ。ZIL同期書き込み用キャッシュだし。
それにメモリとCPU食うFSだから低スペマシンを流用した鯖とかなら速いわけもないし。
というかZFSなんてHDDを4台とか8台使う規模の鯖向けで、HDD1発を速くする(IntelSRT的な)用途にはまったく向いてないんじゃ・・・
>>509 それ iSCSI じゃなくて CIFS 対応の NAS では?
そうでなければ NTFS を iSCSI 経由でアクセスしているか。
クラスタストレージに使われることはあるが iSCSI 自体がクラスタストレージでは
ないから同時アクセスしてファイルシステム壊さないといいのだが...
>>510 ども、いわゆるATOMのべアボーンで、2.5インチ SATA 2.5 500Gで運用してた
ファイルサーバに、SSD 32Gを追加。SSDにOSとZIL、キャッシュをとって、
500GのHDDを丸ごとをZFSのPoolにしてます。
CentOS 6.2 X86-64、ZFSは三月に最新が出たNative版です。OSのメモリーが
2Gバイトなので、CPUがATOMなのも加えて、ファイルサーバのレスポンスは
かなり悪化しちゃいました。バックアップが楽になりそうなのでそれは期待して
います。
負荷が高いと裏で動いているksoftirqdというカーネルのプログラムが、CPUを
かなり占有してしまいます。(困ったな)
>>512 atomで2GでZFSってソレは罰ゲームかなんかか?
鈍亀AtomにCPUとメモリを多く使うZFS入れて 性能落ちたとのたまうかw
>513、514 会社のファイルサーバの更新の予定があり、これ迄はEXT3のファイルを Sambaで公開してたのを、ZFSに代えてみようと思ったわけ。仕事で使う サーバの実験で、家の省電力サーバで試しているところです。会社の 本番じゃもっと良いマシンになります。 ITProのZFSの記事「HDDが買えないならZFSを使えばいいのに」では仮想PCで 動かしてましたから何とかなるかなと思いましたが、ATOMじゃ何とも なりませんね。ZFSの勉強にはなりました。
ファイルサーバをext3からzfsにするなんて奇特な会社だな。 btrfsならともかく何でzfsにしようと思ったんだろか。
ふーん。CentOS 6.2にはbtrfsが入っているんだ。 ユーザー空間のプログラムだけインストールすれば使えそうなので、 軽くベンチマークと、使い方を調べて、会社のSambaサーバは どちらか良い方で構築しよっと。
>>516 あえて障害の多いサーバを本番運用することで
トラブル対策を真剣になってやれるようになる。
「我に七難ハックを与え給え」ってやつだ
> btrfsならともかく何でzfsにしようと思ったんだろか。 お前は情弱かよw
>>518 「我に七難ハックを」じゃ、ろくすっぽトラブル対策やらないけど
問題発生の都度なんとかうまくこなしてしまうみたいな感じが……
>>515 「(とりあえず)動く」と「(目的とする用途で)使い物になる」は別だろw
以前は旧AtomでOpenSolaris動かしていて
チップセットの古さもあるのかI/Oも遅くてひどいものだったが
省電力版Phenomマシンに変えたら別世界
SSDをZILにしたらDBやファイルの大量削除など
同期書込の多発する処理が軽快になった
でもNFS書込は劇的改善といかなかったな
>>521 まぁ、その通りなんだが、ZFSやBtrfsがLinuxで普通に使えるように
なる頃に慌てて勉強しなくても済むように、壊れても被害の少ない
社内のSambaサーバで運用の習得も兼ねて、作る事になったんだ。
と自宅のATOMをZFSからBtrfsに変えて、コマンドのマニュアルを
調べてますが、重複データの削除の機能はなさそうだね。
zfs使うならFreeBSDが確実だと思うんだけど。
えっw
いやFreeBSDならFAT32だろ
素直に OpenSolaris でいいやん
業務で使うファイルサーバーにコリジョン起きるかも知れない重複排除使おうとは… ビットイメージまでチェックするつもりならプア過ぎだろその環境w
OpenSolarisはもうリリースされません。illumosを使いましょう。 ZFSもコードが公開されるのはv28という話もあるし、今後どうなるか わからんね。
ZFS使うならNexentaStor使えよ とりあえず最初の一歩なら簡単に構築・運用できるもので 大体の感じをつかんでおけばいいだろ
illumosってxenのpv guestで使えるのかな?
531 :
login:Penguin :2012/04/24(火) 13:38:32.33 ID:x/oDgfDt
>>511 あの後、iSCSIについて勉強してみましたが、ブロックデバイスを外に見せることが出来るプロトコルなんですね。
んで、複数マシンで共有するときは、
排他制御が出来るファイルシステムじゃないとメタデータが壊れる云々ということですが、
NTFSでフォーマットしたんで、その条件はクリアできている、と考えてたんですが
NTFSだってNASに使われるのだから大丈夫ですよね?
もしかしてBtrfsとかlinuxのfsを使うべき?
>>531 NASはあくまでもsambaやnfsなど、「ファイルシステムを外部に晒すもの」
であって、「ブロックデバイスを外部に晒すもの」ではない。
また、複数のノードからマウントされる前提で言うと、
NASはファイルシステムからのアクセスは1つにまとまった状態になるが、
iSCSIやATA over Ethernetはファイルシステムからのアクセスがまとまらない。
だからファイルシステム側で複数ノードからのアクセスに対応した仕組みが
必要になる。
>516 は成仏しただろうか…
>>531 お前はクラスターファイルシステムについてお勉強して出なおすこと
>>533 自宅でZFSのATOM CPUのサーバを立てたものです。
残念ながら生きてますよ。自宅のファイルサーバーも
いろいろ調整して、満足できる性能で動いてます。
家のサーバのセットアップで、ZFSの使い方がダイタイ判ったので、
連休中、会社の評価機を借りて、RAIDZとか高速なSSDと組み合わせた
システムのベンチマークを行う予定。こちらはCPUもメモリーも
たくさんあるので、結果が楽しみです。
同じ条件で、Btrfs、ZFS、ZFS on FUSE、EXT4の4つのベンチが
取れれば良いのだが、ちょっと時間がないなぁ。FUSEは見送るかな。
>>531 NTFS は分散ファイルシステム(クラスターファイルシステム)ではないよ。
同じく NTFS を使う Windows XP や 7 が直接 iSCSI 見に行かないだろ?
両方からアクセスさせるにしても同時にはマウントしないで使わないと危ないぞ。
linux zfs使って社内サーバー運用するって普通するの?
>>537 何を以て普通というかは置いておいて、技術系の会社が自前で面倒見るつもりでない限りはしないことがほとんど。
IT系の会社で、ドッグフードを自分で食うのが習慣のとこならアリかなあ。
540 :
login:Penguin :2012/04/25(水) 00:38:06.27 ID:9YNkBqtf
ドックフードを食べるのってWindows系(カトラー系)だよね Linux界ではなに食べるんだろ
>537 Solaris, FreeBSDならごく普通だろうけど linux だと「ムチャしやがって(AA略)」
>>535 >RAIDZとか高速なSSDと組み合わせたシステムのベンチマークを行う予定。こちらはCPUもメモリーもたくさんあるので
こういうシステムで使うに至って初めて性能云々が言える段階っしょ・・・
ZFSの使い方を習得したいだけならAtomでもVMでもなんでもいいけど、その段階でメリット感じられんとかext4の方が速いとか言ってもしょうがないわな。
ま、ZFS fuseのベンチは時間の無駄だからやめとけw
>>540 カトラー系って何じゃ? MSは、OS開発でドッグフードしなかった例はないはず。
ZFSを使っている方に確認です。 L2ARCの効果を確認するため、次の試験をおこないました。 (CentOS 6.2、zfs-0.6.0-rc8) ZFSのディスクに4Gバイトのファイルを用意(仮想PCのデータ) ファイルを別ディスクにコピー1回目 ファイルを別ディスクにコピー2回目 1回目のコピーでcacheへデータは書き込まれるので、 2回目は早くなるかと思いましたが、速度は変わりません。 zpool iostatで読み書きの様子を見てますが、こんな 状態であまり読み込みのキャッシュには使われていない 様子です。 capacity operations bandwidth pool alloc free read write read write ---------- ----- ----- ----- ----- ----- ----- storage 260G 204G 104 0 13.0M 272 sdb 260G 204G 104 0 13.0M 245 cache - - - - - - sda4 2.59G 14.9G 0 11 11.7K 1.42M ---------- ----- ----- ----- ----- ----- ----- サーバのメモリーが2Gバイトなので、4Gのデータの読み込みで、 キャッシュは完全に使いきってL2ARCが働くと思うのですが、 シーケンシャルのファイルでは効果がないのかな?
>>545 L2ARCはランダムアクセスにしか効かない。
それもさんざんランダムアクセスを繰り返して埋まってからでないと効かない。
自宅サーバーでL2ARCが効くところを見るのは絶対無理。
>>546 なんだって!!??
かなーり、ショック。
勉強になりました。有難うございます。
549 :
login:Penguin :2012/04/27(金) 00:21:19.91 ID:8fbM7xtX
ZFSの解説本が無いのがツライ
ZFSって結構メモリ食うってのを見かけた記憶があるんだが本当なん?たかがファイルシステムごときに
メモリを与えてやればいいファイルシステムが作れる・使えるぜ? というコンセプトなんだから賛同するなら使えばいいし そうでないなら他のを使えばいい (linuxでは実装がまだアレだろうけど)
ファイルシステムにたかがとか言えちゃうなんて凄いな〜
ZFSを使ってみたいと思うのは、スナップショットの 機能かな。LVMのスナップショットは容量計算が めんどくさいし、速度は遅くなるし、使う気が 失せました。 1時間ごとにスナップショットとって、それを ずーと残して運用してる人もいるし、LVMしか 知らない人からすると、すごいファイルシステムです。
東北ではファイルスステムっていうらしよ
>>550 ファイルシステムってレベルじゃないから
556 :
login:Penguin :2012/04/27(金) 18:10:40.97 ID:eDI9BxG4
ZFSってどうやってfstabとの整合性取ってるの?
ZFSの内部にmount情報があって、起動時にzfs mount -aと いうコマンドでマウントできます。fstabは使いません。
一番上かその下
>>560 こういう方々がいるから俺は生活が成り立ってるんだ。
大切にしてあげなさい。
ZFSで自宅サーバですが(くどい?)、 ZILとL2ARCの効果を体感しました。ファイル共有先の Mac OSの上からAFP経由でファイルの読み書きを行った ところ、非常に賑やかにZILとL2ARCへのアクセスが 行なわれまして、L2ARCの方だけが読み込みに答えたり、 ZILに先に書き込まれ、HDDに遅延で書かれる様子が zpool iostatで見れました。 実際の効果はともかく、小さなATOMサーバでも動くんだ というところに、ちょっと感動しました。
>>561 の生活なんてどうでもいいから粗末にしよう
>>564 ははは。高機能サーバーが欲しいところですが、
家に置くには少々でかすぎるので、自宅は省電力Atomで我慢します。
連休開けから会社の実習で使うサーバを、連休の間2日間借りれた
ので、こちらで思いきりZFSの力を堪能するつもりです。残念なのは
RAIDカードにSATAディスクが接続されてて、これは壊しては
ダメらしいので、RAIDZの実験が出来ないこと。
bonniie++のベンチと、SMBサーバにしてPCからファイルを
送信し、ZFSとEXT3の速度比較などやってみます。
楽しみです。
566 :
login:Penguin :2012/05/01(火) 21:52:13.85 ID:EQhJ/ZNC
最近は仕事にnative ZFSを投入するのが流行なんですか?
仕事と言っても様々なんですが?
>566 そんな事はぜんぜんなくて、個人的な興味と事前評価。 Linux NativeのZFSはいつ正式版になるか判らないし、正式版になっても ビジネスの世界は実績が全てだから、ZFSじゃ無く、Ext3とかExt4を 使うのが正解。という事は判っているが、技術としては面白いので 5年ぐらい先に正式版になって、ビジネスの提案に使えれば 良いぐらいの気持ちで遊んでます。 個人的にはレプリカと重複排除機能が熱いかな、と思います。
UNIX板のZFSスレが無くなったと思いきやみんなこっち来てたのか。
570 :
login:Penguin :2012/05/03(木) 00:38:24.61 ID:Xl/wH1u0
ZFSの重複排除で衝突が起きたら、 その瞬間、宇宙が終わっちゃうんじゃない?
仕事でZFS使うのなら、素直にSolarisだものねい。 しっかし、OracleのGoogleへJavaのいちゃもん訴訟を見ると、Appleが SunのOracleへの買収直後にZFS捨て捨てしたのもよくわかる…。 とはいえ、OS Xでext3/4どこではなく腐れたHFS+をいつまで使うんだか。
まだローカルファイルシステムですか?
zfsのメモリとcpuの使いっぷりだと、ノートで使うのは厳しいように思う。 HFS+ってext3,4と比べてそんなに見劣りする?
そういやMacBookAirってSSDだが 特殊なFS利用してないのかな?
>>575 普通にHFS+だけど、アクセス仕方などのパラメータはかなり調整されてるみたい。
>>568 まぁ勝手知ったるLinuxでZFSいじくり回して、いけそうやんってなってからSolaris触るってのもいいかもな。
Solarisの作法イチから覚えてZFS試してやっぱ使えん、なんて結論になったら時間の無駄だし。
ZFS on Linux特有の問題に遭遇したらそれはそれで時間の無駄だけどw
>>574 HFS+はジャーナリング付きのFAT32みたいなもんだと思っておけばいい。
>>578 そう?
パーミッションあるし、もうちょい高機能なんだと思ってたけど。
ジャーナル付きNTFSくらい。
>>579 その辺はACL用にちょっと拡張されたってだけだからなぁ。確かに機能面では
大きく違ってくることではあるけど。
基本的には大昔のHFSからそうは変わってない。実装で頑張ってOS Xのバージョンが
上がるごとにACLだのジャーナリングだとの拡張しているけど。
あと、NTFSについて無知すぎ。ジャーナルはハナからついている。
NTFSさんにあやまれ。
HFS関係って昔リソースフォークの取り扱いとか 変態ファイル名とかですんげー苦労させられた記憶があるんだけど、 他のFSとの相互運用性ってマシになってたりするのかな?
会社の評価機を借りてLinux NativeのZFSを試してみました。 CPUがXeon 2.3GHz、メモリーが16Gバイト、HDDが2Tバイト SATAと いう構成。特に問題なくインストールできて、ベンチマークプログラム、 ファイルコピーのテストも順調に出来ました。 あたり前の結果で、シーケンシャルの読み書きの速度は遅く、ランダムは速い。 特にランダムの読み込みの速度がEXT4に比べて、30倍くらい速く、DBや ファルサーバのストレージに使うと凄そうですね。 Linuxでの正式リリースが楽しみなファイルシステムです。
え? DBにZFS?
何かいいたいことがあるなら具体的にどうぞ。
大坊聡?
メタ情報をもっと活用する方向にいってくれないもんかな。FSだけの問題じゃないけど。
Oracleデータベースを置く領域はASMで決まりだろ わざわざOSのファイルシステム上に置くメリットって何かあるの? 管理しやすいって?
FreeBSDスレ見てたらZFSはv30からOracleの意向でクローズドソースになるのね v28採用してるFreeBSDとかは独自発展させるんかな
v30も暗号化部分がクローズドなだけじゃないの? FSもDBも全部Oracleに握られてるのはいやだなぁ
RHEL6でサポートされるFSはext3、ext4、そしてスケーラブルな(笑)xfsかぁ
ebayは日本向け売ってくれないもん? そんなしないぞ
超大容量HDD付けたnilfsをGC offにすれば速くなることは速くなる。 リードもメモリキャッシュに乗るようにすればよい。
>>591 FreeBSDはillumosの動向に追従みたいだけど、現状よりは望み薄っぽいね
>>591 海外フォーラムを見ると
これからは2つのZFSが存在することになる。
非常に残念なことだ。
って書いてあるから、オープンソース最後はv28で、v30以降は完全クローズになるんじゃないかな。
v28までライセンスがCDDLってのは変わらないようだけど。
IllumosもCDDLで公開されているソースを利用しているから、v30以降のZFSのコードは使えず
ZFS v30以降はOracleSolaris使うしかないって見解みたい。
今更クローズドにするとかあいかわらず嫌がらせが大好きなんだな。
>>598 嫌がらせっつーかそもそもオープンソースと競合する製品を売っている会社で
しかもオープンソースに協力とかしていない会社だから。
さすがにそれはあんまりだ
この先どうなるのかしらないけどbtrfs作ってるじゃん。 MySQLも今のところはオープンのまま。
そういやそうだったな
今更というよりOracleがSunに買収された時点でこうなるのは仕方なかったのかな。
>>593 >>594 OCZ製のPCI接続SSDであればもっと安かったよ
海外からFusionio買った人いますかー?
>>603 そうなってりゃ今こんな話にならんだろw
もっとも、SUNが好調だったらSolarisをオープンソースにしたかは怪しいけどさ
まったく貢献しない奴より、Oracleの方が1000000倍ありがたいけどな。 OSSに貢献するのは国民の義務でもなんでもないし、営利企業なんだから必ずしも沿えないのは当たり前。 どんなに協力的な会社でも自社の生存を犠牲にしてまでOSSする訳ない。そういう枠の中で、btrfsやocfs2に匹敵する貢献をしてる会社が一体何社あるのかと。
BerkleyDBとかMySQLとかJavaとか不幸にしまくってるじゃん。 ドキュメント方面の予算削られてMySQLの日本語ドキュメントが5.1 までしかないとか、doc.java.comが一時期なくなった(社内でがんばって くれた人がいて復活した)とかひどい目にあってる。 JavaはGoogleとの訴訟で「APIに著作権を認めろ」とかいってるしな。
オラクルの場合は貢献よりやったことの悪影響の方が多いから OSSに対して非干渉の企業の方が1000000倍ありがたい。
業突く張りのボラクルですからね
MSの方がまだマシって思わせる企業があるなんて
ZFSの未来はNexentaに頑張ってもらうしかないよね
>>607 Oracleが打ち捨ててくれたおかげで幸せになれたOpenoffice.orgとかあるしな〜
開発者がほとんど逃げ出してから捨てられてのって幸せなんだろうか
>>612 上流に寄付するなりすればいいのに
半税金で運用している会社のわりに使えないよな
GPLなものに受信料は関係なかろ。
>>607 あいつらが予算削減したからドキュメントがないんだって・・・
どんだけ無料ユーザー様なんだよ。
世の中金も手も出さない所ばかりな所で、ドキュメント作成までは
カバーできなかったが出したというのに、前の支援者よりレベルが
落ちるだけでボロクソ。誰がそんなコミュニティ支援するんだ?
Oracleに買収される前にあったものが買収されたら無くなったら呆れるだろ。
>>613 捨てるなら最初から捨てればよかったのに、さんざん引っ掻き回して
誰も寄り付かなくなってから寄贈とか嫌がらせの最たるものじゃん。
v28時点の機能で充分なんで、v30以降クローズドでも文句言わんからv28のコードをBSDかGPLにしてくれんかねw>ZFS
ならばApache Licenseにしてやろう
修正BSDならまだしもGPLはちょっと…
GPLにしたらFreeBSDの人たちがキレるだろうな。
むしろIllumos側とかがやる気無くすだろ
Linuxサーバ構築の仕事をやっているが、 ZFSに対してのあこがれは増すばかり。 自宅のファイルサーバ(CentOS)で使って、良い感じで使えているので、 会社のデスクトップマシンのOS入れ替えのとき、Homeディレクトリを ZFSに割り当てちゃおう。
Oracleアンチスレに成り変わってしまったんやなw喜劇やなw
>>629 以前のスレでも同様の事情が発生したからね
まぁ、定期的に発生するよくある話
最近のファイルシステム事情からするとOracleが叩かれる流れになるのは仕方ないと思うんだが。
ZFSクレクレ Btrfsクレクレ
OSクレクレ3日でピーコ完了w
zfsをhdd×4のraidz1で運用してる。osはsolaris11 raidの健全性を調べるコマンドって zpool status で必要十分なの?
>>594 ebayに出品されているのは中古品だろ?
メーカー出荷の新品と比較しちゃダメよ
>634 zpool scrub pool名 でオンラインチェックが出来るらしい。 今試しに動かして見てるけど、IOやCPUの負荷が かなり大きい。全力で読み書きしてチェックしてる 様子。 scrub実行中にzpool statusを見ると、チェック の進捗と予想終了時間が判ります。万が一エラーが 起きたら自動修復?されるんでしたっけね。
637 :
login:Penguin :2012/05/18(金) 02:04:44.50 ID:vSGVCWOh
なんだ、ZFSもfsck必要なのか
>637 他のファイルシステムでは、ファイルの書き込み中の電源OFFとか カーネルパニックでファイルが壊れることがあるけど、ZFSは 書き込んでからファイルポインタを付け替えるから、ファイルが 壊れる事はない。 scrubはハードウェアの障害によるデータ化けの対策
ファイルポインタを付け替えようとしているときに電源が切れたらどうなるの? とか思ってしまった
>>639 …。そう思ったらちょっと考えてみるぐらいしてみたほうがいいな。
急いでつけかえるから大丈夫!!!1!!
考えて分かることなのか
ファイルポインタを付け替える間に電源を切ることは不可能である
644 :
login:Penguin :2012/05/18(金) 13:52:20.88 ID:g3FMqL47
ポインタの付け替え時間 <<<<<<< ファイルの書き込みの時間 ファイルの書き込みの最中に電源が落ちると、ファイルは死んでしまいます。 例えばテキストファイルを書き込み中に電源落ちて半分しか書き込めなかった とか。ZFSでは元の情報を保持したまま、新規のデータを作成し、書き込みが 完了した後、ポインタを付け替えます。ファイル書き込み中に電源が落ちても 元のファイルは残ります。という事でファイルシステムは論理的には 壊れません。
そんなこと誰でも分かってるでしょw
HDDユニット自体が電力を絶たれても がんばってアトミックに動くようになってる(らしい)からでそ。
そのためのジャーナルなんだぜ
ジャーナルはメタデータしか記録しないので万能ではない 単にファイルシステムのメタデータが壊れないだけ
>>648 んなことはない FSによって仕様は違う。
ext4は、電源切れた時とか、書き込み後の新しいファイルも 書き込み前の古いファイルも残らない問題があって、 その問題が出る可能性を少なくする修正をしたけど、可能性はあるまんまだよ。
651 :
login:Penguin :2012/05/19(土) 00:37:17.94 ID:5rNSO6UU
電源切れても、アトミックに書けることが保証されてるなら、 どんなサイズのデータも 512byteのファイルに分けて書き込めば、不意の電源切断による ファイル損失が回避できるってことだね
アトミックに書けないとしても、ログ追記する形なら書き込み失敗=前データが有効ということになるので安全な書き込みは保証される。
hdparm -W1で使ってても保証されてる? FUA発行前の書き込みが中途半端に反映されてる状況。 FS次第?
XFS2まだかよ
XFSは元々は他OSのFSだしext5の方が良いんじゃね
電源の話が続いてたけど、HDDって電源とんでも1セクタは自力で書けるような仕組みを持ってるの?
>>657 それ以前にHDDの内蔵キャッシュメモリ上の内容が揮発する
>>655 kernel 3.2でx86_64の場合は、件のスタック食いつぶしもマシになったとのこと。
kernel 3.2といえば、ext4の16GB制限もなくなっているんだよなぁ。
とはいえ、Redhatのkernelにそれがマージされるのはいつになることやら
RedHatカーネルに移植されない=OracleLinuxに取り込まれない なら別に悪くないかもw
>>657 いまどきのHDDならキャパシタや慣性でアトミックな書き込みになるよう努力してるが絶対の保証はされてないというのが自分の認識。
postgresqlやsqliteのマニュアルでもデフォルトでは信用してなさそうだし。
zfsみたいにfs層でアトミック性が保証されている場合はdb側はそれを信じて動作できる。
とあるMLだと大抵HDDメーカーの人とDB側の人が喧嘩してるイメージがある 性能上げる為にメモリにキャッシュしてんのにアトミックじゃないって言われてキレてたりとか ハード屋からみたら当たり前だし、ソフト屋は分かってて噛みついてんだろって思うw
ぶっちゃけUPSいれろで結論出てるけどな
ハード屋は電源無くなりゃなんも出来んって言ってるのに ソフト屋はack返してんだろって言うからなw ま、どっちも正しいんだがfcの頃ならともかくiSCSみたいのでfsyncでクラスタfsが完璧に補償されるとか思って欲しくないわ
奥なんとかさん。呼んでますよ。
え?iSCSIってアトミック動作保証されないの?? ジャーナルFSにしてても、破損する可能性あるのか
iSCSI の実装が腐ってるか、クラスタfsの設定が悪くて実装されていないコマンド 呼んでるとかタイムアウト系のパラメータ間違ってるとかじゃねーの?
>>657 http://www.atmarkit.co.jp/flinux/rensai/watch2010/watch03b.html >Martin K. Petersen(OracleのLinuxエンジニアで、IDEMAの内部事情に詳しい)は、
>「もともと512bytesでも保証はなかった。
>ベンダは努力はしていたが、実際には、例えば書き込みセクタを調整することでホットスポットを分散させたりしてたから、
>そういう処理が原因でアトミックに処理できなかった。
>そういう訳で、非揮発性キャッシュ付きのRAIDをみんな使っていたのさ」と説明。
>これについては、「アトミック書き込み保証問題は、サーバ業界が4KiB論理セクタ長に向かっている理由の1つである」とコメントが付きました。
家のnilfs は、全部ext4に戻しました。長期間使った時のパフォーマンスの著しい低下が我慢できなかった。
ところで、linuxの次期FSとして一番有力なのはどれなの? 1)btrfs 2)ZFS 3)ReiserFSもしくはそのフォーク? 4)EXT4もしくはその拡張 5)その他
そもそも1セクタ分がアトミックに書き込めることにfs的にどんだけの意義があんのかな。 複数セクタの書き込み単位でアトミックになっていないと整合性が判断できないんであればあまり意味ない気もするし。
1セクタアトミックに書けるなら 任意の複数セクタをアトミックに書けるようにソフトウェアだけで実装できる
>>670 1)btrfs→オラクルからはエンジニアが既に去った。
2)ZFS→ケチケチサポートに突入。
3)ReiserFSもしくはそのフォーク?→そんな気配は無い?
4)EXT4もしくはその拡張→結局これだろう。誰かが知恵絞って、多くの人間にたたき上げられてext5とか出るのが想像つきすぎる。
5)その他→ZFSの人が何か作るんじゃないかと個人的には思ってる。
> 1)btrfs→オラクルからはエンジニアが既に去った。 去ったのはZFSの人か。スマソ。
676 :
login:Penguin :2012/05/21(月) 10:11:32.22 ID:VzIf2jh+
やっぱり4だよね。
4だと思う。 で、アマノジャクな人が2か5のZFSもどきを使う。 (だって面白いからな。)
DragonflyBSDのHammer移植の方が現実的かもなぁ
やっぱりext4の系譜かー。そうだよね。
>>679 機能的にZFS以降のfsとは差がつきすぎているし、
代替は欲しいんだけどねい…
681 :
login:Penguin :2012/05/22(火) 07:50:09.39 ID:7a68CDWm
http://japan.cnet.com/news/business/35017280/ 来日中の米Microsoftの最高経営責任者(CEO)Steve Ballmer氏が5月21日、東京・渋谷区のホテルで開催されたパートナー向けのイベント「Windows Partner Executive Summit」で講演した。
Ballmer氏が米国外を公式に訪問するのは、2012年に入ってから初めてのことだ。次期OS「Windows 8」の開発が最終段階に入った今、最初の訪問国・日本のパートナーに「今年はMicrosoftの歴史の中でも、
もっともワクワクする1年」とメッセージを発し、Windows 8の登場によって大きな変化が訪れると強調した。
Windowsを再創造する
マイクロソフトCEOのスティーブ・バルマー氏。明日から韓国、中国、インドを歴訪する。 マイクロソフトCEOのスティーブ・バルマー氏。明日から韓国、中国、インドを歴訪する。
※クリックで拡大画像を表示
Windows 8は、今年後半の登場が予定されているMicrosoftの次期OS。従来に比べて機能を追加しただけでなく、新たなUIを投入する点が特徴だ。より高速で滑らかに動作し、
スマートでモダンなデザインを実現させることを目標としている。既存のWindows 7の機能もさらに強化し、「新たなレベルに引き上げ」(Ballmer氏)たものの提供を目指して開発が行われている。
Ballmer氏が繰り返したのは「再創造(Re-Imagine)」だ。Microsoftは、Windows 8で「再創造の1年であり、チャンスの1年」(同)にしたい考え。
この1年で、3億5000万台のWindows搭載PCが出荷されているとの調査を引きながら、「競合他社はPCとタブレットをあわせて6000万?7000万台の出荷」(同)と、その差を強調。
Windowsという強力なプラットフォームが「再創造」されることで、パートナー企業にとっても新たなチャンスが生まれるとした。
んなもんより時代遅れのNTFSよか新しいファイルシステム作れや!!!!!!!!!111111
初歩的な質問ですまないけど一つ教えて。 ext4であるファイルの内容を修正(ファイル全体のサイズは変わらないような変更)をした時、 該当箇所を格納したブロックの内容を変更して、書き戻す位置はHDDに対して元あったLBAと同じ位置を指示するの? それとも別の空いてる場所に書くの? さらに修正箇所が複数ブロックに含まれる場合はどうなるのでしょうか?
>>672 んなことない。
それは書き込み順序が保証される場合で、バリア張れなければセクタアトミックでマルチセクタアトミックは実現無理。
>>682 今時のファイルシステムは、ファイルの内容を書き換える場合に、
データブロックをそのまま使って中身だけ書き換えるなんてことはしない。
理由はトランザクション処理におけるクリティカルセクションが長くなるから。
1. 古いデータだけしかない状態
2. 新しいデータを空いているブロックに書き込む
3. 古いデータも新しいデータも共存していて、ただしメタ情報は古いデータを指している状態
4. 新しいデータを指すようににメタ情報を書き換える
(メタ情報はすごく小さいのでクリティカルセクションを小さく出来る)
3(または2)の段階でクラッシュしても、古い状態は完全に残っている。
実際にはさらにインテントリストを使って、再起動後に更新をリプレーする工夫がある。
データベースのトランザクション処理を勉強すると良い。
685 :
682 :2012/05/22(火) 11:07:12.35 ID:lf9QnnI6
分かりやすい解説、ありがとうございます
686 :
login:Penguin :2012/05/22(火) 16:06:03.57 ID:YPS563wb
>>684 そうすると、空き容量が書き換えようとするファイルのファイルサイズより小さい場合、
書き換えに失敗するということですね
トランザクション単位は通常ブロックだよ。 ファイルのバージョン管理しているファイルシステムには、 さらにopen/close単位でもトランザクション管理しているのもあるけど。
mbrを消したら完全に読めなくなるFSってあるんですか?EROIひと
MBRってどういうものか、ググればわかるような
MBRってFS関係あるんですかね・・・?
wikipediaくらいは読んでるの?
>>690 mbr消してもtestdiskつかったりdumpすれば
先頭のデータみたらどこからどのパーティション始まるかわかるから
mbr修復できるけど、それができないFSはあるのかなと・・・
>>668 >>これについては、「アトミック書き込み保証問題は、サーバ業界が4KiB論理セクタ長に向かっている理由の1つである」とコメントが付きました。
この引用だけ読むと、ん?セクタ長が長くなる方がアトミク保証キツそうだがと思ったが、AFTのRMWを問題視してるのかな?
確かにアラインがあってない状態でブロックライトしたときたまたまそれがトラックまたがりだったりしたら、
電源供給たたれた状況ではRMW完遂キツそうかも。
ごめん、FSのブロックとHDDの物理セクタは直接の関係はないからアラインうんぬんはミスリードね
>>682 >>684 簡単な検証をしてみたが次のようになった。
1. dd で 1GB のファイル(disk.raw)を作成、mkfs.ext4 でファイルをフォーマット
2. loop オプションでマウント
3. 64KB のファイルを作成。 中身は全部 0xC1 (00とかFFでなければ何でも良かった)
4. 一旦アンマウント。
5. disk.raw を 16進ダンプして C1 が 16個 並ぶ行をカウント → 4096 行
5. fseek と fwrite(C言語) 使って 7000(0x15B8)番地から 12000バイト適当なパターンを書き込み
6. アンマウント
7. disk.raw を 16進ダンプして C1 が 16個 並ぶ行をカウント → 3345 行
(4096-3345)*16(1行16バイトでダンプ)=12016 (12000 バイト + 16の倍数では無いところから開始分)
1GBを32MBにするとブロックサイズは 4KB から 1KB になるけど結果は同じ。
このとき 16進ダンプ自体を比較したが変更されたのは 832 行 (13376 Byte) だけ。
# diff -u pre.txt post.txt | egrep -e '^[+]' | wc -l --> 832
diff の結果を詳しく見ると書き込んだパターンの前のデータはすべて C1 の行で、
どう好意的に解釈しても
>>684 の言う動作をしているとはいえない結果だった。
ext4のmountオプション
698 :
番組の途中ですがアフィサイトへの転載は禁止です :2012/05/22(火) 23:40:12.43 ID:tlYG6Oak
684さんはDBか何かの話をしているのだろう、普通のファイルシステムは セクタ単位に上書きして済ませ面倒な操作は回避する。 電源が落ちると、HDDは一番外側のトラックに緊急書込みしてDRAMの イメージを保存する、SSDもDRAM上に保持していた更新データは急遽 特定のページに書込む、HDDもSSDもDRAM上のデータは電源が落ちても 維持するから書込み応答があれば書込めたと考えていいはず。 ただ、SSDで電源の落ちる速度が速いと飛んでしまうSSDがあって、 それでWindowsの休止が使えないSSDを掴まされた。
彼の言う「今時のファイルシステム」にext4やntfsは含まれていないのですよ
5の処理はひとつの操作じゃないから、 5の間に解放されたブロックが最利用されてるんじゃないの?
701 :
696 :2012/05/23(水) 00:47:46.11 ID:9NniJAVU
>>700 すいません、次のとおりです。
1. dd で 1GB のファイル(disk.raw)を作成、mkfs.ext4 でファイルをフォーマット
2. loop オプションでマウント
3. 64KB のファイルを作成。 中身は全部 0xC1 (00とかFFでなければ何でも良かった)
4. 一旦アンマウント。
5. disk.raw を 16進ダンプして C1 が 16個 並ぶ行をカウント → 4096 行
6. マウント
7. fseek と fwrite(C言語) 使って 3. のファイルの 7000(0x15B8)番地から 12000バイト適当なパターンを書き込み
8. アンマウント
9. disk.raw を 16進ダンプして C1 が 16個 並ぶ行をカウント → 3345 行
> 5の間に解放されたブロックが最利用されてるんじゃないの?
再利用されていれば 1KB(1ブロック) 以上 C1 じゃ無いところが発生するはずだが実際は
すべて上書きだった。 ここまでだとデフラグされた可能性はあるけど、
ext3/4 のジャーナルがメタ情報しかジャーナリングで保護されないと知っていれば
>>684 の言う動作はしていない(していればメタ情報しか保護しない理由がなくなる)
と解るはず。
>>684 はそこまで的外れなことは言ってないんじゃないの。
手元のext4のファイルシステムで試してみたけど
openにO_TRUNCを付けて開く→別のブロックアドレスに新規の内容が書き込まれる。元のブロックアドレスにはファイルの内容は残存。(
>>684 の言う動作をしてる?)
openにO_TRUNCなしで開く→同じブロックアドレスに上書きで書き込まれる。(
>>701 のやった実験)
どっちの場合でもinode番号は保持されている。
当たり前だけど一つの巨大なファイルをO_TRUNCなしで開いて何回もlseekとか使って読み書きする場合は
同じブロックに書き込まないと断片化しまくりんぐなんだよね。
んで
>>682 の質問は多分O_TRUNCなしの場合の疑問だから多分元あったLBAにそのまま上書きってことでいいと思われ。
まあ、俺もあんましファイルシステムに詳しい訳じゃないから間違ってたら指摘頼む。
>>684 それ、Copy-On-Write を実装したファイルシステムの典型的な挙動で
それでbrtfsやZFSが注目されてるけど、まだまだ一般的じゃないよ
今普通に使われてるファイルシステムは
未だに停電時のデータ保全は保証されてなくて
だからデータベースソフトは凝った制御をわざわざしてる
>>703 ZFSやbtrfsやHAMMERはモダンなfsと言われている由縁ですな。
あと、機能的にはボリュームマネージャとfsとの統合もしているのが
モダンなfsの特徴。
>>702 truncしたら
>1. 古いデータだけしかない状態
ここが無いだろ
nilfsもモダン
lfsはモダンすぎた
仮想環境のマシンをカーネルのアップデートで再起動が発生した際にext4でfsckが走った 開発が予定されているext5でも一定間隔毎にマウントする際はfsckが走る仕様は残るのかな?
ext5ってどんなのが出るとかって話もうあるの?
>>708 デフォルトでmkfsすれば走るようになるけど、mkfsにオプションつけたりtune2fsでオプション変更すれば走らない、というはなしではなくて?
>>711 仮想環境だったので“tune2fs”で間隔の設定変更してなかったの ww
で、密かにウワサされているext5はやはり間隔の設定変更は必要なのかなぁ〜
って、ふと思っただけです (__)
(何せ、xfsやbtrfsにはマウント時に定期的にfsckが走る事なんて無いですしね)
ちなみに実環境は“tune2fs -i0 -c0”でマウント時にfsck走らない設定にしていますよ
やっぱりreiserfs最強
>>710 冗談の範囲を超える話はまだ出てないと思うけど、
私のアンテナが低いだけかもしれない
>>713 reiserfsのどのあたりが最強なの?
数年間使ってるけどfsckとは無縁
いまのlinuxのfs開発状況だと、ハンスが出所して開発再開したら、それなりに歓迎されそうだなぁ
出てくるの10年以上後だぞ?
10年後ならext5くらい
ハンスはいまも開発を続けているよ。 紙の上でハンドアセンブル、イメージデバッグ、、、 長期間念入りにチューニング&デバッグされた高速&堅牢な夢のfs 出所してからそ実機でテスト
>>721 時間タップリあるだろうし、
他にすることもなさそうだから、
クオリティ恐ろしいかもしれんなw
btrfsのstableリリースとハンス出所してreiser4完成はどっちが早いのかもうわからないレベル
減刑のための法律勉強で忙しかったはず。
向こうって模範囚なら殺人犯でも3年で出られるんだろ
って、fsから話が外れまくったな。Btrfsが標準fsになるFedora 17のリリースが そろそろだけど、これでようやっとBtrfsの開発速度が上がってくれるかな…
728 :
login:Penguin :2012/05/26(土) 02:30:10.12 ID:I/wUNAvd
なんでバターFSは主力FSになれないの? 修正されない致命バグが残っているとか?
3.2.xを使ってるがファイルが壊れることが時々ある。
そら、ファイルが壊れちゃうようなfsをメインになんか使いたくないよな
じゃぁブログでブツブツ言ってないでバグ出し協力すればいいじゃないか
そのブログの新しい方の記事でまさにそういう展開になっている
>>728 地道にバージョンアップしてきてるじゃん。
おまえはまさかすぐにでも実用化になると思ってるの?
>>732 これはそうなんだが時々BUG_ONから適切なエラー処理に変更するパッチが流れているのでちと古い話。
アンドリューモートンが2.36頃にはraiser4がマージされるよとか言ってた矢先のタイホだったからな。 しばらくカーネルに毎回パッチあててraiser4を使いつづけてたけど、さすがにマージの見込みが無さそうなので諦めてext4へ乗り換えた。
738 :
login:Penguin :2012/05/26(土) 16:15:11.36 ID:I/wUNAvd
そんな話を聞くと、ここはReiser4の無いパラレルワールドなんだなって気がしてくる Reiser4がマージされているもう一つのパラレルワールドのこのスレでは、 逆にBtrfs、NILFS、ZFSの話題が消えてたりするんだろうか
誰か開発を引き継ごうって人はいなかったのかいな。
会社組織だったんだから、社長がタイーホされたからといって、会社がなくなったわけじゃないはず。 父親が引き継いで開発を続けるとか言ってたが、元々カーネルメンテナーの多くに良く思われてなかった のと(特にプラグイン構造が)、スポンサーが見つからなくてポシャったのではないかと。
会社の絶不調なUbuntuデスクトップ機(タワー型)の OSをCentos 6.2(派手なメディア系のソフトは無いけど仕事で使うには 十分なソフト環境)に変え、ファイルシステムはZFSに変えてみた。 ジャンク品の500GのSATA HDDを3本Raidzにして、全部homeにあてて みた。ジャンク品だが経年劣化で壊れたら、それはそれでおもしろいと思っている。 ベンチマークとかファイルのコピー時間とか見てるけど、マザーボードが 読み書き合わせて150MB/secが限界のしょぼいヤツなんで、 まだZFSの恩恵は判らない。 日々のバックアップとか、ランダムアクセスを多用する処理がどれぐらい 良くなるか、来週の業務が楽しみです。
何をしたいかわからんw
みんなバリア無効にしている? ext3も今度からバリア有効設定がデフォになるらしいけど。
我感謝君迅速回答 謝謝参考情報
>>745 「ext3も今度からバリア有効設定がデフォになるらしい」ってまじか?
ソースきぼん
751 :
741 :2012/05/28(月) 14:43:01.77 ID:4B9wts/1
>>743 会社のデスクトップ機は、Linuxのサーバとソフトの評価のために
仮想イメージが20個ぐらい入っているんだけど、同じような
ディスクブロックだったようで、dedupで1.30という数字が
出ています。ディスクの節約ができたのはまず嬉しい。
あと実際に使ってわかったのは1本ずつのHDD30MB/secの読み
書きが出来る場合、3本のディスクによる読み書きの速度は
Raid0の場合は90MB/secになるのだが、RAIDz1の場合は書き込みは
60MB/sec、読み込みは90MB/secになることです。という事は
ZFSはRAIDでタマ数を増やすと読み込みはRAID0のように、
HDDの数の倍数になるってことかな?
>>751 ディスクのうち一台にはパリティを書き込むので、台数-1倍になりますな。
753 :
741 :2012/05/28(月) 19:22:51.86 ID:4B9wts/1
楽しみにしていたZFS化のメリットだが、仮想環境のファイルの アクセスには効果がなかったようだ。 /home以下のディレクトリに、Raidz1で3本の500G HDDを束ねて、 さらにSSDディスクを2Gと20Gに分けて、ZILとL2ARCとした。 Windowsのイメージの入った仮想イメージを、ZFSのディスクと EXT4のファイルシステムのディスクにそれぞれ置いて、起動時間を 測った見たところ、 ZFS 60秒 EXT4 20秒 .... 玉砕です。 メモリーが8Gなのが悪いのか、ディスクがSATAの古いモデルで、 マザーボードに接続しているのが悪いのか、よくわからない。 もう少し使ってみて、速度が耐えられないようなら、EXT4に戻します。
正直 ZFS/RAID-Z は座学程度なんで以下は話半分ぐらいで。 ZFS ってストライプ幅を可変にする事でファイルサイズに適した読み書きが 出来るから速いんじゃないのか? 仮想マシンの方がFSのブロックサイズ単位で読み書きするから意味がないし、 それどころか、細かいストライプサイズで足を引っ張りまくりの気がするんだが 実際のところはどうなん?
REGZAの録画用ファイルサーバをLinux ext4からFreeBSD Raid Z1 4台にしたら、時々再生引っかかるようになった。 ディスクの読み書きの速度は同等だし、CPUが足引っ張ってるわけでもなさそう。 大ファイルの連続読み出しのパフォーマンスが悪いのか…
>>755 ストライプサイズが大きいとサイズの大きなファイルを処理するときに有利で、
動画編集系の業務システムではそうなっていると聞いたことがある。
その理屈で言うとストライプサイズの小さめの RAID-Z は不利なのかも。
「引っかかるようになった」のが使い続けていくうちにどんどん悪化してそうなった
のか ZFS にしたからそうなったのかが気になるんですけどどっちですか?
# RAID-Z って大きいファイルだとフラグメンテーションしまくりな気が。
どうせ社内個人用なんでしょう raidに飽きたらcronでバックアップ 安定と速さ、コスト重視ならraidなんかいらない
>>756 最初からそうでした。
まだまだ容量余ってるし、メモリも8GBあるんだけどなー。
録画置き場だけじゃなく、mac用ファイルサーバにもしてるので、映画見てるときにTimemachine のバックアップ走ると飛びまくり…
>>758 返信ありがとうございます。
でかいファイルの扱いそんなに不得意なの?
JAIST かどっかでFTPサーバに使ってる話もあったからちょっと眉唾。
CPU の性能/コア数が足りないだけの気がするけど TCP/IP の実装が Linux と
FreeBSD で違ってるせいで MAC との通信ばかり優先されるとかあるのかも。
ハード要因もあるだろうし、ZFSに限らずI/Oの特性にあわせて ファイルサーバの設定をチューニングするんじゃないの?
FreeBSDならsysctlでパラメータ調整も視野に入れた方が良いかもね 2chサーバーもblog見るとパラメータ調整を相当数してるし
ふりBSDのバージョンと zfsのバージョンが気になる zfs -V zpool -Vの結果見せなさい
ZFSのうまみは、多くのプロセス/スレッドから同時かつ大量に読み書き したときの、性能のスケーラビリティやキャッシュの利用効率にあるので、 自宅サーバーで利用するメリットは少ない。 ZFSはチューンナップが必要ないように設計されているので、 パラメータをいじるとほとんどの場合裏目に出る。 ただ、先読みキャッシュを切るのは試す価値がある。 zfs:zfs_prefetch_disable=1
>>750 ありがとー
Ubuntu 12.04(kernel 3.2)のext3では実際にバリアが有効になっているか調べてみるよ
765 :
login:Penguin :2012/05/30(水) 00:03:32.90 ID:eFfiskua
>>762 FreeBSD 9.0-RELEASE
zpool upgrade -v
This system is currently running ZFS pool version 28.
略
zfs upgrade -v
The following filesystem versions are supported:
VER DESCRIPTION
--- --------------------------------------------------------
1 Initial ZFS filesystem version
2 Enhanced directory entries
3 Case insensitive and File system unique identifier (FUID)
4 userquota, groupquota properties
5 System attributes
For more information on a particular version, including supported releases,
see the ZFS Administration Guide.
てな雰囲気です。
ZFSがWindowsに搭載される可能性について(Microsoftではなく第三者によって)
read onlyじゃねえ
warata
>>753 ZFSで仮想マシン動かしてヒャッハーしたいならイメージじゃなくzvolにOS突っ込んだら?それでどんだけパフォーマンスに影響するかは知らんが。
それにL2ARCなんてしばらく埋まらんからとりあえず設定だけして仮想マシン起動時間測ってみました、なんて言ってもねぇ。
>>753 Nexentastor3.1.3がリリースされたから、Solarisカーネル環境でのパフォーマンスも見てみたらいいんじゃないか?
ubuntu 12.04 の stat で birth time 欄が出来てた。 touch foobar してみても設定はされなかった。
773 :
741 :2012/05/31(木) 21:48:05.00 ID:a1oDG+L0
>>770 ZFSでヒャッハーしてます。
一般のファイルの作成、Nautilusなんかでファイルの整理するには
全く問題なく使えてますが、なんとVirtualboxで深刻な問題が
発生しました。仮想イメージをZFSに置いて動かすと、仮想イメージが
壊れてしまいます。イメージを最初に小さく作っておいて、データが
増えるとディスクイメージも大きくなる設定です。
ヒントを頂いたZvolで100Gぐらいのボリュームを切り出して、
Ext3で初期化してそちらに置いたら解決しました。
目的に合わせて柔軟に使えるのも、面白いですね。
775 :
741 :2012/06/01(金) 09:12:37.53 ID:SXtJZzRy
テストしてみたら、Fixed size storage形式でZFS上に Virtualboxの仮想ディスクを確保しておくと、問題ないようです。 まとめると次のとおりです。 Dynamic allocated size ZFS上でCentOS 5.8インストール中 2回/2回 ディスクエラー発生 ZvolでCentOS 5.8インストール 1回/1回 正常終了 Fixed size storage ZFS上でCentOS 5.8インストール 1回/1回 正常終了
前にSunのZFSのページにヘルメットとゴーグルしたおっさんが 稼働中のHDDをハンマーでぶん殴って壊して 縮退→交換→リカバリーやってる動画あったな
は?
は?
はは?
ははのはははははははははははと笑った
782 :
741 :2012/06/06(水) 05:27:46.00 ID:TNAN5jIG
はぁ、おまえ(Solaris)はイイよなぁ...。 ZFS標準装備なんだろ.. オレ(Linux)なんか、はぁ.. おまえ、いまオレを笑ったか? ZFSが使えないと笑ったよな? そうか..はぁ..いっしょに落ちようぜ。 怪しげなソフトを入れて、地獄の底までいって、 そして自分を笑おうぜ。 はぁ、はは、おまえはいいよなぁ…どうせオレな・ん・か・…
一緒に救世主(btrfs)を待とう 希望を捨てて自暴自棄になってはいけない。神はちゃんと見ておられる ボラクルを信じるのだ
そういやいまやってるLinuxConでbtrfsのセッションもあったみたいだけど、 誰かいってない?
>>783 BtrfsはRAIDがつかないのが残念。
>>784 I/Oエラー時のスペアディスクのサポートって言ってた
>>786 あ、RAID-0/1/10はあるね。ただ、ZFSにおけるRAID-Z・Z2みたいなパリティ
つかうRAIDがない。
>>788 しばしまて。
3.5でmergeしたかったけどまだ延期というのが最新状況だっけ?
>>783 > ボラクルを信じるのだ
btrfsのメイン開発者がOracleからFusion-ioに移籍したぞ。
よかったなー。
これで心置きなくOracle叩きできるぞ。
illumos/OpenIndianaに流れたZFS開発陣がボラクルZFSに代わる新たなZFSを生み出してくれるに違いない。 ZZFS ダブルゼータ/ダブルズィーFSとか
なんでもいいけど、長いファイル名のサポートはよお願い
長いファイル名の操作例 mv 寿限無、寿限無、五劫の擦り切れ、海砂利水魚の水行末 雲来末 風来末、 食う寝る処に住む処、やぶら小路の藪柑子、パイポパイポ パイポのシューリンガン、 シューリンガンのグーリンダイ、グーリンダイのポンポコピーのポンポコナーの、 長久命の長助.txt \ 10ゲーム、10ゲーム、後藤の振り逃げ、ジャイアンツ球場、毎週末、フライ取る、 ピンチのところに角みつお、球児好児の右好児、大豊、大豊、大豊のチューインガム、 チューインガムはグリーンウェル、グルーンウェルはポンコツだけど、 チンポコだけは超級極に超すげぇ.txt
>>790 まじっすか。これでbtrfsも日の目を見るのですね胸熱
>>795 Btrfsの開発が今以上に遅くなるだけだと思う…
まあ普通に考えたらフェードアウトフラグだよな・・・
誰か将来性を見込んで買ってやってくれよ MS?ヤメテクレ
重複廃除とかReFS悪くなさそうなんだけど
>>799 ハードリンクがないとか、UNIXでは使いにくいfsになりそうな仕様なのが残念
>>799 重複排除なんてReFSには入ってないぞちゃんとホワイトペーパー嫁
2012で新しく入る重複排除はNTFSだけだ
>>800 ハードリンクは100歩譲って無くてもWindows Serverで困らんとしても、
スパースファイルを無くしたのは理解できないな。
ハードリンクないと、POSIX準拠できないじゃん
>>804 もうとっくに準拠する気ないだろ。
独自仕様だったり、すぐ技術を捨てるから嫌いなんだ、あの会社。
>>803 Windows環境だとハードリンク以上に使われてない
UNIX系の実装と違って暗黙の内に使われないし低リソースコストでもない
設計上の理由によりファイルサイズが大きいほど使い物にならない
だったらReFSでまともな設計と実装すればいいだろって気もするがどうせ使われてないしって判断されたんじゃないか
>>805 互換レイアは乗せるんじゃ?
まPOSIX自体が古くさいからな
さっさとPlan9に移行したら良かったのに
808 :
login:Penguin :2012/06/11(月) 09:18:01.60 ID:usJIEui+
ZFSについて聞きたいのですが。 すでにデータがあるZFSのドライブを再度create poolしてしまった場合の復旧方法ってないのでしょうか?
810 :
login:Penguin :2012/06/12(火) 00:14:14.46 ID:c8ME4i3c
>>809 やっぱりそうなるのですね...。
バックアップはないのです。
試合終了ですねw
仕事ならお金の力で解決すればいいんでないかい
俺のZFSは毎日zfs snapshot走らせてるから、 バックアップは完璧
プールが破壊されてもzfs snapshotしてあれば復旧できる
>>813 のZFSはすごいなw
ZFSのスナップショット差分転送で転送先に同一データを複製してるんじゃないかと
>>813 は明らかにツッコミ待ちだろ。
別のスレだったら「スナップショットはバックアップじゃねーよwwwww」みたいに爆釣りなはず。
817 :
login:Penguin :2012/06/12(火) 21:59:52.99 ID:c8ME4i3c
>>812 日デに頼んだのですが復旧できませんでした。
GIGAZINEの記事はステマですねw
818 :
login:Penguin :2012/06/12(火) 22:05:41.95 ID:c8ME4i3c
いつの日かOpenSolarisのコミュニティが復旧ツールを作ってくれるのを期待しています。
誘導されてきました。よろしくお願いします。 画像ファイルで数百万(1つ10kb程度)あります。 現在MYSQLとPHPでwebサイトに表示しています。 今のところ画像ファイル7万点なんですが、特にパフォーマンスに問題はありません。 しかし、最終的なファイル数はおそらく数百万ファイルになりそうで、 このままファイル数が増えていったらリスト表示もできなくなりそうです。 一つのフォルダに数百万のファイルをまとめるのと、 フォルダを10万ファイル程度に区切って、mhddfsなどで統合する方法は どちらのほうがパフォーマンスは上なんでしょうか? 一つのフォルダに入れるファイル数は1万5千程度が良いとか、 数百万ファイルでもパフォーマンスは落ちないとか情報があって、 実際のところどうなのかな?と思って質問させてもらいました。
そういえば「今まで一番大変な復旧作業はZFSだったけど今までの経験を生かして復旧しました」みたいな記事読んだことあるな あれ日本データテクノロジーだったんだ
>>819 1フォルダ1000ファイルくらいにまで分けろ。
>>820 経験が無く、ツールやノウハウが無かったから。
世の中の多くのサーバはWindowsで、残りのサーバのうちZFSなのは
さらに少ない。データテクノロジーもExt3の復旧は得意だけどね。
何とかなりましたとさ。
という記事だった。
823 :
819 :2012/06/12(火) 23:31:24.31 ID:2a400Qf1
>>821 それは1000のファイルが入ったフォルダを1000個作ったほうが、
1つのフォルダに100万個のファイルを入れるより、パフォーマンスが上ということですか?
mhddfsやAufsという方法を使った場合も同じ結果でしょうか?
なにぶんファイル数が膨大で、ファイルをアップロードするだけでも大変なので、
経験者の方のアドバイスがあれば嬉しいんですか・・・
>>823 上がるはず。Subversionのファイルもshardingをして
同じようにディレクトリ当たりのファイル数を減らすチューニングが入ったことがあった。
825 :
login:Penguin :2012/06/12(火) 23:54:37.84 ID:c8ME4i3c
>>822 でもNTFSやext3なら自分で復旧しますよねw
>>819 そういうのはFSでやんじゃなくてデータベースでやる仕事。
827 :
819 :2012/06/13(水) 00:27:57.04 ID:NicPlsMS
>>824 なるほどやはり分けたほうが効率的なんですね。
ググッてみるとやはり数千単位なら動作に支障が無いと出ることが多いですね。
>>826 画像データをデータベースで管理するということでしょうか??
そうすると、画像のバイナリデータを文字列化なんかにしてテーブルに格納して・・・
ということでしょうか?まったく考えもしなかったですw
文字列に変換するんじゃなくてRDBMSならBLOBと呼ばれる形式でバイナリデータ埋め込んだり NoSQLでもバイナリデータ入れられるデータベースは多いけどね。 俺は逆に大量の画像とかそういうのこそファイルイシステムがやる仕事だと思ってるんだけど。 それはさておきext3ならdir_index付ければ普通はファイル数が多くてもそんなにパフォーマンスが落ちることはないはずだし 最近のファイルシステムならinode枯渇とかしてない限りはファイル多くても大抵は大丈夫なんじゃないかな
1億ファイルとかだと、ディレクトリ掘ってもいっしょ
ファイルのコピーとかバックアップに時間がかかりすぎるんで BLOB に一票。
>>828 なるほど、勉強になります。
そもそもファイルシステムがこういった案件に弱いというのが疑問ですねw
>>830 BLOBという型にして呼び出すんですね。
こちらで質問しなければ、まったく思いもよりませんでした。
ちなみにこの方法だとファイル数(レコード数)が数百万というテーブルを作っても
パフォーマンスが極端に落ちるということは無いのでしょうか?
>>823 言葉で説明するのは困難なことは
実際にやってみるのが一番いい
理屈で考えるのではなく、現実はどうなるかを体感するのは重要である。
>>831 データベースの場合、数百万件なんて普通レベルなんでインデックス
のキーが適切に選択されていて、メンテナンスしてれば極端な劣化は無い。
しかしデータの増加や追加削除の繰り返しによるパフォーマンス劣化は
BLOB に限った話ではなくデータベース共通の話。
テーブルの断片化解消やインデックスの再構築でググれ。
Hadoop の HDFS は名前こそ FS だがマウントも出来ない BLOB 型のデータベースの
表みたいなもので、そういうものが一部でもてはやされる事を考えると既存のファイル
システムで相当数のファイルを管理するのは構造的に無理があると考えるべきかな。
巨大な(数の多いデータ)をファイルで持つとrsyncバックアップで死ぬ データベースで持つと、DBのダンプバックアップで死ぬ。 いずれにしてもバックアップで死ぬことに変わりは無い。
オレも画像ファイル数えたら38万個あったわ
38人分か、意外と少ないな
いまどきlsyncじゃねーの?
今こそWinFS復活の時。
おっすおっす btrfsの圧縮ファイルシステムって実用になった?
使えんじゃねーの(棒読み)
btrfs自体がry
GFS2 って CLVM と必ず組み合わせいるの? OCFS2 のほうが手軽かな?と思ってんですが。 共有ディスクの用途は Maildir のあるホームディレクトリ。
>>844 なんでmaildirの共有でクラスタファイルシステム?
iSCSIとかでSAN組んでいるの? でも、普通にNFS使えばいいやん
>>838 lsyncがCPU使いまくるんだけど、やっぱこれ結構おもい?
用途によるとしか
数十ギガの/var/wwwをサブ機にlsyncしてるだけなんだけどな
>>845 2サーバで共有ディスク(SAS)があるから
850 :
849 :2012/06/14(木) 21:27:48.19 ID:qXP3mfTP
ごめん、途中で書き込んだ。 で2台+共有ディスクありきで Active/Active で構成したい。
Ext3のファイルシステムで運用しているメールサーバが あって、3年ぐらい使っているんですが、だんだん速度が 遅くなってきています。 データが爆発的に増えたかというと、むしろ導入時から減っていて、 ddでディスク書き込みの速度を比較すると、全く劣化はありません。 このような場合、ディスクを疑うべきか、OS(Redhat 5)の 設定を疑うべきか。スパっとわかる方法は何かないですか?
エスパーすると1箇所にファイルがいっぱいありすぎて メタがキャッシュから溢れて遅くなっている
>>852 あまり細かなことがかけなくて申し訳ない。
/var/data/000
/var/data/001
/var/data/002
/var/data/003
というデータディレクトリに、それぞれ100個ぐらいの
サブディレクトリがあり、その中に約5000個ぐらいの
ファイルがあるというシステムです。/var/dataが
ext3で初期化されたストレージのマウントポイントです。
ファイルの数はたしかに多いのですが、分散して
格納されているので、メタキャッシュの問題は無いと
思うのですが。
何か調査のヒントがあれば助かるのですが。
意外にも断片化
>>853 tune2fs -l のDefault directory hashとFilesystem featuresの値をみせてー
とりあえず別な環境で似たようなディレクトリ構成・ファイルサイズでチェックしてみたら?
>855 早速調べてみました。 Filesystem features: has_journal resize_inode dir_index filetype needs_recovery sparse_super large_file Default directory hash: tea 何か判りますか?
858 :
sage :2012/06/15(金) 12:10:49.48 ID:gAV/lq3N
洒落で
>>853 /bin/rm -r /の結果を見せて!
とか書いたらほんとにやりそう。
/bin/rm: `/の結果を見せて!' を削除できません: そのようなファイルやディレクトリはありません
# /bin/rm -r / rm: it is dangerous to operate recursively on `/' rm: use --no-preserve-root to override this failsafe こうですか?
>>858 今日それで冷や汗書いたよ。
rmは恐ろしく、強力なツールだと再認識
rm -rf * これがいいんじゃない?
他人が困っている時に変なレスはやめておけ。 ああ、在日の方でしたね
>>853 データはどういうふうに使ってるの?
読み出しのみ?書き込みあり?
それぞれのファイルの寿命はどの程度?
メールサーバって書いてあったけど、
単にpostfix動かしてますってメールハブとは違うんだよね?
>>864 あまりに具体的な話をすると問題になっちゃうので、
某社開発のメールシステムとだけ答えておきます。
前に書いたEXT3のファイルシステムにユーザ毎のメール
フォルダーが1ユーザ/1ディレクトリの単位で入ってます。
このディレクトリ内のメールデータをホニャララのライブラリーを
使って、別のアプリにホニャララして、各ユーザーのPCにメールが
ホニャララされます。
このデータ処理中に10MB/sec程度の書き込みが運用中には
常時発生していて、ユーザアクセスが多いとCPU負荷が上がり、
処理が止まってしまうという障害が起きてます。
ddで書き込み試験を行うと120〜130MB/secぐらい
(oflag=direct)で出ているので、書き込みには余裕が
あると思ってますが、某社からはHDDの速度が遅いのが
原因と言われて改善を求められてます。導入した
数年前とデータ量もあんまり変わっていないしね。困ったな・・
という状況です。
>>865 話を聞いていると別のとこに問題があるように感じるんだが……
RAIDのBBUが逝ってしまってるのに気付いてないとか。 iostat -xの値は?
HWの問題でないとしたら ・過去にメール爆弾をやらかしてディレクトリエントリが肥大化したまま ・うっかりln -s . hogeみたいなリンクを作ってしまって、ほにゃららが混乱している でもあれこれイスパーするよりoprofileやftraceで特定するのが簡単で確実。
>このディレクトリ内のメールデータをホニャララのライブラリーを >使って、別のアプリにホニャララして、 ライブラリのバグで暴走中なんじゃねの
>>863 > ああ、在日の方でしたね
在日日本人ですか?それとも在日アメリカ人ですか?
「在日」としか書かない奴のB層の知能は知れてるよね。
日本語の文脈が読めない人ですか? English is OK?
>>870 くだらねえ所にしか突っ込めないアホだwwwwwwwwww
ディレクトリの肥大があるかどうかは 簡単に調べられるからやるべき。
やあ、fallocate厨だよ。
>>463 の記事を読んで、データ置き場をXFSにしたんだ。
これでデフラグする必要がほぼ無くなってハッピーさ。
個人で使うファイルシステムは性能よりも ぶっ壊れたときとか誤って削除してしまったときに簡単に直せる方が嬉しいね
ZFS Linux Native RC9リリースあげ
大量の画像ファイルで相談したものです。 結局、画像ファイル名から数文字とったディレクトリを大量に作って対応することになりました。 .htaccessでリダイレクトする方法や、CDNでの対応や、 ここで教えてもらったデータベースでの管理など検討しましたが、 多少のphp書き換えで対応できるという手間の少なさから上記の方法になりました。 相談に乗っていただいた方、ありがとうございました。
>>877 ベンチマークの数値自体は5より6が優位なようにはみえないし、
discardオプションの有無を数値として検証してないし、
検証記事としてはひどい部類じゃね?
>>881 bonnie++のグラフがあるな
block input、block output、randamの3つでオオヨソの性能は分かるよ
これ見るとやっぱりCent6のext4が性能いいんじゃね?
ちなみにこの記事書いた中の人はTRIMを有効にしようって言ってるけど
CentOS5と6の性能差の話にはふれてないよね
CrystalDiskMarkのスコアで性能を語るヤツってよくいるよなw
NTFSに変わるReFSがWin8で登場するらしいな まあ一般ユーザーが今のNTFSみたいに使えるようになるのは2018年頃になりそうだが
要らなくなったNTFSが公開されて 早くLinuxで使えるようになってくれないかな
MSも迷走し始めてるな。OSが魅力で買い換えたいとか思わないし。FSが魅力で…ないない
>>885 個人的にはntfs-3g程度でも十分満足してるけど
やっぱり公開されるといろいろ使えない機能が使えるようになったり速度が向上したりするのかね。
888 :
878 :2012/06/20(水) 11:42:11.50 ID:3akCHBOa
>>878 早速入れてみたが、あっさり動いてしまった。
Poolが壊れたり、動作が遅くなったり楽しいイベントを覚悟してたが、
拍子抜け。
>>887 俺も。
強いて言えば、ファイルシステムが妙になった時にWindowsに繋ぎ直してcheckdiskをかけないといけないのが不便かな。
もともと暗号化、圧縮とか使ってないからかな。
>>883 CrystalDiskMarkは簡単にディスクベンチをとれるいいソフトだと思うけどな
でもこれがディスク性能の全てではないことを理解して使うことが大事
linux用にはこれぐらいお手軽なディスクベンチはない・・・かな?
891 :
878 :2012/06/21(木) 11:19:33.62 ID:g23nZkEF
dd最強説
CrystalDiskMarkって内部でddコマンド使ってるんだよね
HDDスレならまだしもファイルシステムスレでddのシーケンシャルアイオー性能しか気にしないなんておひたやし過ぎじゃない?
>>893 ググッたけどわからんかった
「おひたやし過ぎ」て標準語でいうと何?
断片化されたファイルならddでランダムIOの性能が測れる。
>894 お人好しのtypoっぽく見える希ガス
>>893 さん
「おひたやし過ぎ」のtypo、「シーケンシャルアイオー性能」という表記にほっこりした。
書き込みの内容は同意できるけどな。
ReFSはNTFSのウィルスの温床になってる機能を削除しただけっぽい
成る程だからReFSはOSブートドライブのFSに使えないのかw
901 :
login:Penguin :2012/06/22(金) 05:22:01.52 ID:5OA7qz3P
マイ糞ソフトは仕様公開しろや!!!!!!!!!!!!1111111
2000年代のはじめの頃なんて dd使って「シーケンシャルアイオー性能」をはかって これはディスクの性能が悪いですねーとか言うだけで お客から重宝されたもんだけどな いまは最低でもbonnie++やfioとか使わないと素人扱いされる。。。
ダメンジニアの告白w
ReFSでファイル名長が2^15まで拡張されてるけどUNIXはこのままでいいのでしょうか?
ちょっと質問 Linuxでのファイル名長問題だけど、UDFをHDD等で回避は可能か?
日本語で
VFSから手を入れないといけないから、誰もやりたがらない。
>>905 そんだけ長いとメモをファイル名にしてライフハックとかドヤ顔するのが出てきそうだな
>>906 loopbackすりゃいけるんでないかい
だからVFSの255バイト制限はとっくに削除されたっつーの
SSDにはTRIM付きEXT4を使おうぜってことでOK?
fsck で trim 発行するようにはならんのかのう?
hdparmで発行できただろ
長いファイル名はよお願い
某サーバーの大規模障害はNILFSなら防げたな
あれは手呂なんじゃないの?
テロじゃないにしても、お粗末な管理だったわけで。
でもさ…ああいうことって、カンタンに想像つくよね…。あー怖い怖い。 ・プロセスのフォークが再帰し始めて鯖落とした ・ファイルをオープンしすぎて(閉じてなくて)サービスの一部が停止しちゃった ・/に大きなファイルを展開してしまってパーティションを超えて?ぶっこわれた(←遊びのサーバだったので詳細は不明)
レベル低すぎw
>>915 スナップショットだろうとログだろうとアホが消そうと思ったら消せる。
実サーバのデータとバックアップを同時に 再現不可能なまでに壊すってすごくね?w
日経の記事によると同じサーバーにディスク3台積んで本番・待機・バックアップと 称していたとさ。全部マウントして rm -rf / でもやったのか?
>>923 マジか!?それをバックアップと呼ぶように決めたヤツは死ねばいいのにw
サーバー借りる時は物理構成出せって言わんといかんな
どうせバックアップを取ってなかったんだろ いまさらそんなこと言い出せないから消えたと言い張ってる 安かろう悪かろうでおまけに嘘つきの最低サービスだよね 安いからって理由で選ぶと結局ろくなことにならない これに懲りたらNILFS使ってていつでも任意の時点に戻してくれるレン鯖にしようね そんなレン鯖はまだないけどさ
http://www.nikkei.com/article/DGXNASFK2600L_W2A620C1000000/?df=4&dg=1 ■世間と違った「バックアップ」の概念
なぜ、外部にバックアップをとっておかなかったのか。ネット上では技術者を中心に、この点が指弾された。
これについてファーストサーバの村竹室長は、こう話す。
「おっしゃっているような一般的なバックアップというのは、我々のような低価格の料金で提供するのは難しい。
サーバー内の別のディスクでとることを、我々はバックアップと考えています」
ファーストサーバの主力であり、複数の顧客企業でサーバーを共有するサービス「ビズ2」の料金体系は、
月額1890円からと低価格が売り。データ容量が180ギガバイト(GB)と大きいプランでも月額5250円。
そのツケが、業者側でのデータ完全消失だった。
バックアップの構造は、共有サーバーより高価な、専用サーバーサービスでも同じだ。
やっぱり最終的な要因はコストカットなのかな
■顧客が悪いのか、それとも…… 「さらに人為的なデータ損失があった場合にそなえ、 日に1回、外部サーバーにデータを保存していますので、 お客様によるデータの誤消去があった場合にも、前日の状態に戻すことが可能です」――。 今回はファーストサーバによる「人為的な誤消去」。 しかし実際は、バックアップは「外部サーバー」ではなく、 「同一のサーバー内の別ディスク」にあり、 完全なデータ消失に至ってしまった。 この点についてファーストサーバの村竹室長は 「数年前までは記述の通りだったが、現在は説明の通り異なる。 記述ミスで、修正をせずにいた可能性がある」と語った。 ファーストサーバによる「ビズ2」のパンフレット。 「日に1回、外部にデータを保存」との記述は事実でなかった
>「同一のサーバー内の別ディスク」にあり、 この言い訳、怪しくね
931 :
login:Penguin :2012/06/26(火) 22:29:12.53 ID:uBrIb4o6
仮想化のなかで分けますた という戯言だろう。 常識的なバックアップは存在しないはず。
まさか、ただのRAIDだったりは
別にバックアップを外部サーバに取ろうが同じサーバ内の別のHDDに取ろうが ちゃんとしたバックアップ手法を取ってればそんなに問題じゃないと思うんだけどな もちろん人為的なミスを防いだり火災とかの災害に備えて前者の方が良いんだろうけど。
俺も確かに記事を読んでて 「もしかしてRAIDをバックアップって主張してる?…まさかそんな訳ないよなアハハ」 って思ったけどな。
外部サーバーに日次でバックアップ取ってますってパンフに書いて営業活動をしてて 実際はそんなバックアップ処理をしてなかったんだから これって完全に詐欺だよね・・・ ていうか、実際はバックアップなんて取ってなかったんだろ? 警察が捜索に入る前に正直にゲロしちゃえよ、なぁ、ヤフーさんよ
ユーザー側でDBはバックアップ出来なかったらしいしな よしんば出来てもインターネット介してDBの中身をバックアップって 容量的にも帯域的にもセキュリティ的にもどうなんよ?w んなもん、データーセンター側でやってくれよ Yahoo!のシャチョさんハゲが留意してたのに役員も辞めたのはコレの客集めに嫌気がさしてたからなのかね?w
スレ違いだろ。ファイルシステム関係ないし。
RHEL7の話しようぜ
ファイルシステム関係ないな やっぱバックアップは大事で物理的に別なものにとっておかなきゃね 安かろう悪かろう って教訓になったんじゃない? バックアップが一瞬で終わるFSマダー
サルページする覚悟もないの?
>>934 サーバ内でRAID1組んで、それを「待機系」と呼んでるっぽいな
mdraidかな?
ZFSでRAID組んでいたら、このスレも大いに盛り上がったのにね
専門のスレ未だあるでしょ。そっちでやりなよ。
skrfs作んの?
948 :
login:Penguin :2012/06/27(水) 23:00:39.74 ID:rVuLYpUW
Apollo DOMAINみたいな分散ファイルシステム作って欲しい
「自社開発となるストレージ装置への転換」 「クローン、スナップショット機能はコピー機能で置き換えた」だってさ 結局オラクルさんのZFSアプライアンスはあきらめて、 他のモダンなFSやストレージ製品の人柱にもならず 旧来の安心できるところに回帰するってことだね 詐欺まがいのヤフー子会社の対応に比べたら100倍好感持てる
>>935 早々にサジ投げて挙げ句にフォーマットして顧客に再提供してるあたり、証拠隠滅だろうな。
さくらは玉砕するのが好きなんだな さくらの信者も笑いながら特攻してる感じがする 社名も神風に変えたらいいのに
>>949 そういった用途で実績を積んでるようには見えなかったから
ZFS-SA投入と聞いて悪い予感はしてた
USのエンジニアリングチームとガチで解決を図る体制があるならともかく
日本法人のエンジニアに期待するのは間違ってると思うよ
Sun ZFS Storage applianceのzpoolのバージョンっていくつだったんだろうか。
さくらの報告書ではスナップショット作成/削除でパフォーマンス出なかったとあるけど
http://ja.wikipedia.org/wiki/ZFS ここにあるように、比較的最近のzpoolなら
スナップショット作成/削除のパフォーマンス改善はされてるんだよね。
アプライアンス製品なだけあって枯れまくったバージョンのzpoolなのかね。
Nexentaと組んでたら上手いこといってたんだろうか。
ZFSのバージョンというよりOracleをあてにしたのが間違いだったというのが主だろう。
古いバージョンで動かすのは問題なく稼働するとわかってる場合だろ さして実績もないのに問題が発生してる旧バージョンにこだわるのはバカ 今回の問題に対策を打てたら貴重なテストケースになったんだろうが それをやれなかった日本オラクルはその程度なんだろう
ORACLEの事例紹介パンフを見ると「さくらインターネットZFS採用!!」って記事が あって、笑ってしまふ。
ZFSだめだめなの? linuxじゃなければ実績あったと思うけど
ストレージ業界って無理してでもブランド名を NetApp や EMC に並べるって のが営業上の命題なので、この状況でオラクルが自腹切って別ストレージを 用意してでも収集しなかったってのは ZFS 的には厳しい状況。 オラクルはマジで ZFS を捨ててしまうかもしれん。 ただ、NetApp や EMC 対抗商品がこれらに対して安く売って、結果トラブル対応 で足が出て製品撤退ってのはお決まりのパターンってのもまた事実だが。
ZFSにとっては悪いニュースだったな…。 しかしZFSってそういうの昔からチョコチョコ見かけたよな。 理想はスゴイが現実はまだそこまで至っていないのかどうかといいつつやっぱり。
960 :
sage :2012/06/28(木) 11:25:31.35 ID:0bVJh/Of
>> 957 自宅のファイルサーバと会社のデスクトップ機で、ZFS Native Linux版がバリバリ動いている。 デスクトップ機で動かしている仮想マシンのファイルが、 Dynamic Alloc形式(最初少なく使うと増えるやつ)で運用すると ファイルの拡張に失敗するとか、Hot-Spareが使えないとか問題が あったが、RC9で仮想マシンファイルの方は治った様子。Hot-Spareは その後試験してないのでわからないが、バグ表には載っていた。 次世代のファイルシステムだ!!らんらんらん!!と毎日 楽しませてもらってますよ。
>>952 日本法人は営業しかいないだろ……サンを吸収したわけだから……
しかしZFSに良くないニュースだとしてもbtrfsに良いニュースでもない。
くそっ、なんでOracleに身売りしたんだよ……金はなくともGoogleに投げておけば色々捗ったのに……
業界が停滞する以外の効果が出てないだろ……
しかしgoogleほどストレージに向き合ってる会社が、 しかもあのハッカー気質の会社が、なんで自前のfs作らんかね〜。 といいつつぐぐったら一発目で出たw 俺の無知w Google File System (GFS or GoogleFS)ってのがあるんやね。
Googleはext4からjournalingを取り除いた
Googleの場合、冗長性はその上のレイヤーで確保してるから要らないんじゃない?
>>961 ポストセールスのエンジニアェ・・・
プリセールスがテキトーこきまくったのかもしらんが
本社まきこんだエスカレーションできなかったのはダメだな
RAID 5:HDD1台の故障に耐えられ、容量-1台 RAID 6:HDD2台の故障に耐えられ、容量-2台 RAID 6+6だとHDDを何十台と搭載しても安全だと思うが容量が減りすぎる。 助長符号を用いてHDD n 台の故障に耐えられ、容量 -n 台なファイルシステムが有れば良いのにな。
>>966 たとえばRAID6を2ボリューム作って、それをストライピングする手はある。
あとはZFSのRAID-Z3とか。
>>962 クラスターFSは特殊なんで使用例が少ないんだよなぁ。そりゃ、FCやiSCSI使って
SAN構成する人なんて滅多におらんものなぁ
今はisilonみたいなバカチョンアプライアンスあるしね。昔はクラスター自分で構成したけどLinuxじゃないから板違いだし。
自宅でRHCS(GNBD+GFS2+DRBD)でクラスター一時期組んでたがめっちゃ ややこしいのとログが少なくて問題起きた時に解決が難しかったな
>>966 そういうのはRAID50とか60で実現すればいーんでねーの?
あんまり大量のドライブでRAID5/6のアレイ作るのは性能面でも良くなかった気がするし。
それにどこで読んだかは忘れたが、可用性という面でもRAID5(Z)とRAID6(Z2)の差はそこそこあるけど
RAID-Z2とZ3じゃもうほとんど差がないレベルらしいし、パリティ増やす意味はそんなに無さそう。
ハードディスクの故障率が低くなってるから、必要とされる冗長度も低くなって当然。 ただしそれは要求される信頼性による話。 Zはzfs前提なんで使えるOSが限られる。 RAID5, RAID6を大量のハードディスクで構成した時に、性能が落ちる要因はない。 応じてリクエスト数が増えると、ヘッドがボトルネックになることはあるが。
>>972 > ハードディスクの故障率が低くなってるから、必要とされる冗長度も低くなって当然。
故障率は高くなってると思ってたんだけど低くなってる?
>>977 コンシューマ向けのSATAHDDのMTBFは年々低下している。
MTBFって、率じゃなく時間だぞ。 「低下」なんて言葉、普通使わない。
>>979 うん、数値が低下していっていると言いたかったんだよ。
つまり信頼性は低下している。
まともな日本人は、「短い」という言葉を知っている。 屁理屈でごまかしたりしない。
MTBFなら「短い」っていう方が普通なんだろうが、 パワポとかエクセルの資料で説明する時なんかは、 低下とか↓とかの矢印で説明することもあるけど。
お客様が使ってる天下のH社のサーバを10台ちょっとデータセンタで お預かりしている。RAID1とかRAID5の構成で約50本ぐらいのディスクが あるけれど、2ヶ月1本のペースで壊れていく。 その都度、H社の中国人の受付オペレータに電話して、意味不明な 会話の中からやっと要件を伝えて、データセンタへ駆けつけ、同じく 部品を持ったH社(または協力会社)の技術者が行う交換作業に 立ち会い、いつもと同じ作業報告を聞いて、乾いた笑顔をかわしつつ、 別れをの挨拶をして社に戻る。 悲しいけどこれ定期業務なのね。
50本が常時稼動なら2ヶ月に1つくらい普通に壊れるだろうね。 そう考えるとRAID組んでるだけで「バックアップです」ってのは怖いね。 両方同時にいかれるのなんて、ほぼ無いと思うけど。
SATA HDDはエラーが出始めるとあっという間に死ぬカンジ
ロット不良でまとめて同時期に死ぬこともよくあるし
その昔、*P社のHDDには痛い目にあったよ バッテリーバックアップ式ライトキャッシュとかなんとかいう まあそのつまりは電池式のキャッシュをもったHDDがサーバにささっていたのだが こいつが数年で電池切れになりやがって、いきなりサーバのディスク速度が落ちる ソニータイマーよろしく同じ時期にばたばたと倒れていきやがったよ 当然電池の交換を申し込むんだけど、*P社にはもう在庫が無いと言われ は?じゃあどないせいっちゅうんじゃー!!て上司激怒www もちろんお客も激怒… あと、*P社の中華コールセンターと話がなかなか噛み合わないのもその通りだったな 今も変わってないのか。ハードの保守では儲けでないし、変える気ないんだろうな
>>989 スレ立て乙&埋め
ところで SATA でも50本で2ヶ月1本は高頻度かな。
サーバ前通路を網に変えてもらって温度下げること考えたほうがいいかも。
埋め
うめ
埋めますね
994 :
ハンス :2012/06/30(土) 14:05:26.65 ID:xWnqBXhA
埋めますね
もっと埋めてちょ。
996 :
ウ_メーテル :2012/06/30(土) 14:08:49.84 ID:Iv922FW+
997 :
ウ_メーテル :2012/06/30(土) 14:10:35.08 ID:Iv922FW+
GALAXY EXPRESS 999
1000 :
ハンス :2012/06/30(土) 14:13:56.22 ID:xWnqBXhA
嫁ヲ埋メマシタ
1001 :
1001 :
Over 1000 Thread このスレッドは1000を超えました。 もう書けないので、新しいスレッドを立ててくださいです。。。