FUSE最強伝説
●curlftpfs
FTP鯖のディレクトリをマウントできる。
●sshfs
sshのしゃべれる鯖のディレクトリをマウントできる。
●mhddfs
複数のディレクトリを結合して大きなディレクトリに見せかける事ができる。
RAID0やJBODよりも耐障害性が高い。
●lessfs
重複ファイル統合・圧縮・暗号化を行ってくれる出来杉君。
まあ、「伝説」なんて都合よく曲解されて伝承される訳で
(`・ω・´)ゞ 乙であります!
#最近のIMEはおつだけで凄い変換掛かるんだな
10 :
login:Penguin:2011/07/29(金) 16:13:50.19 ID:6ISwKpe2
Windowsでfuseみたいなのがあるって聞きましたが、どんな名前でしたっけ
Windows の話は別の板で聞いた方がいいんじゃないすか。
12 :
login:Penguin:2011/07/29(金) 17:29:21.38 ID:6ISwKpe2
例えばどこで?
さぁ。
昔、WindowsでExt3を読みたかった時にググったらソレらしいHPが見つかった事があった
ような、なかったような・・・スマン
識者の方おながいします
rsync で双方のデータコピーを検討しているのですが
一方のファイルシステムがext3、もう一方がext4という状態なのですが
これって問題あるでしょうか
また同じように32bit OSと64bit OSの場合って問題あるでしょうか
19 :
login:Penguin:2011/07/30(土) 04:31:18.57 ID:+Gq74S4b
>>18 ext4とNILFSでrsyncしましたが、何も問題ないように見えましたよ。
実際、何を心配されてるんでしょうか?
>>18 合ったら困ると思いますが、実際、何を心配されてるんでしょうか?
>>18 それで問題が出ないのが linux というか vm の偉いところ。
32bitと64bitって、x86とx86_64だよな? エンディアン違ったりしないよな?
>>21 >それで問題が出ないのが linux というか vm の偉いところ。
VFSのことか?
23 :
18:2011/07/30(土) 11:44:15.42 ID:zXsfstkX
>>19-21 レスありがとうございます。
> 32bitと64bitって、x86とx86_64だよな? エンディアン違ったりしないよな?
すいません、おっしゃるとおり、x86とx86_64 です。
エンディアンという言葉は具具ってもイマイチ理解できませんでしたorz
バックアップ用途を目的としているので
いざバックアップを使うときに何かファイルのずれがあったら困るな、
と漠然と不安に感じたのが質問させていただいた理由です。
rsyncって双方にそれぞれインストールして使うものなので
それぞれの根本的な環境(ファイルシステムやx86,x86_64)が
異なると何か問題起きないかなと。
>>23 拡張属性は吹っ飛ぶかもしれないけど、大丈夫だよ。
>>21 >32bitと64bitって、x86とx86_64だよな? エンディアン違ったりしないよな?
お前何いってんだ?
rsyncでエンディアンとかbit長とかfsとか気にしたことないのう
そーいえば32bit環境のsqliteで作ったdbを64bit環境に持って行ったら読めねえ
みたいな話を聞いたことがあるような
誰かマジレスおねがいね
smbでもnfsでもいいからマウントして、rsyncしときなはれ。
29 :
login:Penguin:2011/07/30(土) 20:09:51.07 ID:e038gY+5
>>28 そんな非効率なことできません
転送量に応じて課金されるので
だったら、転送すんな。
31 :
login:Penguin:2011/07/31(日) 00:37:26.79 ID:W1vjp2N3
そっか、テレホタイムに転送すればいいんだ
rsyncって、テレホ時間内に転送を終わらすオプションとかありますかね
ISDNなんか?
テレホタイムとか、15年前くらいから来た人かよ。
そんなオプションあるわけねーだろw
テレホーダイ自体はあるだろ
ネット定額制は終わるらしいし
テレホ復活はありえなくもない
って何のスレだよ
36 :
login:Penguin:2011/07/31(日) 23:04:46.21 ID:+FnLWd82
次のお題: テレホ時代のファイルシステム
cronで
23:05 wget起動
07:55 wgetをkill
で何日かかけてisoイメージを落とした
フレッツ出来て速度半分の代わりに時間制限なくなって嬉しかったのう
38 :
login:Penguin:2011/08/01(月) 00:12:03.28 ID:RFUTP44j
すげえなww
執念だわ
1週間かけてCDイメージ3枚落としたら、1枚MD5が合わなかった時の絶望感
torrent使え
41 :
login:Penguin:2011/08/01(月) 16:31:54.51 ID:4SBrQ+Oh
torrentって、普通にftpで用意されてるファイルの転送にも使えるんだ。
知らなかった
>>39 そしてrm後に見てたのが
改行したSHA512だと気付く
アナログやISDNの時代にtorrentやSHA512が普通に使われてたのか
3〜4台で冗長化されたボリュームをいくつか寄せ集めて一つのディレクトリに
見せかけつつ、万一ボリュームのどれかが破損しても他のボリュームには
波及しないようなファイルシステムを探しています。
例としてZFSを単純に書き込みホール問題が対策されていて、パフォーマンスが
そこそこ高い(CPU使用効率が高い)ソフトRAIDの代替FSとして使いたいのですが
ZFS+mhddfsが使える環境というものはありますでしょうか?
FreeBSDだとZFS+UnionFSで同じようなことは出来そうなのですが
UnionFSだと、mhddfsで提供される以下の機能
・単一のファイルが複数のディレクトリを跨ぐようには書き込まれない
・空き容量内に収まるファイルの場合、隙間に埋まる様に書き込む
が使えるのかどうかわかりませんでした。
普通にRAID-10じゃダメですか?
>>44>>45 LinuxでZFS FUSEが安直な答えかな。FUSEとmhddfsの相性は知らんし、遅いけど。
それか絶賛開発中のZFS on Linuxか。
しかしなんで冗長化したボリュームの破損を心配するのかがわからん。
ボリューム丸ごと飛ぶときなんて、大抵他のボリュームまで含めて全部飛ぶような事故なんじゃないのか??
49 :
login:Penguin:2011/08/02(火) 00:57:17.94 ID:WA1kisMP
>>48 そんなどこかの原発みたいなこと言わないで下さい。
100%の安全を求めているんです。
じゃあ今すぐ電源切って回線吊って寝ろ
>>49 そんなどこかの原発反対派みたいなこと言わないで下さい。
100%安全なファイルシステムやHDDなんて存在しません。
こうですかわかりません><
結局障害発生時に焦って、
正常なドライブを交換してしまい、何もかもが台無しになる可能性も
考えた方がいいよ。
どこかの原発ってそう言う感じだったじゃん。
え?
4つでRaid-1って出来るの?
Raid1構成が2つではなくて?
>>55 概念が分かってらっしゃるなら、
>>53に対する意図ってのも分かってくださいよ
すぐ薄識をひけらかす阿呆が現れるんだもんなぁ
悪態をつかないと気がすまないってのもいかがなものかと。
HDD2のRAID1で1つ逝くと再構築中に大丈夫だったのが飛ぶと死ぬけど
HDD3つ以上でRAID1だと再構築中にさらにもう1つ死んだとしても大丈夫だろ?
そしてまともなコントローラーだと負荷分散かストライピング読みするから
パフォーマンスも上がる
まてまて、ずっと夏休みかもしれんぞ
63 :
login:Penguin:2011/08/02(火) 13:36:42.57 ID:ggJjIJyV
zfsでraidz プール運用中ですが、昨晩の地震から、raidz リシルバ中に地震来たらと思うと眠れなくなってしまいました。
地震を考慮しているRAIDはいくつになるんでしょうか。
そういうのは RAID じゃなく
定期的に別メディアにバックアップとった方がいいんじゃね?
いやいや、別地域または他国じゃないと一緒に
そこまでコストかけるかは難しいでしょ。
テープなり DVD なりなら HDD みたいにクラッシュすることはない。
埋まったり燃えたりはするかもしれないけど。
terastationを沖縄に・・・
沖縄だけじゃ足りん。
10km級の隕石衝突時の津波にも耐えられるよう、
ヒマラヤとアンデスにも置いておくべき。
各地にRAID5で組んだSANを設置して、iSCSIなりでマウントしてミラーリングすれば?w
それなんてP2P?
今のトレンドは月にSAN
這い寄る障害
>>48 レスありがとうございます。ことLinux環境だと、やはりそういう選択肢になりますかね。
なぜ冗長化しておきながらunion mountをしたいのかとういう点ですが、ミラーや
ダブルパリティは容量単価的に苦しいのでシングルパリティを考えています。
そのため冗長化としてはやや貧弱な事、また自身のオペレートミスの可能性も
重々考えられるため、RAIDのみの単一冗長化ではなく多少のファイル損失の
リスクはあっても、一部のディスクアレイ障害が全体に波及しない構成を検討した結果です。
FreeNASをセットアップしてGUI設定画面をざっと見まわしましたが、ZFSは
提供されていても、mhddfsやUnionFSは提供されていないようですね。
FreeBSDであればUnionFSは提供されていると思いますが、OpenIndianaでも同様でしょうか?
・Linux (ZFS FUSE+mhddfs)
・FreeBSD (ZFS+UnionFS)
のいずれかの構成が有力だと思いますが、現行のUnionFSはmhddfsや
Another Unionfsと比べて遜色ないのかも気になります。
どなたかご存じないでしょうか?
>>74 そもそもunionfsとmhddfsを同一視してる時点でドン引き。
>>54 実家にあるサーバを HDD5台で raid1 してる俺が通りますよ。
障害時に起動ディスクが中途半端に死んで起動しなかったぜ。
>>73 俺も色々考えたが、結局ミラーリング+定期バックアップが一番だぜ。
マシンを2重化するだけでおk
>>73 RAID5ボリュームを2個連結するならRAID6ボリューム1個でも容量単価変わらないじゃん。もっと繋ぐなら尚更。
RAID50よりRAID6の方が冗長性高いわけだし、オペレートミスなんて懸念してたら何もできないだろ。
あるRAID5ボリュームがデグレードしたときに間違って違うRAID5ボリューム操作しちゃうことだって考えられるわけだろ?
やろうとしてることの意味がまったく理解できないから何を答えていいかもわからん。
80 :
login:Penguin:2011/08/04(木) 02:42:24.63 ID:VDz3tOBv
オペレートミス対策ならNILFS一択ですね
81 :
73-74:2011/08/04(木) 06:52:12.58 ID:7ZWwsDmO
>>79 >やろうとしてることの意味がまったく理解できないから何を答えていいかもわからん。
でしたら、UnionFS, mhddfs, aufsの違いを教えてください。お願いします。
>>81 無意味にしか感じられない作業をするための質問に答えられることなんてないって言われてんだよ。
「穴を掘ってその穴を掘り出した土で埋めたいんですが、スコップとシャベルの違いを教えてください」
って言ってるのと同じ。意味のない目的のためにどの手段が優れているかなんて解答は存在しない。
FATさいでりあ〜
来月予定のFreeBSD 9はZFS v28搭載か
ファイルサーバー用に試してみるかな
exFAT完成まだ?
v28 試すだけなら MFC 後の 8STABLE の方がトラブルなさそうだ. 新インストーラわけわかんなかった
87 :
login:Penguin:2011/08/05(金) 15:33:46.57 ID:TrhDnRsN
電源を突然切っても整合がとれるってどうやってるの?
論理的な部分だけじゃ実現出来ないと思うんだけど。
レスする前にまずググれ
89 :
73-74:2011/08/05(金) 23:29:25.45 ID:pMdacqa1
>>82 ですからUnionFS, mhddfs, aufsの違いについて教えていただければ結構です。
それぞれの優劣についてまで求めていません。
92 :
login:Penguin:2011/08/06(土) 21:38:03.08 ID:Yx8//JY3
俺もFS作ってみるかな。
次世代っぽくて、カッコイイ名前から考えるか。
>>92 エロ画像を自動で隠してくれるFSキボン
>>94 YomeFSだとエロ画像を自動的に削除+お叱りが来るじゃないかw
だからこう言うファイルシステムを希望しているんだ
kYomeFS
MamanFS
美味しそうなご飯の画像を勝手に拾ってきてくれる。
BitchFS
ブランドもののバッグと諭吉の画像しか受け付けない。
SCSI経由のIDEのHDDドライブを
mkfs.ntfsコマンドでNTFSでフォーマットしてたら
100%まで言ってルートディレクトリがなんとかってエラーが5つくらいでて
その後、HDD自体認識しなくなったんだけどもしかして、もうだめ?
BIOSで認識してるの?
そりゃ、逝ったんじゃね
変換とかそういう不安定要素は排除しろ
IDEのポートにつないでみれば?
そもそもスカジーが付いてるっていつの時代だよ
そんなゴミで何がやりたいんだ
SCSIは漢のマロン
コネクタは引退しても、SCSIは永遠に不滅です! / プロトコル的に
お前らSAS(Serial Attached SCSI)を忘れてもらっちゃ困るぜ
PC/ATは最初からIDEだったと思うけど
なんでSCSIが付いてんだろ
SCSIってストレージを繋ぐだけの為のものじゃないし
MacでSCSIに繋ぐビデオアクセラレータとかあったし
知らない奴の質問なんかにいちいち答えなくていいよ
それ言ったら2chに書き込んでる奴全員じゃねーかよ
116 :
login:Penguin:2011/08/09(火) 06:19:28.82 ID:N8ypPLol
バターFS採用宣言キター
defaultか
思い切ってるな
中学生レベルの英語が読めないとはw
おまわりさん、こいつです
このままフェードアウトとかないよな
Linux(ubuntu10.04)にZFS環境作ってるのだけど、ストレージプールから切り出したファイルシステムをext4でフォーマットしないと使えない。
ほんとにそうなの?
トランザクションファイルシステムってZFS以外にありますか?
NTFSはAPIで対応してるみたいですけど、コレはちょっと違いますよね
>>125 Native ZFS for Linuxか?stableの0.5.2だとファイルシステムとしてのZFSは使えない。zpool+zvolだけ。
ファイルシステムをマウントしたいならstableでは無い0.6.0系を使う必要がある。
>>127 btrfsはどう?
zfsと同等機能をLinuxに導入するために開発してるので、必要な機能はあると思うけど
131 :
login:Penguin:2011/08/12(金) 02:18:06.96 ID:1O2mM9Fm
このスレで聞くのが適切かどうかわかりませんが、質問があります。
Ubuntu 10.04 に Western Digital EADS 1TB の HDD を2つ取り付け(/dev/sdd、/dev/sde)、
HDD全体を fdisk で lvm で領域確保し、lvm で2TBの領域をボリュームを確保し、
xfs でファイルシステムを作って /hoge として mount しました。
既存のHDD(/dev/sda)からファイルをコピーしているのですが、ものすごい遅いです。
何か原因はありますか?
/dev/sda から別の既存の /dev/sdb や /dev/sdc へのコピーは問題ないので
/dev/sda のHDDの問題ではないと思います。
また、/dev/sdb と /dev/sdc でも lvm でボリュームを作っており、ここへのコピーも
遅くないので、lvm の問題でもないと思います。
/dev/sdd や /dev/sde のHDDに物理的なエラーが出ているのかなと思いましたが、
/var/log/messages等には何も出力されていません。
mkfs.xfs でファイルシステムを作ったとき、すぐにコマンドプロンプトがかえってきましたが
(これはほかのファイルシステムでも同じだと思いますが)、
裏でフォーマットとかをやっているということはないですよね?
132 :
131:2011/08/12(金) 02:27:29.77 ID:1O2mM9Fm
あと、lvmを構成している /dev/sdd や /dev/sde に対して
hdparm -t /dev/sdd でベンチマークをとると、
88MB ぐらいの速度が出ているので、これは適切な計測結果だと思うのですが・・・
裏でフォーマット・・・・はないよ
EADSって低速病じゃね
ベンチずっとループさせてみ速度落ちたり戻ったりするから
別のHDD買ってくるのオススメするわ
私は、WD15EADSで、低速病のディスクに悩んだことがある。
bonnie++で1台ずつディスクのベンチマークを取ってみるといいかも。
低速病のディスクでは、正常なディスクと比べて、どこかの値で、100倍とか
200倍以上とかの、極端な異常値がでた。
レスどうもありがとうございます。低速病かぁ・・・
遅くなりましたが、ハード構成です。
CPU:AthlonX2 5050e
MB:ASUS M3N78-EM
MBのSATAポート1: HGSTの7K500だったか
┗/dev/sda1 → /boot
┗/dev/sda2 → /
MBのSATAポート2: EADS 1TB
┗/dev/sdb → LVM (1)
MBのSATAポート3: EADS 1TB
┗/dev/sdc → LVM (2)
MBのSATAポート4: EADS 1TB
┗/dev/sdd → LVM (3)
MBのSATAポート5: EADS 1TB
┗/dev/sd3 → LVM (4)
(1)と(2)で LVM のボリューム(lv01)、(3)と(4)で LVM のボリューム(lv02)を組んでいます。
lv01はすでにもともとあって、速度も問題なしです。
今回 (3) と (4) は、もともと物理的には接続していましたが、
長らくほったらかしにしていたのを、 fdisk で領域確保からやりなおしました。
>>132 で書いた通り、
/dev/sda 〜 /dev/sde すべてに対して hdparm -t したところ、
どれも 88MB ぐらいの速度が出ました。
これは自作PC板とかで EADS のベンチを見ても妥当な数字だと思います。
ただ hdparm は3秒ぐらいしか計測しないから、bonie++ だと
もうちょっとわかりやすく出るのだろうか。
(bonie++ は触ったことがないのだけど、帰宅してみたらダウンロードしてやってみます)
137 :
login:Penguin:2011/08/13(土) 15:35:38.20 ID:3hciOrC+
rar、tar、zipをマウントできるfsってあります?
>>137 fuse界隈で探してみ?tgzとかならあったかも。
(TOSHIBAの)DVD-VRメディアの内容を、Win7では、ファイナライズして無くても、
ディレクトリ構造やファイル名、内容、を全て読めるのに、Linuxでは、
ファイナライズしなくては読めないんでしょうか?
141 :
login:Penguin:2011/08/16(火) 02:08:22.18 ID:8WPwO2Rm
ここでいいのかちょっと微妙ですけど質問させて下さい
SSD上にcryptsetupで暗号化パティションを作ってbtrfsを使ってるんですが
1.SSDに暗号化パティションは不向きだったりしますか?
2.暗号化パティションで使うのに向いているファイルシステムってありますか?
>>141 暗号化でブロックサイズが大きくなるなら不向きかもしれんが、
最近のSSDにはもう誤差みたいなもんじゃないかな。
そういうわけで、特に不向きではなさそう。
143 :
login:Penguin:2011/08/16(火) 10:15:22.09 ID:8WPwO2Rm
144 :
login:Penguin:2011/08/16(火) 11:30:17.16 ID:UgzJQxRs
暗号化はブロックが毎回上書きされることになるので、
SSDの寿命的に不向き
もう少し考えてから喋れ
146 :
login:Penguin:2011/08/16(火) 13:59:13.13 ID:8WPwO2Rm
>>144 lvmのブロックサイズが4KB
ssdの書き込み単位が512KB
lvmのブロックサイズ=dm-crypt(cryptsetup)のブロックサイズみたいで
ssdの方が書き込み単位が大きいようです
ブロックサイズを合わせられるなら512KBに近い方が良いんでしょうか
>>146 ブロックサイズの問題は、暗号化してなくても同じじゃないの?
暗号化が致命的にSSDに不向きって事は無いはず。
しかも、そのへんはSSDのコントローラがうまいことやってくれるしね。
ブロックがっていうか、例えばext3/4側のRAID側の設定探せばわかるけど
ext3系のstripe sizeの設定で512KBにすれば初期化する事なく使用中の
ボリュームをそのままSSDにも最適化できる。ただ、最適化されるのは、
設定されてからファイルが新規が追記された物に限られるけど。
あとブロックサイズを512KBにすると無駄にスペースできちゃって
むしろ低下する場合もある
149 :
login:Penguin:2011/08/16(火) 14:38:41.19 ID:8WPwO2Rm
150 :
login:Penguin:2011/08/16(火) 18:51:43.71 ID:ejC1a2PW
あんまり凝った事やらなくても、
ssdに最適なファイルシステムってあります?
無ければ無いで、普通にhddと同じ感覚で使うつもりですが。
普通に使えばいいよ。
btrfs
Fedora16では見送りになったけど、きっとそこそこ安定してるんじゃないかな
ZFS
かなり前からSSD最適化とかしてたはず
サンキュー!
btrfsってのを試して、そのまま普通に使ってみますね。
人柱一名ご案内って感じだな。
Kernel3.0のbtrfsでインストールしてみて
さあ使ってみようかと思ったとたんに壊れてた
さすがにファイルシステムの人柱は怖いな
すまぬ…すまぬ…
でもシステムで使うのとは別に
機能がいろいろがるから今からいじってみてみるのも悪くないと思うよ
だねー。本格的に導入され始めたときにノウハウ持ってれば安心だし。
ただbtrfsはZFSと違ってロマンが無いからいじる楽しさに欠ける
162 :
login:Penguin:2011/08/16(火) 23:38:07.46 ID:ey97EVul
おい、SSDと言えば必ず出てくる大事なFSを忘れてやいませんか?
NILFSか?
homeとかに使うならACLに対応してくれないときついな
>>150 SSDに特化しているわけでは無いが、フラッシュメディアを対象にしたベンチでext4が良い値を出してた気がする。
メンテナの個人PCがSSD積んでるんで、SSDでのパフォーマンスは気にしてるようなことは言ってた。
>>156 mjd? 丁度試そうかと思ってたので人柱乙。
特殊機能使って飛んだ?それともただ使ってるだけで飛んだ?
166 :
login:Penguin:2011/08/17(水) 01:42:58.62 ID:3wxSurzA
HDDの復旧屋が復旧しやすいFSってどれだろ。
ZFSとかはお手上げだったりするんだろうか
>>166 romfs
構造がシンプルで頭から読むだけ。
全部読んじまった
すげーな
GIGAZINEって定期的に日本データテクノロジーの宣伝広告記事載せるな
何か関連あるのかね
何か関係あるっていうか普通に日本データテクノロジーが金払って広告記事書かせてるだけでしょ
最後にちゃんと「広告」って書いてあるしな 小さく
ここまで盛大に宣伝記事書いてるのはGIGAZINEくらいだけど、色んな所に宣伝記事書かせてるしこの会社は
まぁ膨大な広告宣伝費はどこに転嫁されているんだろうねと思うけど
会社名でググった限りでは利用したいとは思わなかったなw
>>172 まぁこれ読んで宣伝広告と思わない奴はブログタイトルを「広告」とかにしないと気付かないだろうが・・・
しかしまぁこんな胡散臭いブログをわざわざ作るとか、広告手段としての有用性が疑わしい以前に会社としての姿勢が相当疑わしいわな。
174 :
login:Penguin:2011/08/18(木) 02:40:53.55 ID:xrNcbMLL
で、結局ZFS、BtrFS、NILFSは無理なのね?
>>172 これはヤバイだろw正直あからさま過ぎて笑ったわ。
広告にしてもかえってイメージダウンする勢い。
よそでやってくんね?
ところでHans Reiserはいつシャバに戻るんだっけ?
181 :
login:Penguin:2011/08/20(土) 22:09:42.33 ID:eIL1ZARy
みんな、なんでハンスを心待ちにしてるの?
もっと良いファイルシステムなんて沢山あるじゃない。
182 :
login:Penguin:2011/08/20(土) 23:38:00.50 ID:oUL7uibz
ところがパソコン向きなファイルシステムはext4とreiserFSしかない
reiser4はベンチではさんざんだけど体感速度はすさまじい、インチキ臭いほど速い、ありえないほど速い
結局パソコンのファイルシステムで最も重要なのはアプリの起動時間
ところでそのreiser4の開発はどうなっているんだね
デスクトップだとbtrfsは大仰すぎる気はするわな
ext系は無難すぎるなぁと思ってるクチにはreiserFSの後継はほしいところでしょうw
>>179 いつも思うんだが悪徳企業を叩くスレとか単体であってもそこ見られなきゃ(検索で沈めば)業者の勝ちなんだよな。
だから若干関係あるスレで話題にしとくか
>>179のように貼っておくべきだな。
>>182 それってベンチが駄目ってことなんじゃね
reiser4の実力は現在のベンチでは測りきることができないのだ!
サーバーを主眼に置いたベンチはパソコン用には的外れなんだよ
例えば
・GNOMEで/usr/libを開くのが最も高速なファイルシステムは?
・Firefoxの起動が最も高速なファイルシステムは?
みたいなベンチがほとんど無い
10万のファイルの作成と削除とか、パソコンではそんな使い方しないから
ファイルの作成と削除が速かろうが遅かろうがパソコンではほとんど影響ない、いずれにせよ一瞬
サーバの対義語がパソコンと想ってる人と何を語らえと言うのか。
愛
>・GNOMEで/usr/libを開くのが最も高速なファイルシステムは?
ふつーprelink
DT_GNU_HASH
厨にんぐに勤しむGentooさんですか?
192 :
login:Penguin:2011/08/21(日) 11:53:53.83 ID:vy+wlbQ2
lsで同一ディレクトリ内大量ファイルの表示が速いのは?
193 :
login:Penguin:2011/08/21(日) 11:55:24.81 ID:vy+wlbQ2
コンソールの表示速度は、十分に速いものとして下さい
>>192 inodeを参照するだけだからなんでもいい気がした。
>>189 なんで対義語になるの?w
サーバーとパソコンは違う、それだけ
ファイルシステムは適材適所
>>191 firefoxの起動の方ね
firefox の起動なんて SSD にしときゃなんでも良くね?
数秒だよね
起動しっぱなし最強
逆にHDDだとFSの良し悪しじゃどうにもならないレベル>Firefox起動
二回目以降のアクセスはキャッシュに乗るから
メモリを十分積んで適当なプログラムで先に読んでおけばいい
Firefoxって具体的にアプリケーションがわかっているから先読み可能
Firefoxとか重いアプリは読み書きする細かいファイルが多すぎるんでしょ。
いくらキャッシュに乗っててもI/Oのオーバーヘッドが大変そう。
スリープ運用かMacみたいにアプリ終了しないでウィンドウだけ閉じとくしかない。
アプリ空間毎にハイバネートしてくれたらいいのに。。
>いくらキャッシュに乗っててもI/Oのオーバーヘッドが大変そう。
え?
HDDのちっちゃいキャッシュでなくて
PCのメモリを使うKernelのページキャッシュの事だぞ
cat `find /usr/local/firefox/ -type f` > /dev/null
ってrc.localに書いとけ
↑
それじゃ共有ライブラリが先読みできないから意味無し。
211 :
login:Penguin:2011/08/22(月) 16:24:27.10 ID:8jC5kqe/
こういう問題はpreloadを入れておけばおkみたいな話を聞くけど
どうなんだろうね。
>>213 preload を入れる
SSDにする
最新のPCにする
これでまるっとすべて解決。ぐだぐだいうやつはバカ
バカが何か言ってる
216 :
login:Penguin:2011/08/24(水) 19:17:44.98 ID:XVmpqXmw
WinFSってどうなった?
>>216 キャンセル。
そして設計意図を継いだオープニング実装も現れず
得意げにwikipediaを貼る馬鹿ってなんなの?
別に得意げではないよ。
221 :
login:Penguin:2011/08/24(水) 23:09:05.05 ID:/XQ3wGMb
>>220 おいおいこれから
>>219さんがwikipediaに載ってないWinFSの詳細な成り行きを説明してくれるんだから大人しく待ってようぜ。
何必死になってるの?
wikiを得意げに貼ってるやつは、周囲にレベル低いやつしか居ないんじゃね?
パソコン博士のゆうすけ君状態だとおもうわw
以上、WinFSについて何も知らない一般人のご意見でした
だから何でそんなに必死なの?
必死で訊いちゃうぞw
226 :
login:Penguin:2011/08/25(木) 06:10:15.11 ID:SdQ+289w
WikipediaのことをWikiと略して書く人も十分恥ずかしいと思うけど
どっちが必死なんだか・・・w
なんで叩かれてんのかよくわかんないんだけど、
URL を貼ることがダメなの?
それとも得意気なのがダメなの?
>>228 URLだけ貼ってるのを得意気とか感じる素敵な感性の持ち主が紛れ込んだだけ。
単に必死って言いたいだけ
自分が貼ろうとして先越されたんですね、わかります。
それは100%ありえないw
リアルゆとりが火病ってたのか
煽り耐性0
234 :
login:Penguin:2011/08/26(金) 10:45:56.37 ID:fACGzFTZ
復帰age
NILFSの発展に1アゲ
236 :
login:Penguin:2011/08/26(金) 23:33:02.48 ID:yf6HLkhY
NILFSってホントひっそりしてるよね。
カーネルのメーリングリストでは活発だったりするのかな?
/にnilfs使えるようになった? まだ? なったら教えてね
>>236 淡々と、でも着実に活動はしてるね。
カンファレンス発表前になると新機能が入る頻度が増えるような。
イベント駆動開発?
中の人1「やっべ、来週の発表どうしよ、ネタがねえ」
中の人2「とりあえず申し込んじゃったからねぇ」
中の人3「じゃ、なんか作っとくか」
NILFSについて全然知らないんだけど
btrfsの代わりにどっかの鳥でデフォルトFSになる可能性はないの?
1ミリもないの?
プロはギリギリまでext3を使う
プロほどext3にうんざりしているけどな
うんざりするようなこと起こるの?
飽きたんじゃね
>>240 ACL とか未対応だったと思う
その辺対応しないとデフォルトにはならないんじゃないかな
そしてNILFS は今のとこそういう用途は狙ってないようにも思える
現時点でデスクトップ向けのFSは何だろうね?
ファイルの作成・削除・移動なんかが速いのが向いているかなと思うが。
あと10年はext3でよい
うちのext3ディスクがディレクトリ内のファイル数の多さでパフォーマンス落ちってるんだが、改善しようと思ったらbtree系?
一ディレクトリに10万くらいのファイルがあるんだわ
>>248 一度tune2fs -l で調べてみたら
>>249 d。
現状は
>Default directory hash: tea
です。これって後から変換可能なんですね。知らんかった。(厨房丸出しでスミマセン)
再フォーマットを考えてたんですが、変換も検討してみます。
>>240 nilfs2 は fstabに書いても動かないから / に使うことができない。
その理由により、nilfs2がデフォルトFSに採用される可能性は1ミリも無い。
nilfs2 は起動後にユーザーが自前でマウントして使う方法しかない。
/をnilfs2にしてた俺が通りますよ
>>253 マジか!!やりかた教えろ!!
教えてくださいお願いします
やろうと思えばfstabなにそれなZFSだって/にできるご時世だからな。(Linuxでね)
/boot/grubだけext3とかにしておけばいいんじゃない?
257 :
login:Penguin:2011/08/28(日) 20:00:23.43 ID:9gaD+4gM
作者は無理だろ
/が飛んだら開発出来ないw
259 :
login:Penguin:2011/08/29(月) 00:21:18.51 ID:8pdTVzUj
FS開発者たるもの、ドッグフードを食べなきゃ仕事にならんでしょ
260 :
login:Penguin:2011/08/29(月) 00:22:43.69 ID:8pdTVzUj
NILFSが/だと、rm -r /をやっても安心ってことですよね?
>>260 自力回復は無理じゃね?
別のマシンに繋いで復活するか,LiveCD とかで復活しないと
>>261 でも、そうすれば確実に復旧できるわけで
ほかのFSじゃそれでundeleteかけても100%復元できる保証がねえ
rm -r / なんてミスしないだろjk
もっと恐いのは
cat /dev/zero >/dev/sda1
WindowsからLinuxサーバーにファイル転送しようとしたんだけど
一部のファイル名が、ext4のUTF-8 255バイト制限に引っかかっちゃって転送できなかった。
NTFSのUTF-16 255文字と同等以上のファイル名をLinuxで扱う方法って何かある?
やっぱLinux側でもNTFSで運用するしかないですか?
ext4で扱う方法はない
reiser3/4かntfs-3gだろうな
>>265 ありがとう。パフォーマンスやパーミッションについて拘りはないので
ntfs-3gを使ってみようと思う。ただ書き込みの信頼性が少し心配だけど・・・
最近のntfs-3gだったらファイルぶっ壊すようなことはない?
>>266 ntfs-3g俺も怖くて使えない。運用したら経過報告よろw
>>264 HFS+はたしかUTF-16で255文字いける。
でもMacとWin間でファイル共有するとマッピングの違いか濁点/半濁点が分離することがある。
Linuxでの実装はよく知らない。
しかし 255 文字制限とか、そろそろ無くなってくれないものか。
あっちの人は困らないのかね。
270 :
login:Penguin:2011/08/29(月) 09:16:15.42 ID:eDECTl36
>>268 Ubuntu(ext4)からiPhoneにファイル転送したらブ→フ"みたいになったのはそういうことだったのか
マッピング関係ないよ。Unicode正規化のせい。
Unicode正規化でそのままぐぐるといい 軽く鬱になれる
ntfs-3gは古いバージョンじゃなければぶっ壊されたこと無いなぁ
なるべく避けてるけど
ファイル鯖をZFSにしてやればファイルシステムで正規化制御できるぜ!
って、ZFSもファイル名255バイトなんだよな・・・
最大容量だとか最大ファイルサイズとかは途方もなく大きくするのになんでファイル名はこんなケチくさいんだろうか。
ところで詳しくないんだけど、FS以前にsambaとかのプロトコル的に大丈夫なのか?>ファイル名文字数
eCryptfs でファイル名も暗号化すると更に短く><
前試してみたら255byte のfs の上で144byte だった
144だと結構引っかかって困るorz
ファイルになんでも情報を埋め込む風習バカみたいだからやめて欲しい。
特にWindowsユーザ。
とはいえ255byteは少ないのは同意。
むしろ255バイト以下のファイルはファイル名に積極的に情報保存するべき
むしろ255バイト以上のファイル名はファイル内に積極的にユーザが保存するべき
むしろ255バイト以上のファイルはファイル内に積極的にユーザを保存するべき
いろいろと忠告ありがとう、特に
>>272。
ネットワーク上にMacは無いので、わざわざHFS+を選ぶ意義は薄いし
ReiserFSもメリットを感じない、というより開発情勢が
ゴタゴタしてるのがなんかイヤだし。
ntfs-3gならLinuxに限らず幅広く使われてるおかげで
膿は出きってる、であろうと信じたい。
まぁSamba他、外的要因でまたトラブって
あきらめてまたWindows使う羽目になりそうな気もするけどw
>>281 ntfsはusbメモリとか外付けhddとかで使っているけど、ファイルが消えたことは
今のところないが、fatがやばかった。
linux側でfatフォーマットしたusbメモリはファイルは消えるわ、win側にさしたら
壊れてるといわれるわで、使い物にならなかった。
そのusbメモリはlinuxでntfsフォーマットされて元気に動いてるし、外付けhddは
isoファイル放り込むと単体で仮想ドライブとしてマウントできる機能がついてるやつ
なんだけど、この機能もlinux側でntfsフォーマットされてきちんと動いてる。
難点は取り外すときにちょっと時間がかかることくらい。
クリティカルな用途は知らないけど、ちょっとしたファイルのやりとりくらいなら
問題はないと思うよ。
自分の中ではfatよりもntfsの方が信頼できる。
283 :
login:Penguin:2011/08/29(月) 20:59:04.08 ID:8pdTVzUj
exfatの話題はここでいいですか
exFATそのものの話ならドザ板だろ
Linuxで使えるようにするプロジェクトはどうなってんの、って話ならここでいいんじゃね
>>282 fatよりntfsの方が信頼できるっていうのは仕様からして当然のことなんだけど、なぜか俺の経験則では逆なんだよなぁ。
ntfsは不良ブロックが発生した不良箇所にとどまらず、(ソフトウェア的に)データの壊れるファイルが拡大して被害箇所がディスク全体に拡大する感じだった。
一方fatの方は不良ブロックにあるファイルに被害箇所が限定されて、それ以上被害が拡大することは無かった。
うーん、何でだろ?
>>275 検索機能の貧弱さと
ファイル名とファイルの中身以外は保証されない現状が
原因であるんだよね
NTFSのストリームやLinuxのxattrを一緒にコピーしてくれないツールが多いし
日付もツールやOSの挙動で簡単に変わっちゃうし
ファイルシステムレベルでタグ情報でも保存できれば違うんだろうけどな
>273
path の長さとかは POSIX とかで決まっているものを
うかつに長くすると困る場面があるんじゃないの?
255byteだとUTF-8だと3分の1になってしまう
やがりCJK圏が声を上げないと変わらないんじゃないか
289 :
login:Penguin:2011/08/30(火) 03:32:58.99 ID:F+Lcx9tK
現実的な解法としてNTFS->linuxのFSのパス名長さはどう対処すればいいでしょ?
loopでマウントするしかないのかな
euc -> utf8 の変換時は4T ほどのデータのうち10個くらいだったので適当にrename して逃げた
UTF-8 で 255 バイトを越えるようなファイル名なんて、俺はやだけどなぁ。
ざっくり言って、全角(という言い方もどうかと思うけど)で 85 文字以上でしょ?
俺ならディレクトリを掘って、その下にもっと短い名前でファイル名をつけるけど...。
そんなに長いファイル名をつけたいと思うような状況が思い浮かばないなぁ。
そういうやつのデスクトップって、いったいどういう表示になってるんだろ。
自分では付けないけどプログラムが使ったりしてね。
一時期 Mercurial がひどかった。
293 :
login:Penguin:2011/08/30(火) 12:09:26.19 ID:ZvHyi+oq
ファイル名にmd5sumやsha256値を付けときたいんで、255字以上必須です
>293
最初から ZFS 使えよ…
295 :
login:Penguin:2011/08/30(火) 16:42:11.08 ID:slHjltA5
ZFSなら255字以上使えるというのですか!?
でもOS乗換えないといけないので却下ですね
zfsならいちいちファイル名にchecksum入れなくてもメタデータに入ってるからおkという意味じゃなかろうか。
まあbtrfsでも同じらしいし、zfsはlinuxでも使えるみたいだけど。
>>291 全角でも半角でもUTFなら3バイトだろってのはまあわかってるだろうけど
ファイル名でファイルの分類とか始めるとまあ255バイトじゃなくて255文字せめて欲しいんだよなあ
システムファイルしかないようなマシンならともかく、ユーザーデータ置くならそのくらいは欲しい
データ置き場にしてると、ディレクトリだけでパス名の半分くらいもってかれるし
UTF-8はASCIIと互換性があって
ASCIIの範囲は1byte
日本語の範囲はだいたい3byte
02面の漢字は4byte必要
ここは声のでかさでは並ぶものなき豪傑の中国と韓国に要望を出してもらうしかないな。
中国あたりは開発者も結構送り込んでるだろうから、彼らが一斉に要望を出して
サンプルコードをちょっとつければ、欧米の連中が動いてくれたりしないかな。
中国とかでは問題にならないのかな、ファイル名の長さって。
>>297 俺は「ファイル名でファイルの分類」とか意味わかんないなぁ。
CP/M使ってるんじゃないんだから、階層ディレクトリでツリー構造にするよ。
仮に分類に255文字以上必要だとしても、それを何階層かにわければ、
ひとつのディレクトリまたはファイルあたりUTF-8で255バイト以下に収めることはたやすいんじゃない?
それすらできないんなら、そもそも、そのようなファイル名の付け方は何ひとつ「分類」してないとしか思えないけど。
何かおれ、論点ずれてるか?
> データ置き場にしてると、ディレクトリだけでパス名の半分くらいもってかれるし
意味わからん
directory名含めた path長は通常の unixen では 1024くらいあったはず
まぁ自分だけで使うならファイル名は短くしてディレクトリで分類もアリだろうけど
ファイル鯖にするならそうじゃない考えの人も使うからな
Windowsでの話だろ
>>293 それも説得力に欠けるなぁ。
sha256つけたって、ファイル名が16進表記で64バイト長くなるだけだろ?
日本語でファイル名なんか付けたら、cdしずらいし、
vi の引数に渡すにも、いちいち日本語入力しなきゃいけないし、TAB補完もサクサク行かないしで、
実際に使うと、不便極まりないと思うんだが…
ファイル名なんて識別出来れば何でもいいんだから、どうしても日本語にしたいなら mkdir aiueo みたいに
ローマ字で付けたほうが実用的じゃね? TAB補完もサクサク行くし。
>>301 ~$ uname -a
Linux foo 2.6.38-2-amd64 #1 SMP Sat Apr 23 18:47:49 UTC 2011 x86_64 GNU/Linux
$ getconf -a|grep PATH
PATH_MAX 4096
だそうな
>>305 利便性も結局、使い方で変わる
GUIでファイラ使ってるような人ならファイル名を打つことは基本ないわけで
それなら見やすい日本語ファイル名のほうが便利、という考え方もできる。
GUIでも閲覧性が悪すぎる
310 :
login:Penguin:2011/08/31(水) 07:13:41.88 ID:dwXRbNBa
なんでこんなに抵抗が大きいんだ?
ファイル名255byteでいいだろ派の言い分は、
俺達は255文字で十分だから、お前らが変えろ、
なんていうトンデモ主張だし、
言い訳でPOSIXを持ち出したりする。
255文字で困っている奴の言い分を全く理解してないじゃないか
linuxカーネル開発界隈はこんな言い分がまかり通るのか?
もういい、俺はFreeBSD に移る。
255バイトって2chのどんな板のスレタイより長いよ
むしろおまえらが255バイトに合わせるべきなんじゃないの?
LinuxのKernelMLに投稿すればいいじゃん
優秀な日本人として向かえてくれるかもしれんぞw
313 :
login:Penguin:2011/08/31(水) 07:31:28.50 ID:dwXRbNBa
>>311 もうそういう言い方は聞き飽きたので。
それに世間一般のファイル名の話であって、2chのスレタイ長さの話はしていません。
あしからず。
samba でファイルサーバにしてると偶にオーバーしてるのを見かけるね
IE のbookmark とかよく見かける
> 255文字で困っている奴の言い分を全く理解してないじゃないか
いや、だからその「言い分」を理解しようとしてるのに、
説得力のある説明が未だにないんだが。
>>314 たまになぜかMAX_PATHを超えるパスのファイルが作られていたりするから困る
たぶんboo()が嫌われるのと同じなんだろ
見にくく目立つから居るだけで鬱陶しい
FSレベルでラベルやタグ付け出来たらいいな。
xattrでやれば?
xattrってバイナリも埋め込めたんだっけ?
>>310 まあ、コード書かない人の相手はしないのが基本の世界みたいだから仕方がない。
freebsdもそんなに変わらない、というかもっとひどいと思うよ。
まあ、2chで要望書かれても…てのがみんなの本音だと思うけどね。
とりあえずメーリングリストにでも英語で投げてみてはどうだろう?
意外な反応が返ってくるかもしれないよ。
やりたいことからするとlong pathnameよりもsemantic filesystemの方向じゃね?って話かと。
EXT4_NAME_LENを適当な数字に書き換えてコンパイルするとあら不思議
>>321 「化石なFSのためのlong filename拡張です」と言いながらVEXT4拡張のパッチ投げるとウケるかもね。
複数のファイルエントリを使って実現するの。クリスマスとか笑って流してもらえるよう次期は選ぶが。
inode数ですら可変無限大になるんだから、いつかファイル名もそうなるだろう。
>>315 説得力は必要ない
運用上足りない状況があればそれで十分だろ
>>326 俺は何も使い方を非難してるんじゃなく、そういう使い方をしてるやつが
どれくらい困っているかを理解したいんだが。
>>293 にしろ
>>297 にしろ、困ってるという状況が全然見えてこないのよ。
これ以上は具体例でも挙げてもらわんと水掛け論になってしまうぜ。
WinFSって実は期待されてたんだぜ
上記の話の問題が解決するから
従来のファイル管理は場所をベースとした考え方なんだけど
タグをベースとした管理の考え方もネットユーザーを中心に浸透してる
ただ、それを直接扱えるシステムが無いので長いファイル名とか歪な物が出現する
>>319 xattrはデフォルトでは無効になってるものが多いし
xattrの保全は保証されてない
unixの世界では重視されてないけど名前も案外重要な情報なんだ
/音楽/ロック/90年/バンドX/曲A
/音楽/90年/ロック/バンドX/曲A
上記の二つはfsの考えでは別の物を差すんだけど
ユーザーとしては同じものを指して欲しい
あと絞り込み条件検索も出来て欲しい
それに上記の形だと一覧性が悪い
ってことでタグ付けによるfsも期待されるんだけど
そんなものは無いので
(音楽)[ロック][90年]【バンドX】 曲A
こんなファイル名が現れる
これはOS標準の機能で絞り込み検索が出来るし
一覧性も良くなる
依然として、微妙に違う名前で同じものが登録されることはあるけど
改善はしてる
"tag based filesystem"でググれば色々出てくるだろ
もちろんfuseだけど
パッと見一番長そうな日本語ファイル名で30文字前後だったし自分は255byteでも全然困らない。
が、気分としては
>>273と似た感じでなんで現実的に到達しうる制限があるんだろうという感じ。
FSが「ファイル名は短くするべき」という設計思想があった上で作られてるならいいんだけどね。
まぁあんま長くても結局パス長の問題で無意味とかなんだろうけど。
あとUTF-8の問題なんだが255byteって3byte圏の人間としてはなんか気にくわないみたいなw
>>311 「2011-09-01 スレタイ.html」みたいなことすると足りない可能性があるというわけか。
>>329 でもってタグによる検索結果をショートカットにしてMacで言うところのスマートフォルダのように使えばいいわけか。
332 :
login:Penguin:2011/09/01(木) 02:30:33.30 ID:aG12//Le
iTunesあたりで取り込んだ曲名が長くて、Unix系OSに転送しようとしたら
255byte制限に引っかかったという話は数回みてるよ。
曲名 feat. xxx, yyy and zzz
みたいな感じでアーティスト名が列挙されてるケース。
素直にデータベース使えよと思う
WinFS「呼んだ?」
ja_JP.EUC-JPの復権ですよ
336 :
login:Penguin:2011/09/01(木) 19:00:35.63 ID:bQKeLpzE
>>333 ほら出た。
すぐそういう言い方をする
なんで長いファイル名を使いたがっている一般人が扱えないものを持ち出して反論するの?
おかしいと思わない?
WinFS復活させて、こういうおかしい奴等にガツンと言ってやってくださいよ、バルマーさん。
なるほど、これだけウザければ適当にいなそうと思うのも仕方ない
>>336 AV系のコンテナファイルならタグ埋め込めるんだから、
どうしてもパスベースで管理したかったら
タグを元にリネームして正規化すればいいんじゃないの?
必要なら元ファイル名からタグを生成して。
一般人ならBoxeeやiTunesみたいなプレイヤーつかうから
あんまファイル名は気にしないとおもうけど、逆に。
スレチだけど、そんな長いファイル名をどんなファイラで表示させるのかなあ。
エクスプローラでいつも見辛いなぁとは思ってる(爆w
日本語ファイル名も当初はそんなものはやめろという声もあったなと。
これがないと困るなんて理由がないとダメってことはなくて、
簡便に使えるというのは現代の計算機環境では立派な理由だよな。
実装したくなるかどうかは別として。
linux板は
>>333みたいなのばっかりだから相談しても意味ない。
「あるもので何とかしろ」が基本。
工夫すれば使えるものが多いので一概に悪いとは言わないが、
それで本当に解決になると思ってんの?
と疑うレベルの回答が多い。
じゃあ自分で作ればいいじゃん
ディスクフォーマットが固定されてんのにどう解決しろってんだか
オープンソースなんだから自分で拡張すればいいじゃん
FATに対するVFATみたいな感じでw
それが出来ないならそれなりの態度とか工夫があるんじゃないの?
346 :
login:Penguin:2011/09/02(金) 10:13:36.61 ID:44KUYqr4
ディレクトリはinode番号とファイル名の組み合わせがただずらーっと書かれただけのファイルだから
255バイトでなくちゃならないという理由はないよね?name_lenがu8型でなければならない理由もないし
おまいらumsdosがそんなに好きか?
あ、等って一人だけか
ファイル名長が1バイトで収まらないといけない理由として1レコードを512バイトのセクタ内に収める必要があるということかいな?
>>349 それはないでしょ。
4KBとかならともかく、ディスク上のセクタサイズに縛られる理由はない。
だって512Bも4KBもそこまでシークするまでが仕事の90%だから性能変わらん。
ext2の頃から
extn_dir_entry
extn_dir_entry_2
の二つが定義されてる理由がよく分からない
外人の中にも255バイト以上にしたい派がいるんかいな?
視認性に欠けるのは…ごめん、ムリ
その人のセンス疑っちゃうね
time_tがunsigned intでなければならないのと同じように
ファイル名長が255バイト以下と仮定したコードが
シェルとかコマンドとかlibcとかいろんなところに埋め込まれてるから無理ってことなんすね
time_tはunsigned intじゃないです符号付のlongですすいません
長いファイル名を必要としているのは主に windows を使ってるひと?
なら、 samba の vfs で誤魔化せられんのかな。
いいや、Linuxをデスクトップに普及させてWindowsを蹴落としたいと思ってるひとでしょ、
長いファイル名が必要なのは
Linuxをデスクトップに使うなんて怪しからん、と思ってるなら、
255バイトどころか32バイトのASCIIのみとかでも問題なしでしょ
ファイルサーバには使えませんね
ファイルにタグ付けるってのは面白いし楽だよね。
ああこう言ってるWindows自体にそういうソフト(FenrirFS)あるし。
>>358 GNOMEもラベル付けられるんだけどねえ。nautilusか。
これをFSレベルでやれるといいなあ
もっと長いファイル名使えるようにしろよという
主張自体に正義はあると思う
かつて 8+3文字の FAT をバカにしていた
unix側の人間としても「いまや255文字は」という
主張はあってもいい
ただし,実際にそこをある日突然伸ばしたところで
多くの unix 環境のソフトウェアは対応できないんじゃないかな…
基本的な部分こそ共通のお約束の上になりたっているわけで
kernel 3.0 になって似たような問題も出てるねー
まあどっかで対応しないといけない問題だと思う
362 :
login:Penguin:2011/09/02(金) 17:25:51.14 ID:DpBEzWNl
誰かpostgresqlのDBがFSになるような、fuse作って下さい。
ggrks
364 :
login:Penguin:2011/09/02(金) 18:58:40.27 ID:DpBEzWNl
ん? 新FSの名前ですか?
ggrks FS?
やっぱ8.3ファイル名最高や
ニルスって研究用のみなの?
それとも、実際に業務での使用に耐えられるように改良される予定はあるの?
わざわざ検索して来たのか
自己顕示欲の強いナルシストだな
369 :
login:Penguin:2011/09/03(土) 19:50:57.02 ID:2Ec6ZceK
召喚しました
370 :
login:Penguin:2011/09/04(日) 17:07:37.84 ID:4hTSNFFN
ニルスってなんのことだろう...
不思議な旅
372 :
login:Penguin:2011/09/05(月) 06:47:43.78 ID:h3wMFgAv
加橋かつみ
ファイルサイズが小さくなっていろんな経験ができるんじゃね?
最も障害に強いFSは何ですか?
乙武FS
romfs
377 :
login:Penguin:2011/09/05(月) 14:23:34.20 ID:nmLI4dSY
>>375 それ非常に興味あります。GPLじゃないといいんだけど。
>>362 psqlfsというのがあったようだけど、Webページにつながらない
現状ファイル名長256バイト以上扱えるfs で不具合あるんだろうか
無いんだったら他のfs でも対応は難しくないんじゃないかな?
380 :
login:Penguin:2011/09/08(木) 02:39:48.81 ID:StHd9Sdf
そうなんだよ。
さっさとカーネルコンパイル時の値を65536ぐらいに変更すればいいだけのこと。
試しにリリースしてみて、beta版好きな奴らが、あとはテストしてくれるだろ。
reiserfsで使えるって言ってんだろハゲ
ファイル名をそのままデーターベースのタグに使おうとするから長いファイル名になる
本来ならタグとして内包すべき情報をファイル名として丸出しにしている
そりゃファイルシステムがファイル名をキーにするKVSなんだから
自然とそういう使い方になるべ
385 :
login:Penguin:2011/09/08(木) 21:04:27.94 ID:StHd9Sdf
また話がループしてるよ...
でHansの近況について
4.2BSDからOSってまったく進歩してないのな
WinFS・・・
実身・仮身モデルつうのがあったが…
いまいち流行らないうちに終わってしまったのう
複数ストリーム対応にして
390 :
login:Penguin:2011/09/09(金) 00:44:33.34 ID:x/PnAw0f
シグマ...
>>389 現状、ファイル名と中身以外の可搬性が皆無なので、NTFSの有効な機能だったはずの
マルチストリームもまるで使われていないよなぁ…
NTFSの次のファイルシステムはでねえの?
GNOME(nautilus?)だとファイルのプロパティでメモが書き込めるんだけど
こういった機能をFSレベルで欲しいなあ。
ちなみにこのメモ。検索する機能がないorz
>>391 昔のMacOSはリソースフォークなんてものを使っていたが
>>394 ああ、画像データとか文字列データとか、
プログラム中で使うデータをリソースとして格納してたっけ。
CODEリソースなんてのもあったな
ファイルに埋め込むと検索が遅くなるじゃねえか
暇なときにでもインデックス作っとけばいいべ
あいにく俺は暇じゃないんだ
わりと暇なんだと思う。
linux板なんだったらext4使っておけばいいんじゃないんかな?
Btrfsも不完全版を開発者に投げっぱなしだし、ext5に似た様なのが実装されるよ。
その内ね。
401 :
login:Penguin:2011/09/10(土) 23:51:13.00 ID:AQL+JQxY
リソースフォークの再発明ですか。遅れておりますなぁw
ファイル情報ファイル
発明の予感
403 :
login:Penguin:2011/09/11(日) 02:55:32.76 ID:LhGXI1dI
ディレクトリの実体をディレクトリ情報ファイルに格納するようにすればいいんじゃね?
ZFSをWindowsにも実装しろや!!!!!!!!!1111111!111!!!11!11
FreeNASスレとか見てると
ZFSもそんなにええもんじゃないように見える
408 :
login:Penguin:2011/09/14(水) 22:10:46.08 ID:hMXSXyfe
FS界のファイナルアンサーZFS。
もうこれ以外のFSはいらないし、考えられない。
Btrfsは?
いつ完成するの?
ReiserFSも?
あれは完成してから宣えって感じ
デフラグしてて気付いたんだけど、
ext4ってファイルの書き込み位置を、
内周から外周へ少しずつ変えていってるのな。
ディスク全体に分散して書き込んで行ってるのが何となく分かったよ。
ただ、もうちょっとfallocateの精度を上げてほしいなぁ。
>>413 あなたの場合直接ソースを読んで、FSを改良する方向で頑張って欲しいと思うんだ。
自力で別ツールを作るんでなく。
これは煽りで言ってるのではなく。もうパッチとか投稿しているんならゴメン。
>>413 読んでて内周と外周が逆のような感覚を覚えるんだが
アクセスの頻度によって配置してるならすごいな
ReiserFSはもう枯れてる、完成の域
>>415 > 内周と外周が逆
そうだった、逆だった。普通に間違えてたよ。
外周から内周へ、だね。
>>414 うーん、流石にそれは無理かな。
そこまで知識と技術があるわけじゃないから。
>>408 ライセンス問題が無くてLinuxにデフォで組み込めれば確かにそうだと思うけど。
>407
たとえばどんなところ?
420 :
login:Penguin:2011/09/20(火) 17:19:27.84 ID:z0zt1+wx
実績からいって、ZFS以外あり得ないと思うけど、
ライセンス以外のネックは無いよね
ZFSの実績?
ソラリスではそれなりにあると思うよ
FreeBSDだとやっと安定してきたって段階らしいけど
なんだかんだでext5が立ち上がるような気がしてならない今日この頃
resize2fsのファイルシステムサイズ上限16TBって修正されたっけ?
ソラリスはufsとveritasしかまともに動かんだろ
NetBSDでlfsが永遠に動かないのと同じか
>>423 Oracle Solaris+zfsってもうあちこちで実績なんだが。。。
案件は減ってるけど、金額ボリュームの大きい(めんどくさい)案件で
導入してるから通常のホームサーバくらいの負荷ならどーってことない。
「導入」実績?
ホームサーバーにZFSってのは、メリット考慮しても、
必要リソースとの兼ね合い考えると最適解か疑問だなあ
>>427 利用者一人のNASにZFSは無用の長物でしかない
非同期のバックアップで十分
最重要というならクラウドストレージに入れとけって感じでしょう
ARMで動くシュリンク版Solarisというのもありまして…
>>429 そういう環境じゃZFSなんて使い物にならないから、
ZFSをシュリンクしてFATクラスまで機能削減したzFSが必要と言いたい?
個人用途だからこそRAID1という贅沢はできない、RAID5は危ないからRAIDZ使いたい、という需要はあるんじゃね?>ZFS
数?十数TBのストレージだと全部非同期バックアップというわけにもいかんし
コストまで考えてもRAIDボード買ったりWinでオンボRAIDやるより安上がりだし
>>431 何十TBあろうと、バックアップが一番安上がりじゃないかな
電気代とか・・・
2TBx18の36TB を同じく2TBx18の36TBで週1でバックアップ取ってるよ
バックアップはミラー(更新上書き)で平均数時間で終わるので月に20〜30時間程度稼動する感じ
バックアップが終わると勝手にシャットダウンする
何がいいってどんなOSでもHDD単体でリストア・アクセスできるので、RAID系のトラブルとは無縁な点かな
zfs、メモリ消費とraid zしたときのcpu負荷がきついな。
でも、メモリも安くて手に入るしなー。
>>430 あれは 128MB のメモリで動くように ZFS もチューンされてるのよ
日の目を見ないのは実に勿体無い
ID:8iMA/1Y2はたぶん、ものすごいバカ。おまけに包茎。関わると恥垢臭がうつるので
放置推奨。
>>435 まじか、それは知らなかった。しかしZFSの仕組み的に、
10TB単位のストレージをそのメモリ量でハンドルできるとは到底
信じられないのだが、どういう魔法的な技術が使われているんだ?
>>437 いや、理想はそうでも実際はそんなメモリでは動かないからね
10TBだと最低OS抜いてZFSだけに5GBは無いと死ぬだろ
まぁ今は16GBまで積めるから30TBぐらいはいけんじゃね
zfsがメモリがたくさんいるのはわかったけど、
それじゃホームサーバに10TB,30TB必要な時にzfs以外で最適解はなに?
2TBディスク5本で10TBだから簡単な時代だからねぇ。
fsck走って1日2日っていうのは勘弁だし。
xfs
>>439 DrivePoolかな二重化しかないけど、メモリは要らないよ
>fsck走って1日2日っていうのは勘弁だし。
なんかext3が最新だった辺りの時代から来てるのがいるな
>>443 おまえ10TBという物理サイズ舐めてないか?
HDDの転送速度を超えることはないんだぜ?
ふつーtune2fs -c 0だろ
fsck.xfsに10分もかかったらビビるわ
fsck.xfsは時空を超越してるからな
おっとmain関数よりコメントの方が多いfsck.xfsさんの悪口はそこまでだ
まあ悩んでいる間に底辺のメモリ量も増えて ZFS の時代が来ると
そこで颯爽とZAFSが登場
zfsかいいなぁ
おらも高速なマシンがほしいだ
btrfsは何をしておるんじゃ
454 :
login:Penguin:2011/09/23(金) 11:57:07.24 ID:TCNR5ivD
今日も人のマシンのファイルを破壊しながら実験中。
455 :
login:Penguin:2011/09/23(金) 11:59:47.73 ID:TCNR5ivD
メタデータのcrcやmd5はファイル破損を検出できるだけで、
修復できないんだよね?
で結局zfsはひゃいの?
速さの方にチューニングしてないと解釈するのが妥当かと
自分で試せよ
UFSに比べるとZFSは遅い
でも管理の楽さを考えたら許せる
mdadm+ReiserFS+LVM2の方がZFSより良い
LVM2のスナップショット機能はあんましイケてない印象がある。
462 :
login:Penguin:2011/09/24(土) 20:04:28.90 ID:dgSFexL+
スナップショットはファイルシステム側でもサポートしてないと安心出来ないな。
その点、NILFSなら絶対の安心を提供してくれるけどね!
gitサイコー
もう端数みたいな価格で8GB積めるんだからメモリ食うは関係なくね?>ZFS
ローカルで使うならメモリ食いは困るけど大体ZFS使うのなんてNAS/SAN専用機でしょう。
ノートで使っとるが
>>467 FreeBSDへのportingはしらんが、oiやその他のSolarisを無料、簡単に使えるので
不安定なFreeBSDにする必要はないんじゃないかなぁ。
俺も5年前くらいはSolaris(Nevada)のzfsでもよくデータを飛ばしたけど今は安定と
思うけど。
469 :
login:Penguin:2011/09/26(月) 19:27:09.90 ID:u/XPB+E1
少なくともバターFSより全然まし。
ベットリfsじゃね
>>464 x64ならそうだが、最近沸いてるarmでサーバーとか言ってる連中には無理だろ
量と帯域の両方で無理だ、それに帯域増やすと消費電力の利点が消える
472 :
login:Penguin:2011/09/27(火) 14:23:21.04 ID:0qLeAjii
なら、exFATしかないか...
NILFS
微妙に使いどころに悩む
>>471 そういう奴はRAIDーZ使わずにファイルシステムとしてZFS使えばいいんじゃね?
どうしてもRAID必要なら別途ハードウェアで
ext4、なんかもっさりする
気のせいか?
気のせいじゃね、うちではキビキビ動いてる気がする
ext4は開発途上だからカーネルが新しい方が良いぞ
新しすぎるとバグ入りになりかねんけど
3.0だけど、今のところext3より挙動は良い
同じHDDで比較した他のFSを言ってないからコメント出来ないよな。
ext4はもう良い感じで枯れて来てる気がしてたが……。
>>479 五年位xfs使ってて試しにext4にしてみたけど、随分こなれてるね
相変わらずlost+found最初から作るのは頂けないけど
ext2の頃からは隔世の感があるなあ
zfs on linuxはいつになったら0.6.0stableが出るんだ
>>480 lost+foundはマウント済みの目印に使ってるから
いまさら無くなられると困る
そんな使い方するなよw
>>484 するだろ。noautoの時は特にそれでマウント忘れに気づくことが多い。
vfatは困るんだよね。
ねーよww
>>483 /proc/mounts とかじゃ駄目なんか?
おれは lost+found は見たくないなぁ。
マウント忘れとか言ってるけど、そもそも
>>485 はいちいち手動でマウントすんのかよ。
そもそもマウントしてるかどうかなんて、
ディレクトリが空っぽならマウントしてないわけだし、
空っぽじゃなければマウントしてるということだろ。
それともなにか?、空じゃないディレクトリにマウントしてんのか?
いったい、どんな使い方すりゃそういう発想ができんの?
489 :
login:Penguin:2011/09/30(金) 11:50:02.61 ID:ACR7fMHR
まあいいさ、今度
>>485のディレクトリに片っ端からlost+found掘っておいてやるから。
>>488 > ディレクトリが空っぽならマウントしてないわけだし、
そこで判定はしたくないなぁ。
>>488 パーティションの再構成中は手でmountして書き戻してる。自動でマウントするのは全作業終了後。
>>482 ツンデレなんだよ、言わせんな恥ずかしい。
>>485 おまいはdfとかmountコマンド打つ気すらないのかw
自分は、bind mount してる場合など困るから、
487 と同じように /proc/mounts みてるな〜
シェルスクリプトで考えると確かにlost+found有無を見るだけってのは非常に簡単で合理的だと思った
判別する必要ないぞ実は
>>495 /etc/mtabとか/proc/mountsとかmountの出力見るほうがよっぽど合理的じゃないか
>>497 mountの状況がprocessごとに違う可能性がある以上、
/etc/mtabやmountの出力見るなんて、lost+foundと五十歩百歩の合理性しかない
>>498 そういう状況が起こりうる場合を思いつかんので
もう少し詳しく説明してくれ
NTFSパーティションとかの場合はどうすんだろ?
意地でも/proc/mounts見ないのかな。
「俺はそんなFS使わんから知らん」かな。
個人的環境の使い方を一般論として語るからこうなったんじゃ?
NTFSはどうかわからんがvfatの時は困っているようだな。
>>485 によると。
「判定に困るケースが出るなら、その判別法は使うべきではない」
とまあ俺は先達に言われたことがあったような記憶があるが、
そういうことなんじゃないのかなあと思ったり。
502 :
login:Penguin:2011/10/02(日) 15:35:34.93 ID:GCf9YY+5
/proc/mountでは不適切である理由を以下に述べよ(10点)
>>499 起こりうるもなにも、そういう状況を起こすアプリ/設定使ってれば起きるし、
起こしてないことを確信できるなら問題ない、つう意味で、
/etc/mtab or mountとlost+foundの合理性なんて同程度でしょ
シェルスクリプトで -d で簡単に判断できるのはやっぱり便利じゃね?
lost+foundは見ないけど固有のディレクトリでよくやる
「そういう状況を起こすアプリ/設定使ってれば起きる」というのは自明で情報がない
我々が知りたいのは、そういう状況はどれくらい起こり得るのかという定量的な問題
問題が起る状況を仮定すれば、問題が起るのは当然だし
問題ない状況を仮定すれば、問題がないのは、あたりまえ
無意味なことを言って、何か言ってるつもりになるのは何故?
/etc/mtab は嘘かもしれない。 ∵ echo hoge >> /etc/mtab がエラーにならない。
/proc/mount は無いかもしれない。 ∵ chroot hoge すると /proc が見えなくなる。
lost+found は無いかもしれない。∵ ext2/3/4 以外にはそんなもんない。
mount する前のディレクトリは空でないかもしれない。 ∵ /var/run や /var/lock に手でマウントする時などで起きる。
慎重に扱えば /proc/mount がマシだが ...
mount -bind で /proc/mount が嘘をつくのは直ったのかな。
あまりに酷くて -bind 使わなくなったので最近の動向は知らない。
すげえな、定量的にか。
vfatをmountしててlost+found判定できない状況はどれぐらい起こりえるのかという定量的な問題
をまず解説してみてください。
> /etc/mtabとか/proc/mountsとかmountの出力見るほうがよっぽど合理的じゃないか
って言うのは、もちろん定量的(笑に検討した上で「よっぽど合理的」言ってるんですよね?
df .
ではだめなのかな
横槍だけど、mountとlost+found見るので困るケースが「定量的に」同じくらいの頻度じゃないと同程度の合理性とは言えねーよなー。
510 :
485:2011/10/03(月) 08:48:57.51 ID:CORsXLR6
以前、/usr/localをマウントしてるものだと思ってtarから書き戻すとこだった。パーティション切っただけで、マウントしてなかった。
疑いもしてなかったからdfもmountもたたかなかった。lsなんて習慣的に叩いてるもので気づけたから助かった。
その程度の話だったんだが、えらい盛り上がってるなあ
起こり得る確率で言えばそりゃ低いけどさ、
まっとうな方法ではないよ。
俺もマウント判定にディレクトリ有無検査を自分作業用のスクリプトに組みこんでいるな
lost+foundじゃなくって自分が使うディレクトリ名だけど。
mount point になってる directory を stat して inode 番号で判別
という案を出してみる
おはようお前ら。
Ubuntu 11.10を弄ってて気付いたんだが、
fallocateかext4にバグがあるな。
11.04までは、例えばfallocateで256MB確保した場合、
32768 blocks + 32768 blocks の2extentsが確保されていたのが、
11.10だと、
32758 blocks + 32758 blocks + 20 blocks の3extents確保されるようになってる。
しかも隙間が空いてて断片化しまくり。
128MBまでは正常に確保できるみたいだから、
Ubuntu 11.10でfallocateするときはサイズに注意な。
515 :
485:2011/10/07(金) 07:41:51.39 ID:7/YxsuQ1
Kernel.org 落ちてるんだっけか。ext4-MLが読めね。
英語読めないです(´;ω;`)
>>518 馬鹿も休み休み言え。
向こうの国じゃ幼稚園児だって読むぞ。
英語なんか誰でも読める!
ただ意味が解らないだけだ。
>>515 これでいい?
Linux Ubuntu-PC 3.0.0-12-generic-pae #19-Ubuntu SMP Fri Sep 23 23:10:56 UTC 2011 i686 i686 i386 GNU/Linux
>>516 読んでないよ。
確実に断片化するバグなんて皆すぐ気付くだろうから、
そのうち修正されるんじゃね。
つか既に修正済みかも。
テスト用ディスクをXFSでフォーマットして、どうなるか試してみたけど、
XFSだとfallocateしても断片化しないね。xfs_dbで確認したけど断片化率0%だった。
Ubuntu 11.10のext4が逝ってるってことでFAかも。
にしてもXFSってwrite遅いな。
読み込み140MB/sぐらい出るのに、
書き込み108MB/sぐらいしか出ない。
>>521 thx 3.0.0使う時は気をつけるよ
524 :
login:Penguin:2011/10/08(土) 09:03:45.01 ID:sy/GA988
xfsはlogbufs=8とかするとマシになるんじゃ
nobarrierだとさらにマシだけど電源切れたらさようなら
>>524 noatime,nodiratime,osyncisdsync,nobarrier,logbufs=8
とかやってみたら、writeの速度は変わらなかったけど、
readが150MB/sまでいったよ。
GPartedでフォーマットしたときは、
書き込み速度も140MB/sぐらい出てたのに。
なんでだろうな。
Ubuntu 11.10のext4、fallocateの精度上がってるな。
128MB以下のファイルならXFS並に断片化しにくい気がする。
>>524 HDDのディスクキャッシュ切るのとどっちが危険なんだろう。
両方ちゃんとすると明らかに遅くなるので片方だけとか日和ってみたい。
あれ11.10もうでたのか
upgradeしようかな
10.10から
13日だろ?まだだろ
ntfs-3gって、48bit LBAに対応してますか?ちなみにうちのファイルサーバーのバージョン↓
ntfs-3g 2010.10.2 integrated FUSE 27 - Third Generation NTFS Driver
新マシンのFSを何にしようかと検討に検討を重ねた結果、ZFSサイコー、おらSolaris使うだという結論になって鬱。どうしてこうなった。
534 :
login:Penguin:2011/10/14(金) 22:34:29.47 ID:hkvByvFR
nexanta?
つ StormOS
OpenIndianaもあるよ!
まぁapt慣れてるならnexantaでいいだろうけど。
100MB/sを1万台とかじゃね?
1万台のraid0 ... 略して aaad, 胸熱w MTBFなん分くらいだ。
RAIDというよりGfarmみたいなネットワーク越しの分散ファイルシステムと予想。
特盛キャッシュ
|
SSDいっぱい
|
10000rpmのHDD
とかだろうけど、そのスピードについてこれる
インタフェースがあるのか?
クラスター用って書いてあるだろ?
まあ元の記事自体がミスリーディングというか
> 従来のデータ読み書きは最高毎秒200メガバイト(メガは100万)程度だった
と書いてあるから「SATA300と比較して50000倍速いインタフェースを作ったよー」
って主張してるように思えるけど実際は違うっぽいよな。
>従来のデータ読み書きは最高毎秒200メガバイト(メガは100万)程度だった。
クラスタの世界でSATA2のSSD程度なわけねーだろww
>「FEFS」は、オープンソース・ソフトウェア「Lustre」(注2)をベースに、独自の機能強化を加えています
とか書いてあるから、そのうちGPLで出してくるだろ。
546 :
login:Penguin:2011/10/17(月) 22:04:15.61 ID:1QWZTus9
期待age
直線番長だったら嫌だな
これdisk 10k 台で 1TB/s だよ
disk あたり 100MB/s って、ぶっちゃけ luster だしなー的な
>>548 ストライプサイズが異常に大きくなってるけど、それでも動くようにしたのがキモなんだろうな。
お邪魔してすみません
CentOS5のMySQLのバックアップデータをCentOS6に復元するには、
事前に、CentOS5のデータのファイルシステムをext4に変更してから、
バックアップを取る必要があるでしょうか?
また、ログファイルなどをCentOS6に取り込む場合も、
データのあるパーティションをext4に変換しておかなければならないでしょうか?
CentOS5からCentOS6へのデータ移行の具体的な記事が、
見つけられなかったので、幼稚な質問ですが、
どなたか、よろしく、お願いします
普通はext3からext4にファイルをコピーしても問題はないはず。
ファイル所有者とかのメタデータは気を付けないと失われちゃうかもしれないけど
MySQLの挙動に影響するかは知らない。
不安ならバックアプデータのmd5sumでも取ってちゃんと移動できたか試してみれば?
メタデータが変わったからってmd5が変化するわけないだろ
554 :
login:Penguin:2011/10/20(木) 07:05:58.37 ID:i94CzyCE
MySQLのバージョンにも注意な
>>550 CentOS5->6程度なら、データベースのあるフォルダを tar で固めて、移行後それを書き戻すので問題ないはず。
レプリケーションとかしてたらステータスに注意しなくちゃいけないけど。わざわざext4に変換しなくてもおk。
どうしても心配なら、mysqldumpでデータを取り出して、それを復元するのでもおk。
32bitと64bitでもそのまま行けんの?
mysqldumpしたほうが良い気するわ
は?
経験上はいける
100%大丈夫という保証はできないが..
久々に Windows 触ったら NTFS がびっくりするくらい遅い。
扱うデータのせいか、気のせいか。
>>560 速さよりもデータ損失防止に重きを置いたFSだし
read 240MB/s以上を出したいんだけど
ZFSにしたHDDで、でるかしら
複数台使えば基本は並列になるんだから
でるんじゃないの?
具体的に何台でってのは試さないとワカランけど
>>563 いまのハードウェアRAIDにRAID5が15000rpm3台で
それくらい出る。次作るなら同じレベルにしたいなと
シーケンシャル「リード」ならSATAの250GB世代な骨董品で
完全ソフトウェアRAID6の8台でも余裕で300MB/s以上出るが
それはHDD側のキャッシュにうまいこと当たった場合でなかろうか
1GBのシーケンシャル読み出しが数MB*6のキャッシュに収まるならそうだろうね
>>567 RAID6の8台なら、リードも約8台分出るのでは?
HDD(仮にSeqRead 50MB/sとして) × 8 = 約400MB/s だし。
SeqRead 50MB/sってどこの骨董品だよ
RAID6 の8台だと read は6台分だったりしないんだろうか
まあ大きいサイズを読み出すなら8台か…
3.1でext3でもbarrierがデフォルト有効になったからベンチ取る時気を付けろよお前ら
>>571 読み出しているどの瞬間も二台分は必ずパリなんだから
どんなに大きなサイズだろうと実データの読み出し帯域は6台分だろ
といってもストライプ(RAID0)じゃないので、台数分の速度にはならんよ
台数多いほうが速いとは思うけど、コンスタンスにその速度が維持できるかは微妙だな
どうなんだろ。読み込み時にパリティチェックしなければ8台分出そうな気がする。
パリティの部分を外して読み込まないといけない分ヘッドの移動距離は長くなりそうだけど。
パリティ読まないってなんのためのRAID6だよ
ワロタ
pdumpfsっていうソフトを使ってバックアップを取っているんだけど
バックアップ先をext4でフォーマットしたHDDにしてたら
先週あたりからinode不足で止まってたみたい。
去年までXFSのHDDにバックアップしていて、2年くらい使っていたけど問題なかった。
XFSはinode数制限ないの?
ext4でinode数増やして再フォーマットするかXFSにするか迷ってる。
ext4はext2の呪いが掛かってるから、このシリーズはずっとdynamic allocationできない?
今時inode不足とか、流石に古さに凹む。
>>576 何言ってるんだ、お高いRAID箱でもreadでパリティチェックする奴なんて、ごく一部だぞ。
フォーマット時にinodeの数を指定できるでしょ
フォーマット時(笑)
動的確保をしたいって事?
ならXFSとかだね
>>578 逆に生きてるfsの中で静的inodeなのはext2/3/4ぐらい
>>580 RAIDってresyncするまでデータ壊れててもエラー出ないの?
はいはい、ZFS ZFS
そろそろHansの時間かな?
Metadata Replication for Ext4とかまた楽しそうなことしてるなExt4
フォーマットとか久々に聞いたわ
私の出番が来たようだな
592 :
VxFS:2011/10/26(水) 16:35:56.03 ID:KncxOcgD
HAMMER FSどうだろうか
594 :
login:Penguin:2011/10/26(水) 19:50:39.76 ID:Dl/UXFi9
あるとおもいます
>576
釣れますか
Linuxでbtrfs待つべきかfuse zfsで行くか、ext3+mdadmで我慢するべきか
そこで、Native ZFS を待つのが漢だろうw 俺は待てないので、ext4+mdadm
64bit版linuxから32bit版linuxに戻ろうと思ってるんだ
64bit版linuxをインスコするときにインストーラーからディスクをext4にしたんだ
32bitのOS入れなおすときには改めてフォーマットしたほうがいいの?
>>598 ファイルを消すよりフォーマットのほうが速いと思うよ
btrfsの話題が極端に少なくなった気がする
btrfsやる気あんのか
OracleもZFS手に入れたからなあ(とか
>>603 それもだし、Oracleのページも更新とまってるっぽいし
Oracleはbtrfsやめてzfsライセンス変えてバージョンアップしていくとか?
>>600 わが国のITはユーザに使用法を十分説明する時間がありません。
このため、初心者がベテランに疑問についてたずねる光景を目にすることがあります。
しかし本来は事故(情報漏えいなど)が発生した場合の責任は、
接続業者、サーバ運営者、システムを開発したエンジニアにあります。
メーカあるいは購入店にたずねるべきです。
利用者の仕事は自治(掲示板の秩序を守ること)です。助言を行ってはなりません。
素人が専門技術に言及するのは「親切」ではありません。「無責任」です。
海外のプロフェッショナルは、「私の仕事ではない」と答えるはずです。
Fedora17に間に合うのか
608 :
login:Penguin:2011/11/01(火) 16:41:46.49 ID:r4bUH2nr
久しぶりにスレ覗いたけど、NILLFSの話題が無いな
>>608 NILFS2 なら使ってる…バックアップに
homeにnilfs2使ってるわ。70ギガ程度。
時々 cat /dev/zero > aaa で満杯にして、rm aaa して運用してる。(問題が起きないだろうかテスト)
今のところファイルが消えたり壊れたりの問題には気づいてない。
速度はext4より遅いかもしれない。ファイルの消去に関して。
とくに、linuxカーネルで make clean した際の速度が、ext4の頃よりも明らかに遅い気がする。
他は得に速度の違いによる不満は感じない。というかext4の頃の速度をいちいち全部なんて憶えてない。
もしもrm -rf %HOME してしまっても平気というのが精神的に安心感があっていいと思う。個人運用でも。
git commit や git push したときの安心感に似てる。バックアップ的意味での。
dfすると常に90%程度ディスクが埋まってる状態(cp保存のため)。
試しにその状態から5ギガほど cat /dev/zero > aaa しても、df の結果は変わらず90%程度のまま。
ただ、デーモンが5ギガ分のガベージコレクションのために裏でガリ…ガリ…ガリ…と呼吸のようなペースでやりつづける状態になる。これが正直うざいが、
構造上仕方ない。動作音が気になるならSSDにすればいいのだと思う。
%HOME は何ぞ
git pushは緊張するぞ、バックアップでも
/'i;ii;ii;ii;ii;i: .: .: .し: .: .: . J: .: .\ ||:: |
'i;ii;ii;ii;ii;ii;i;:: .: . : .,ィZZ;;フ: .: . ヽエヽ .||:: | ヒッ ヒッ ヒッ ヒッ ヒッ
'i;ii;ii;ii;ii;i;:: .: .: . ": ._;_;_;..::::: .: . /二ヾ ||:: |
'i;ii;ii;ii;ii;ii;i : .j : . : .ィ、◎ヾ::::.:.:.(<◎ ! .||:: | ヒッ ヒッ ヒッ ヒッ ヒッ ヒッ ヒ
'i;ii;ii;ii;ii;ii;i: .: .: . /:::::: ̄ノ :::::.:.: .\"{ ||:: |
i;ii;ii;ii;ii;ii;i: .: .: .: .: .: .-'': . /: .,,,,,_:::_,ヽ、 . ||:: | ヒッ ヒッ ヒッ ヒッ ヒッ
i;i/⌒ヽ: .:::::::.: .J: .: .: .: . ヽ::`“::T“'::.:i ||:: |
;:{ i: .ハ: .: .: .j: .: .: .: .: . /::::: _;;.-‐ー、 | . ||:: | も、もう待ってられない・・・
;:ヾ: .ー: .: .: .: .: .: .: .: .: .: /_,ィェェェァ、゙! .||:: |
ヽi;ii;ii;i_ノ: .: .: .: .: .J: . : .`ー-┴┴┴イ ||:: |
: .ヽi;i;:i: .: .::::::::.: .: .: .: .: .: ..:::`ー---' ! ||:: | git push -f
: .: .ヽ;:i: .ヽ:::::::::..: .: .: .: .j : .: .": .: . ヽ{ . ||:: |
ファイルシステムの特徴の比較を調べていて、
ついつい開発の歴史まで首を突っ込んだら色々な意味で怖くなった。
ソフトは人が作るものだと思い知った。
技術的な良し悪しよりも開発体制の安定の方が重要なのか…
Ubuntu 11.10にKernel 3.1入れてみたけど、
ext4 + fallocateで断片化するバグは直ってないな。
ふつうにwriteやtruncateした場合は断片化しない状況でも
なぜかアホな確保するとかそんな?
>>618 多分もう誰かがしてると思う。思いたい。
>>619 空っぽのHDDに1GBのファイルをfallocateしてから書き込んだら断片化しまくりワラタ。
つーかfallocateした後書き込まずにcloseしても断片化しまくり。fallocateの時点で逝ってる。
試しに、e2fsprogs-1.42-WIP-1016.tar.gzをダウンロードして、
Ubuntu 11.10 で e4defrag.c をコンパイルして200MBのファイルをデフラグしてみたら、
デフラグしきれずに断片化してた。
2 extents foundだって、filefrag -vタソに言われたお。
元は12 extentsだったからマシにはなってるが。
ソース見たらe4defragもfallocate使ってるのな。
というわけでNEC社員のお二人にバグレポートを頑張っていただきたい。
マシっつーか1extentで管理できるのは2^15*ブロックサイズだからそれ以上どう頑張ったって2より小さくはならねえよ
>>621 それは知ってるよ。
filefrag では総extent数が表示されるけど、
-vオプション付けると断片化された分しか表示されんでしょ。
↓みたいな感じで違いが出るはず
~$filefrag a.tmp
a.tmp: 8 extents found
~$filefrag -v a.tmp
Filesystem type is: ef53
File size of a.tmp is 878968830 (214592 blocks, blocksize 4096)
ext logical physical expected length flags
0 0 113362944 32768
1 32768 113395712 32768
2 65536 113428480 32768
3 98304 113461248 32768
4 131072 113494016 2048
5 133120 113498112 113496063 32768
6 165888 113530880 32768
7 198656 113563648 15936 eof
a.tmp: 2 extents found
NTFS安定しすぎでつまんないお
626 :
login:Penguin:2011/11/06(日) 16:51:07.43 ID:WxFAsrze
NTFSはスナップショット取れないからなぁ
VSSなら有るぞ
お前ら的にHammerFSってどうなの?
NTFSは個人的に何度も痛い目にあってるから印象が悪い
ntfs-3gにやられたクチ?
>>631 はい。ntfs-3gじゃなくて自分のデバイスの構成がおかしかったんだけどな
自爆して怖いってか
デカイHDDをnilfsでフォーマットしてみようと思うんだけど
やっぱやめとくね?
使い始めたら出来ないし、面白からやってみればいいじゃん
そうか今気づいたがnilfsって侵入されたときとかでもログ改ざんができない?
まえにやられたときにログ改ざんされて発見が遅れたんで、これはけっこういいかもしれんな
>>636 スナップショット消されたら一緒かも
Tripwire がいいんじゃないかな?
tripwire のログを改竄されたら
>>637 スナップショットのスナップショットをgpgで・・・・
640 :
login:Penguin:2011/11/09(水) 08:33:12.40 ID:qfncBaxw
そうか!
スナップショットをgpgでサイン出来るよう実装して貰えばいいんだ!
641 :
login:Penguin:2011/11/10(木) 11:41:31.63 ID:PPwg3rzL
ファイル作成時刻を証明できるFSってあります?
>>641 何を持って「証明」とするかをよく考えれ。
裁判などでの「証明」なら第三者が証明できなければならないから、
そもそもFSの範疇外。
秒単位の精度でやるのは性能的に辛いけど、日単位でよければ
・時刻認証サーバにチケット(証明書)を発行してもらい、
・そのチケットでファイルに署名したものをチェックサムデータとする、
とかFSだかブロックレベルでやれば改竄検知+時刻証明を組み込めるな。
単に mtime みたいなノリで実装してほしい、ってことかな。
帰ったらこんなんでてた
unmountしてluksCloseしてmdadm止めてusb付け直して逆手順したら
ファイルも壊れてないし普通に読み書き出来てるけど何か気持ちが悪い
[7117600.372113] Filesystem dm-5: XFS internal error xfs_trans_cancel at line 1911 of file /build/buildd/linux-2.6.38/fs/xfs/xfs_trans.c. Caller 0xffffffffa033e359
[7117600.372134] Call Trace:
[7117600.372208] [<ffffffffa031a605>] ? xfs_error_report+0x45/0x50 [xfs]
[7117600.372259] [<ffffffffa033e359>] ? xfs_create+0x1e9/0x660 [xfs]
[7117600.372305] [<ffffffffa033980d>] ? xfs_trans_cancel+0xfd/0x120 [xfs]
[7117600.372347] [<ffffffffa033e359>] ? xfs_create+0x1e9/0x660 [xfs]
[7117600.372383] [<ffffffffa02f5f2c>] ? xfs_attr_get+0xac/0xc0 [xfs]
[7117600.372429] [<ffffffffa034b64a>] ? xfs_vn_mknod+0xaa/0x1c0 [xfs]
[7117600.372469] [<ffffffffa034b790>] ? xfs_vn_create+0x10/0x20 [xfs]
[7117600.372481] [<ffffffff81188591>] ? vfs_create+0xb1/0x110
[7117600.372490] [<ffffffff81188c66>] ? do_last+0x346/0x410
続き
[7117600.372500] [<ffffffff811890c4>] ? do_filp_open+0x394/0x7c0
[7117600.372508] [<ffffffff81187c92>] ? user_path_at+0x62/0xa0
[7117600.372517] [<ffffffff812c40d4>] ? apparmor_inode_getattr+0x54/0x60
[7117600.372526] [<ffffffff812fdf57>] ? __strncpy_from_user+0x27/0x60
[7117600.372535] [<ffffffff81196317>] ? alloc_fd+0xf7/0x150
[7117600.372545] [<ffffffff811795ea>] ? do_sys_open+0x6a/0x150
[7117600.372554] [<ffffffff811796f0>] ? sys_open+0x20/0x30
[7117600.372561] [<ffffffff8100c002>] ? system_call_fastpath+0x16/0x1b
[7117600.372570] xfs_force_shutdown(dm-5,0x8) called from line 1912 of file /build/buildd/linux-2.6.38/fs/xfs/xfs_trans.c. Return address = 0xffffffffa0339826
[7117600.372584] Filesystem dm-5: Corruption of in-memory data detected. Shutting down filesystem: dm-5
[7117600.372589] Please umount the filesystem, and rectify the problem(s)
[7117612.413275] Filesystem dm-5: xfs_log_force: error 5 returned.
(以下xfs_log_forceが延々続く)
>>644 ext4ならもうcrtimeあるじゃん
それは時刻が偽造されてないことを保証する仕組みがあるの?>crtime
debugfsでなら読み出せるみたいだな。
新し目のstat(1)だと--format=%kがあればext4/NTFSなら読める。
ext5は開発されているの?
zfsのライセンスが変更でもされたら本気出すんじゃない?
btrfsの始まりもしなかった感は異常
btrfsが時期fedoraの標準fsに採用されるって話はどうなった。
そんな時代もありました
657 :
login:Penguin:2011/11/20(日) 18:28:24.85 ID:lqUtUw5k
NTFSとext2って、使われ始めたのが同時期だと思うけど、
ext2がなくなって、NTFSが生き残ってるのはなぜ?
ext2にはext3っていう後継が出てきたけど
NTFSにはまだ後継が出て来てない
というかまだext2は使われたりするけど。
NTFSは優秀だからなあ
zfsのライセンス変えてbtrfs捨てるなら早くそう言って欲しいな
extが1、2、3、4とバージョンアップしてるように
表面に出してないだけでNTFSだってバージョンアップしてるわけで
NTFSがマイナーバージョンアップしているのは事実だけど
ext3でジャーナリングを導入
ext4でファイルシステムサイズの上限を拡張
のような、決定的な不具合を改修する必要が無かったのも事実。
パフォーマンス的なものはわからないけどね。
後から付加されたのって順にEFS、オンライン拡張、クォータ、リパースポイント、VSS、TxF、ソフトリンク、オンライン縮小ぐらいで
エクステントとジャーナリングは最初から持ってたもんな
>>657 NTFS4(WinNT3.51〜4.0) とか NTFS5(Win2000) とか古いバージョン無くなってますが...
>>662 「ジャーナリング導入に見られる新しい機能を入れる」ことを
「不具合の『改修』」とは言いません。
基本的な言葉がわかってない輩がもっともらしい事いいなさんな。
必要な機能が不足している、というのは
不具合と呼んで差し支えないよ。
主要な用途として使い続けることが出来ないのだから。
使われなくなったわけじゃないのに、そりゃ無茶な論理だ。
日本語が不自由な人だったか
いえ、頭に不具合がある方です。
>>666 そうだな
ext2の不具合なんか放置されてるもんな
ext2になんか不具合あんの?怖いんだが
673 :
login:Penguin:2011/11/21(月) 17:11:18.11 ID:XOXw5Znn
怖いならばVXFSを使えば安心
674 :
login:Penguin:2011/11/21(月) 20:23:05.00 ID:PBo87O0A
理屈じゃなく体感でNTFSの方が堅牢な感じがする。
たぶん設計思想の違いがあるんじゃないだろうか。
Linuxの場合「ソフトウエアの問題によりトラブルが発生する」と考えてて、
Windowsの場合「ハードウエアの問題をソフトウエアがカバーする」と考えて
いる様な気がする。
これ、Windowsはドライバを機器メーカが提供するので、マイクロソフトは
粗悪なハードウエア及びドライバの問題がWindowsのせいにされるのに
悩まされたんじゃないだろうか。
なんでそう思うかっていうと、HDDがぶっ壊れるときNTFSからはデータが
回収できるのにExt2/3からはできないから。
Linuxはハードウエアが壊れる前提がないんじゃないかな。
675 :
login:Penguin:2011/11/21(月) 20:32:16.58 ID:PBo87O0A
あとUNIX/Linuxの人がよく言うのに「Windowsは印刷のプレビューが実際と
一致しない」っていうのあるでしょ。
そういうのって問題が出ない人にはさっぱり意味が分からないんだけど、
一致しない人はほんとに一致してないわけ。
でもプレビューってドライバに依存してるから、Windows側ではどうしようも
ないんだよね。
解決策は、安いプリンタ買うなってくらいなんだ。
ほんとひどい話だよね。
でさ、じゃあLinuxなら一致するのかっていうと、そもそもLinuxはOSであって
WYSIWYGとか関係ないから、一致しなくていいんだってわけ。
ここで常識的な人なら「じゃあWindowsのほうがいいね」ってなるんだけどさ、
Linuxな人なら「M$が悪い」ってなるんだよね。
「M$が悪い」とか言われても「え?」ってなるわ。
スレ違い
そこはせめて、普通の人はとか多くの人はとか書かんかね?
678 :
login:Penguin:2011/11/21(月) 20:56:43.61 ID:PBo87O0A
「常識的な人」を「普通の人」に変えても意味同じだね。
「Linuxな人」を「頭のおかしな人」に変えても意味同じだね。
下はひょっとするとその通りかもしれんがねぇ……上はなー。
頭の可哀相な構ってレス乞食に餌を与えないで下さい。
ほとんどは windowsの,じゃなくて「エクセルの」なんじゃないかと思う今日このごろ
extとntfsを比較するのは、不毛としか言いようがないのだが。
linuxではntfsは使えないし、Windowsでextを使うバカもいないだろ。
686 :
login:Penguin:2011/11/22(火) 20:36:30.23 ID:UBs+N3oc
ということで、当時はntfsに比肩できるFSがLinuxに無かったということでよろしい?
ntfsは最高さ。何だってできる。空も飛べる。
レス乞食は虫籠へ
689 :
login:Penguin:2011/11/23(水) 04:00:05.02 ID:/812cs0b
>>686 一般的にはなかったと考えていいんじゃないかな。
俺がext2を初めて使った頃、Windowsは9x系使っててファイルシステムはFATだったからね。
単純にLinuxはダメというもんでもないけどね。
690 :
login:Penguin:2011/11/24(木) 01:57:34.63 ID:DFa22khc
さすがにlinuxはレベルが違った
そういや、Windows2000くらいまでは、NT系であっても後方互換性や
(それでも)クラッシュした場合の修復ノウハウなんかの都合で
「FATでやってくれ」と注文つけられること、なかった?
>>691 Windowsの話は板違いだ
レス乞食は死ね
>>692 そういう輩がいそうだからext2の話も書こうかとちょっと考えて、
やめといたのにな。
、とここまで書いた以上、最低限Linuxの話につなげておこうか。
その修復に活躍したのがLinuxのddとfdiskでした。
これで満足かい? 言いたいことはわからんでもないが、もう少し上品にやろう。
Linuxerの品格を疑われるぜ。
うるせえボケ氏ね
ドヤ顔で無益なことばかり語りたがるレス乞食うざいわ〜
存在自体が無益
698 :
login:Penguin:2011/11/24(木) 21:14:02.45 ID:Rl1IAIqZ
ZFSでさえここで話すことが許されるのに、
なんでNTFSだとこんなに激しく反応するんだ??
まーたまた分かってる癖に。
NTFSは積極的に使う理由がゼロだからな
ププッwww
動画エンコード中に電源切ったらんtfsが破損したんやなw
悲劇やなw
homeをnilfsにしてがんばってきたが、限界だったのでext4に移行したわ…
移行は cp a b -rf して fstab書き換えただけ。
nilfsは各ファイルで差分が増えてくると効率が落ちるんじゃないか?と。使ってて感じた。
linax kernel の make clean に数十秒掛かった瞬間「あ、ext4戻るべ…」と思った。
nilfsは安心なのはいいんだが、いちいち遅くてこまる。ext4はとりあえず速いから捗る。
また #rm -rf / の入力ミスに怯える日々が始まるお…(>_;
>>703 今どきのディストリなら# rm -rf / は潰されてるけど
>>703 バックアップサーバでnilfs2 してるよ
>>704 ディストリビューションじゃなくてGNU の実装だね
GNU coreutils 6.4以降で対応
但し
# rm -rf /*
は実行されちゃう><
706 :
login:Penguin:2011/11/26(土) 09:05:22.48 ID:U0t3Lw6k
nilfs自体はRAID無いんだっけ
>>706 無いと思う
softraid の上でdm-crypt してその上でnilfs2 してる
RAIDして暗号化してNILFS2してmhddfsが理想かも
nilfs2はやっぱログ用途が一番?
nilfs2は、使ってるうちにパフォーマンス落ちるよな。ログインして、プロンプト
が出るまでに2秒くらいかかるようになって、/をnilfs2で運用するのは限界だと
感じた。今はext4で快適。
711 :
login:Penguin:2011/11/26(土) 20:10:21.13 ID:LpK243r1
なら/etc/log以下にあるログを保存するのがいいのかな。>>nilfs2
d.hatena.ne.jp/hayamiz/20100628/1277742621
“使っていて出会ったバグとして、
削除できないファイルができるこ とがある」というものがありました。
Google Chromeのキャッシュファイルでときどきできるのですが、
削除しようとするとrmコマ ンドがsegmentation faultで落ちて、
その後OSごと固まって死ぬ“
うーむ。
reiser4はまだかね?
>>712 rmがsegmentation faultなんて出たら涙がでるな
715 :
login:Penguin:2011/11/30(水) 13:44:22.23 ID:KJ0OCfmB
人殺しの作ったファイルシステムなんか使いたくないんやなw 喜劇やなw
ext5マダー
ZFSをライセンス変更するか、
btrfsの完成をめざすか
どっちにしろボラクルじゃ期待できない
飼い殺しにするつもりなんでしょうか
>>718のChangelogが2年で6項目しか増えてないってことは実質ほとんど開発進んでないのか、
それともChangelogに書かれてないだけで裏では新機能追加がバリバリ行われてるのかよく分からないな。
ZFSの部分はGPLにこだわるOSの悲しさだな・・・
アンチGPLに拘るZFSとも言える
BSDなら何の問題もなかったはずなのに
数年後にsolarisの処遇に困ったボラクルの判断によってZFSの運命も決まるって事かな?
>>723 基準がNexenta OSになるだけだろう。
と、思う。
やる気がないならやめちまえ
728 :
login:Penguin:2011/12/07(水) 16:28:30.25 ID:w2xSnWsQ
実績のあるZFSのコードを取り込むことが出来ず、
車輪の再発明するしかないLinux
それとも、extシリーズの方が将来有望...?
XFS最強だから
Fedora17でついにbtrfs採用のニュースが来たね
大容量ディスクと大型セクターをサポートするWindows 8
http://news.mynavi.jp/articles/2011/12/06/windows8/index.html 4K nativeのサポートを表明の新ファイルシステムの噂
気になるのはNTFSの存在である。時代をさかのぼると1993年(米国時間)に登場したWindows NT 3.1にバージョン1.0を実装し、バージョンを重ねて現在に至っている。
もちろんNTFSを強化し、機能を拡充する方向も間違いではないものの、新キーワードの導入はマーケティング的な強化にもつながるため、このタイミングで変更する可能性は低くない。
ここで登場するのが、非パブリックなWindows 8の早期ビルドに実装されている「Protogon」の存在だ。具体的な相違点などは明らかにされていないが、
一部ユーザー向けに公開された最新ビルドでは、ファイルシステムの名称が「ReFS」に変更されたというから、単純に見ればProtogonは開発コード名。ReFSが正式な機能名と読み取れる。
同社はWindows Vistaで採用予定だった新しいファイルシステム「WinFS」の開発に着手したが、データベース的機能を担う設計が当時のハードウェアでは快適に動作しないため、結果的に破棄している。
"Resilient FileSystem"と呼ばれるReFSがWinFSの後継ファイルシステムになるのが決まっている訳ではないが、4K nativeをサポートするファイルシステムとして世に登場する可能性は高い。
ただ、ここで意識しなければならないのが同時開発中の「Windows 8 Server」(開発コード名)の存在である。
本来WinFSは"Windows Future Storage"という名称であり、同技術はファイルシステム自身に検索機能を担わせ、すべてのファイルをオブジェクトとして管理することを目標としていた。
ReFSにどのような機能が搭載されるのかは明らかではないものの、コンピューターへの負担が大きくなるのであれば、クライアントOSはNTFS(の拡張版)、
サーバーOSはReFSを実装という切り分けを行うかも知れない。いずれにせよ2012年早期に登場すると言われているパブリックベータ版が楽しみである。
あれ
確かXPでも1セクタオーバー512バイトは扱えるだろ
セクタ数制限で容量的に困るRAIDカードなんかで使ってる
curlftpfs上のファイルを直接ls --fullで見ると秒が切り捨てられて00なのに
cp -pでローカルに持ってきてls --fullすると秒がちゃんと入ってる。
これってリモートのftpサーバのせいなのか、curlftpfsの仕様?
rsyncの際不便なんですが。
btrfsやZFSの良いところを取り込んだext5を開発するべき
カーネルよりも設計と実装が大変と言われているからなぁ
ファイルシステムはもうちょっと頑張って進化して欲しいけど
zfsもbtrfsもOracleが持ってる現状ではあんまし期待できないのかなあ。
LibreOfficeの様にZFSだけforkしてくれれば、ちょっとは期待が持てるのでは。。。
nilfsはどうなったの?
e2fsprogsが16TB以上をサポートしていたようだが誰か試した?
ファイルシステムなんてそのうち必要なくなるよ
DRAMがこのままデカくなっていってディスクやSSDにデータを保存することもなくなる
名前からデータを見付ける機構は必要でしょう
xfs最強伝説は終わらなさそうだな。
例えSGIが破産したとしても、ボラクルに買われない限りは。
>>742 一度電源を入れたらもうリブートもできないシステムを誰が使うというのだろう…
まあ、メモリ容量はクライアントでも近いうちに64GBに達しそうではあるけど。128GBもそんな遠くないかな?
今のSSDは10年ぐらい前のメインメモリより速いんだよなあと思うときはある。
>>742 不揮発高速高集積メモリの開発競争が進んでいるのに
DRAMと言ってしまうあたりがしょぼいw
>>746 ランダムにちまちま書き換えたら遅くてすぐ死ぬんじゃね?
なんでこのスレではOracle嫌われてるのん?
Oracle嫌わない奴がいないわけ無いだろ
オープンソース界隈の人間じゃ
自分の製品に対抗するオープンソースなプロジェクトを買い取る。
→そのままプロジェクトの開発は進めずに飼い殺し。
みたいな認識であってる?
ZFSとかJavaとかMySQLとかOpenOfficeとかVirtualBoxとか。
どうやったらオープンソースプロジェクトを買い取れるのかはよく分からないけど。
>>749 オープンソース界隈だけじゃないけどなw
>>751 違う。javaの権利が欲しくてsunを買収。
sun主導のその他のOSSプロジェクトもついてきちゃったってだけ。
>>753 うーん。それだけ聞くと別にOracleを嫌う理由はないように思えるんだけど。企業の買収なんて割と日常茶飯事だし。
ググってみるといろいろOracleは訴訟してるみたいだけど何で訴訟してるのかイマイチつかめない。
BerkeleyDBのSleepyCat、MySQLのMySQL ABとかいろんな前科があるな
Oracleのインストーラーが糞
>>753 ああ、Javaを欲しくてSun買ったからZFSとかはぶっちゃけ要らない→あんましZFSに力入れない
って感じなのかな。
まあこれ以上はスレチだと思うので適当な所で話打ち切っちゃって下さい。
SleepyCat買収騒ぎでボラクル嫌いになった
Java関連を掌握したいが為にSun買収しやがった件でボラクルアレルギーが発症した
イメージだけで語れば
Oracleは顧客優先、ビジネス優先
RedHatはコミュニティ優先
Novellはその中間
無料で美味しい思いしたい俺達と
OSS開発に参加して名を挙げたい開発者と
自社の一部に組み込んで美味しい所だけ利用したい企業と
金出してサポート買ってる企業の意向や担当の苦悩。
データベースは直接関係無いかもしれないがOSSを利用して組み込みやってる開発者の右往左往ぶりとか。
カオスだよなw
Linuxっていろんな意味で楽しい。
Oracle叩きが加速してるがNovellも相当やってきた。
でも還元はしてる。Oracleはしてない。それが大きな違いかもね。
ギークvsスーツ
しかしLinuxにはスーツの最右翼、IBMもかなりContributeしている訳で。
まあ直接このスレに関係あるネタはあんまりないかも知れないけど。
IBMがLinuxに貢献したのはSolaris潰しのためだろうが
AIXでSolaris潰しに失敗したからLinuxを当て馬にしただけのこと
だったら全力でSunの買収に取り組んだはずだ。
みすみすOracleに出し抜かれるほど落ちぶれちゃいない。
潰す=買収というわけではないのだが…そう読めたか?
Transitiveの買収とかSun買うつもりだったのかなという感じはあったが
結局最後は値切ったのが仇になってOracleに転んだけど
>>763 SUNをただのハードウェア会社と見ていたので、取り扱うアーキテクチャのラインナップが増えるので手を挙げなかった
と、思うけど…
(IBMは過去に対MS用決戦兵器としてロータスを買収しているし)
それはありえない
歴史的にはOSFやEclipseの一件からSOAPの標準化まで
広範囲にSunに対して嫌がらせしていたのがIBM
Sunの首脳陣もそれを分かっていたからIBMを人類の敵と呼んでいた
なんでそう呼んだかはIBMとナチとの関係をぐぐって貰ってもいい
ふむふむ。
でもなぁ、SunもJava移植の件でかなり悪どいイメージが残ってるからなぁ。
もちろんSunのおかげでというのも沢山あるんだけど。
>>766 え!?なんで!?
ライバル関係にある会社を「褒め称える会社」が存在するだろうか?
MSとIBMが蜜月関係に終止符を打った直後から「OS/2とWindows」を罵倒しあう関係になったし
おまえらスレ違い。雑談スレへ行け
>>740 不思議な旅してんじゃないの?ヤダネー
>>769 仕方がないよ。『SSDに最適化されたファイルシステムの開始』みたいな発表が無いと。。。
(OS板のVBoxスレなんて『Google検索結果発表」スレと化しているし)
>>770 歳バレしちゃいますよ〜 ww
>>768 >>765の
>SUNをただのハードウェア会社と見ていたので
に対するレスが
>>768 IBMとSunはソフトウェア(の標準化)で常にライバル関係にあったということ
>>769 だよねー
>>771 AHCI+trimではダメっすか?
つかこのスレでtrim対応ってあんまり話題になってないのかね?
と強引に戻してみるテスト
>>765の
>SUNをただのハードウェア会社と見ていたので
に対するレスが
>>766 の間違い
スマネ
OS作る上でで一番大変なのがファイルシステムの設計らしいな
(WinFSはポシャったが)
>>772 >IBMとSunはソフトウェア(の標準化)で常にライバル関係にあったということ
ハードウェア、ソフトが無ければただの箱って理由であえて割愛した
当然、自社のハードを積極的に売り込む為には、囲い込みが必要でしょ?
(IBM ATがオープン戦略をとって、売り上げが激減したように。そしてappleもクローズド戦略に戻ったしね)
>AHCI+trimではダメっすか?
>つかこのスレでtrim対応ってあんまり話題になってないのかね?
それってファイルシステムではなくOS側の話の様な気がする
(debian使いだが、カーネルの関係でbtrfsやext4はtrimに対応しているが、大好きなXFSがtrimに対応していないのが少し悲しい)
Appleは別にクローズド戦略に戻ってねーぞ
いまだにDarwinは続けてるし、Clang作ってるし、
最近だと現役バリバリのコーデックをオープンソースにしたし
むしろなぜコードをそこまで公開するのか戦略が全然見えないレベル
Sun亡き今、Googleに次いでオープンソースの活動量が多いんじゃねーかな
>>775 ちゃんと歴史を勉強してくれ
SunはNFSの無償ライセンスをはじめ囲い込みとは無縁の戦略をとっている(とっていた)
自社のOSSプロジェクトを製品レベルにコントロールできるように社内エンジニアも出していたし
規模の割には太っ腹な会社だ(だった)
IBM含め話題になってない会社に行って落としてくるべきバイナリやコードなんてないだろ?
新しいアイディアは常にSunとともにあったし
そもそもLinuxは機能的にもSolarisのデッドコピーに過ぎない
意訳「昔は良かった」
未だにZFSはSolarisじゃないとねーとか言ってる化石はちょっと可哀想
>>778 ホントだよ
Linuxのパクリ小僧から出てきた新しいものなんて何もないんだから最悪
XFSもSgi由来だろ
延々バージョンナンバーをいじくりまわしてるだけのext()は論外としても
>>777 伝えたい意図を曲解されてしまった orz
書かれている事は十二分に理解しています。
x86版Solarisも基本はSunが製造したハード以外正式なサポート受けられないでしょ
私は「広義な意味で」囲い込みって書いたつもりだったのですが。。。
仮に日本語でSolarisの電話サポートが欲しいだけなら
安いOracle鯖を一台買ってプレミア契約すればいいんじゃねーの?って話
Linuxのファイルシステムの信頼性を疑って
NFSファイルサーバとしてSolarisを使うのは高上りになると思うけどな
(NetappとかEMC買えって話)
784 :
login:Penguin:2011/12/20(火) 08:10:49.70 ID:8wZXLFMk
ZFS寄贈とかのクリスマスプレゼントないのかな
ZFSクローズ化&一斉告訴のクリスマスサプライズなら有りそうだが・・・
激動の2011を締め括るサプライズだな
質問させてください
ext4の最大ボリュームが1EBとwikipediaで見たのですが、最大ボリュームの意味はなんなのでしょうか?
Linuxとして扱える最大のストレージの大きさなのでしょうか?
それとも、/dev/sdaとかの最大の大きさなのでしょうか?
よくわかりません
よろしくお願いいたします
>>787 > 最大ボリュームの意味
たぶん後者の
> /dev/sdaとかの最大の大きさ
だと思います。
1つのパーティションの最大サイズが1 EiB(1024×1024 TiB)。
1つのファイルの最大サイズが16 TiB。
1EiBもお化けストレージ動かしているとこなら到達しそうだな。
790 :
login:Penguin:2011/12/22(木) 14:22:45.27 ID:6RY4b6W6
実際ext4なんかで業務動かしてるところないんでしょ?
Google
googleなら上のレイヤーでいくらでも冗長にしてそうで
積極的に試せるのかな
独自のジャーナル使ってるからなあ
Googleって分散ファイルシステム使ってるんだっけ?
なんか
「昔は安いマシンを頑張って繋げてそれに合わせて工夫してあれこれしてたけど
今は金がありあまってるから普通に高性能マシンにリプレースして分散ファイルシステム設計しなおすよー」
って話を聞いたことあるけどどうなったんだろ。
でもディスクのレイヤは普通にext3とかなのかね。
googleぐらいカネ持ってればどこの会社のストレージでも最大構成にして遊べるだろうね
HAMMER FSに大化けしてほしいような。
おおばけしたらそれはそれでよい世界だと思うけど
それを linux板で言いますか…
ファイルシステム総合だし
このスレ、OS板に移転した方がいいんでないの
OS板に移転したとしてもFAT32やNTFSやHFS+とかの話題で盛り上がることってあるのかね。
あくまで「Linux板の」ファイルシステム総合なのに拡大解釈し過ぎだしな
まあどこまでがlinuxのファイルシステムって言うのか謎だけどな
NTFSもZFSもLinuxは一応対応している訳だし。
LinuxでHAMMER開発という選択肢は無いのか
BSDでそ?
>>788 ありがとうございます
ちなみに、こういう情報はLinux使う人はどのような場所から入手するのでしょうか?
Linuxとしての公式ドキュメントのようなものに、1パーティションの最大サイズとかまとめられているのでしょうか?
教えていただけると助かります
>>790 RHEL6をこの前会社で購入しましたが、デフォルトでext4でした
最近Linux動かすのでしたが、全部ext4になるものじゃないのでしょうか?
>>806 > Linuxとしての公式ドキュメントのようなものに、1パーティションの最大サイズとかまとめられているのでしょうか?
ext3 だって 16TiB が上限だけど、RHEL の古いバージョンだと 2TiB が上限で
カーネルがコンパイルされてた頃もたしかあったはず。
とりあえず自分が使うディストリのサイトで確認するのが基本かと。
>>806 ext4に限定するなら
linuxカーネルのソースのDocumentation/filesystems/ext4.txt読むと
一通りのFeaturesは書いてあるね。
んでそのテキストファイルに公式サイトは
http://ext4.wiki.kernel.orgって書いてあって そのサイトのFAQにファイルシステムの最大サイズは2^60bytesって書いてあるからまあ信用できるんじゃないかと。
まあソースを読む方が信頼性が高いんだろうけど
fs/ext4/ext4.hのEXT4_MAX_BLOCK_SIZEあたりから適当にソース追いかけていくのかね。
あ、もちろんこれはext4自身の最大値の話であって
>>807の言うようにカーネルにディストリ独自のパッチがあたってたり
カーネルオプションによって違う場合は注意な。
googleは分散レイヤで冗長性確保してるから、ローカルFSでは速度重視でジャーナル無しのext2.
またはext4にわざわざジャーナル無しモードつける改造して(取り込まれてるかも)使ってる
>>809 それってkernel 2.4が2TBまでしかブロックデバイスを使えなかったから有った制限だと思う
http://www.redhat.co.jp/rhel/compare/ vgchange(8) "The 2.4 kernel has a limitation of 2TB per block device."等々
4の時の8TBってのも「ext3 諸元拡大に関する研究開発動向、及び改造方式の検討」によるsignedからunsignedへの変更が2.6.18で取り込まれたってだけだし
制限するようなパッチを当ててるディストリってのは無いと思うぜ
812 :
login:Penguin:2011/12/24(土) 19:10:54.91 ID:VocMYVBO
ルート直下にXmasなんてフォルダを掘っておくと、
翌日プレゼントが入っているようなFSないっすか。
UNIX板じゃん
>>812 自動的にウイルスや児童ポルノを収集して人生オワタになるFSですか?
lost+found にお宝が!?
$ cd lost+found
$ ls
dream
$ cat dream
残念!さやかちゃんでした!
gmailFS
オンラインP2Pストレージネットワークとかどう?
netFS
一度保存すると絶対に消えないストレージシステム
各ノードがリソース負担を嫌がって消しに掛かったら終わり
ある程度でかいクラスタになると、消したはずのファイルがいつの間にか復活している
とか普通に有りそうだが
atimeの更新確認して一定期間放置されたら勝手に消してしまうようにすればいいのか
あけましておめでとうございます。
今、ext4を使っているのですが、ext4はディレクトリ内に多数のファイルがある場合にパフォーマンスが悪いそうです。
そこで他のファイルシステムを検討してますが、なにがお勧めでしょうか。
#ZFSはまだ遠慮したいです。
ReiserFSは問題なさそうですか。
初心者なりに勉強中ですが、よろしくお願いします。
初心者はまず自分で確かめることから初めた方がいいですよ
>>824 単一ディレクトリの下に1万とか2万とかファイル置いているの?
NTFSって更新するファイル(メタデータ)多いなー
確実にSSD向けじゃねーわ
>>825 そうなんですか?初心者はまず経験者の意見を聞いたあとに、自分で確かめたほうがいいと思ってました。
>>826 そうらしいです。
>>827 ext4までしかないと思いますが。
>>829 そうらしいって…。お前の環境で置いているかどうかを聞いているんだが
>>829 ext4で足りないような用途なら、現状ではzfsかbtrfsしかないな。
ただ、君が使ってる状況が分からない以上、何が最適かは君にしか分からないから、実際に
いろいろ使ってみることをおすすめする。
年明けそうそう大漁だなぁ
パソコン用途ならext4かreiserFS
初心者は難しげな物を好む傾向が強いので困る
>>824 性能がわるいことを実感したら考えればいいよ。普通にext4使えばおk
835 :
login:Penguin:2012/01/02(月) 20:12:35.06 ID:bGEO12V6
ハンスライザーFSはメンテする人いないんでしょ?
そういうのはちょっと...
>>835 メンテは続いてるでしょ
開発してはいないけど
xfsでおk
元はワークステーション向けだし
ワークステーションってさー、年寄りにしか通じない
意味不明な言葉になっちゃったよね。
ところがPCがUNIXワークステーションになるって喜んでたのが海外のLinux厨なんだぜ
笑っちゃうよな所詮パクリの二線級OSなのによ
btrfsまだなのか
泣けるわ
>>839 > 笑っちゃうよな所詮パクリの二線級OSなのによ
おっと、BSDの悪口はそこまでだ。
842 :
login:Penguin:2012/01/03(火) 14:00:04.76 ID:GRH9Jo4u
BSD! BSD!
844 :
login:Penguin:2012/01/04(水) 02:39:09.80 ID:wH+395Iy
BSDとLinuxがそれぞれ相手をパクリ呼ばわりとは...
シュールで滑稽な光景だな
BSD 以前から UNIX はあっただろ?
846 :
login:Penguin:2012/01/04(水) 17:53:33.71 ID:kUT1pEDW
いやLinuxの方が先だろ。
一番古いのがLinuxだから、サポートしているFSの種類が一番多いわけだ。
SunOS/Solaris1がBSD
Solaris2がSystemV
LinuxがSunOSより古いのか?
BSD以前からLinuxはあったけど
UNIX以前にLinuxはなかったってことか?
確かにおおざっぱだ
ワロス
wwwww
853 :
login:Penguin:2012/01/05(木) 02:01:13.57 ID:C0j489IR
すいません、1900年に出来たLinuxは今で言う"UNIX紀元"は何時だったのでしょうか?
またアプリケーションも含めた紀元切替には、どのような手法が用いられ、顧客にはどう説明されたのでしょうか。
今後の対応の参考のため、博学なる
>>849様に教えて頂ければ幸いです。
exfatもそろそろ読み書きできるようになりそうだね。
Linuxって1991年辺りじゃなかったか?
フルスクラッチってのも嘘だとか検証してた人もいた気がするが
>>855 後から紛れ込んだものの中にパクったものやBSDを参照したものがあったって話だろ?
0.1はフルスクラッチだよ。Linus も Minixのソースは見てるだろうけど、構造が全然違うしね。
さくらのクラウドが事故ったようだな(ZFS が原因かどうかは分からないが)
infinibandとzfsでクラウド用ストレージとかいう人柱街道まっしぐらのストレージか。
素直に応援しておこう。
SolarisのZFSはともかく、InfiniBandは冒険だな。早く解決できることを祈っておこう。
ext4のブロックサイズが最大1Mまで拡張されたね。
大きなファイルの保存用としてXFSいらなくなったかな
862 :
login:Penguin:2012/01/06(金) 18:06:08.08 ID:e78WIwaK
NTFS上にて、ln -s でシンボリックリンクが作成できません。
代わりにどのコマンドを使用すればよいでしょうか。
う、うん……(´・ω・`)
866 :
862:2012/01/06(金) 19:34:25.26 ID:a8BxhGLm
>>863 ありがとうございます。3gの方を使ったら作成出来ました。
>>865 その記事にある、「ext4 inline data patches」って
mainlineに取り込まれ(る/た)のかな?
誰か知ってる?
868 :
login:Penguin:2012/01/07(土) 08:00:13.80 ID:JuTUpTY7
なにext4ってまだ修正パッチが必要な状態なの?
やっぱりパーティションを小さく切ってext2が鉄板なのかな。
>>868 >>867で聞いてるのは、極小ファイルのディスク格納効率を
上げるパッチのことで、安定性に関する修正じゃないよ。
メンテもテストもされてるって意味で、
現時点だとext4が一番鉄板に近いんじゃないかな。
最新カーネルでの運用実績とかテストって意味では、
ext2はそろそろヤバいような気がするけどどうなんだろ?
スペック低いマシンだとext3がいいと聞いた
Android端末でもext4だぞ?
まぁ、それ以下のパワーのサーバも現役の場合もあるか
もう、FAT16かHPFSでいいよ
873 :
login:Penguin:2012/01/07(土) 14:38:24.31 ID:BOECkX3A
2.6.32でDebianを使っています。
NTFS上にて、chownしようとしたらエラーになりました。
chownできるようにするにはどうしたらよいでしょうか。
chownしようとしたら出たエラーに対処すればよいですよ。
FAT32にすればよいですよ。
ファイルシステム板が嘆かわしい・・・
やっぱそこは↓
877 :
login:Penguin:2012/01/08(日) 09:45:30.49 ID:Z/Lf49Sa
>さくらクラウドの障害。最終的にはディスク負荷軽減のための不要データ自動削除処理を変更したところ、誤って必要なデータも全部削除(スナップショットイメージも同時に削除)したのが原因と判明の模様。
zfsってdisk負荷高いのかなぁ
そんなもん運用次第だろ。
超高機能ファイルシステムなんだから、多くの機能を使えばそれだけ負荷は高まる。
ファイルシステムの機能やディスクレイアウトがどんな風になってるイメージもないやつが運用してるとか怖すぎる
zfsはディスク負荷というかCPU負荷が高いイメージがあるな。
というか不要データを削除したらディスク負荷って減るものなのか?
まあ分散ストレージ運用した経験ないから良く分からんけど
>>877 他人任せにする限りこうした障害は起きる(キリッ
だからウチは外部に任せず全て内部で納得の行くまで
慎重に管理している。有能なスタッフがいるしね(笑)
- 自宅システム部長 (独身)
>877
snapshot を消そうとして全部 destroy するオペミスとかかな?
zfsはディスクが9割方埋まるとパフォーマンスが激烈に低下する。
埋まっちゃってたのかな
884 :
login:Penguin:2012/01/08(日) 17:44:29.28 ID:QtCoqaIl
なにそのNILFS2みたいな挙動
885 :
login:Penguin:2012/01/08(日) 18:05:49.57 ID:ad0eZmgB
いまんとこ16TB以上のファイルシステム作れるのってxfsぐらい?
でもfsckに死ぬほどメモリ必要になるしなあ。
ext4は何時治るんだろう?
まだ
そんなことを
いってるのか
887 :
login:Penguin:2012/01/08(日) 19:21:25.10 ID:ad0eZmgB
>>886 まだって言ってもこんなに大きなRAID運用開始したのが最近だからなあ
ext4さっさと治ってれば何も考えずext4使ってたのに
> まだって言ってもこんなに大きなRAID運用開始したのが最近だからなあ
イミフ
あまりに自分中心の考え方だと
こういうアホなこと書いてしまうんだなぁ…
情報収集しないこととてめえの環境に何の因果関係があるというのか
This release of e2fsprogs has support for file systems > 16TB.
httpfsはファイルアクセスでhttpが喋れるけど、
もっと単純にソケットが喋れる奴ってないのだろうか?
貧弱な言語からmnt/socket/localhost:6000とか開いてGUI対応済と言い張ってみるとか、
誰かやらないかな?
893 :
login:Penguin:2012/01/08(日) 22:52:02.55 ID:ad0eZmgB
>>890 おーサンクス。
明日、インスコしてみるよ
>>891 おちんちんむけないほうがせいぶつがくてきにふつうだからかぶってたほうがいいです
被る被らんは置いといて、xfsがメモリ必要ったって
仮想メモリでいいんだけどな。
実メモリと比べても大して時間はかからない。
今時xfs使ってる人なんていないと思うんだけど・・・
つまりext3最強と?
使用メモリが小さくて、ド安定で最低パーティションサイズが16TB、
また、SSDでの使用も考慮されてるFS
XFS+logdevをRAM disk
但し、停電とかでジャーナル飛んでも知らない
>>896 RHEL系だと1パーティション 16TB 超えられるのって xfs だけだから使ってる場合多いかと。
つ GFS2
ヒント: 実績
大規模運用の実績ならxfsよりよっぽどあるんじゃないの?
無いだろw
UFS2+SUJってファイルサイズの限界が256TBってUNIX板に書いてあった
ライセンスも問題無いし移植されても良さそう
906 :
login:Penguin:2012/01/09(月) 23:43:33.09 ID:JSY6hNfX
ext4もまだいろんなディストロで 16TB 以上使える e2fsprogs が導入されたわけではないからな
CentOS5 見たいに ext4 を上手く導入出来なくて e4fsprogs とか入れてる奴とかあるし
さっさとデフォで16TB超使えるようになってくれよ
今だったらHDD4つで16TB行くし
ふつ〜10T越えたらxfsだって
910 :
login:Penguin:2012/01/10(火) 23:24:28.24 ID:cQjBqtdg
ファイルシステムサイズやファイルサイズの制限によって、
FATからFAT32に移り変わったような代替わりがあると思いますが、
近々寿命が来るのはどのファイルシステムでしょう?
ext2ジャネーノ
912 :
login:Penguin:2012/01/11(水) 01:17:34.15 ID:dEQcq3+n
そのFAT32が既に限界じゃないか
FAT32が限界でexFATが推進されていると。
別にアスベでも何でも無い普通の回答だと思いますが何か。
ヒント: 板
linux kernel内に msとは異なるコードで実装されてて
ちゃんとサポートされてるんだから、そのヒントは違うんじゃね?
>>915 お前ってメタポリックとか言ってそうだよな
exFATってハードリンク作れないっぽいね
920 :
login:Penguin:2012/01/11(水) 16:21:00.22 ID:yHC/vmIe
グラボみたいにファイルシステムにもハードウェア支援機能が欲しい。
通常のHDDでは、アトミックな操作にならない部分でも、アトミックにしてくれるとか、
lsコマンドのディレクトリリスティングが数万くらいでも爆速を維持してくれるとか。
> lsコマンドのディレクトリリスティングが数万くらいでも爆速を維持してくれるとか。
dirhash?
なにをどうやろうとも、最初の一回は時間がかかるよ
alias ls='ls -U'
しとけ
>>922 バックグラウンドでディレクトリの変更を監視しつつ、
変更があったらディレクトリエントリをスキャンして、
キャッシュに載せるようなデーモンプロセスとかあればいいのかな?
うーん、実際に動いてるのを想像するとものすごくウザそうだなぁ。
っlocate
最近、このスレのレベルが急降下してる気がする・・・
前からそんなに高くなかったよ。
>>928 そんなことを言う君に宿題をあげよう。
「lsコマンドのディレクトリリスティングが数万くらいでも爆速」
という命題に対して incronを使用して実現する方法を模索してくれたまえ。
>>930 incronが動作するたびに ls 実行するだけでよくね?
ディレクトリキャッシュ貯まるから爆速維持できるし
設定も楽だしたまにミスしたってドンマイで済ませば
いや、
・incronが動作した時点で対象ディレクトリエントリは
すでにキャッシュに載ってる可能性が非常に高い
・数万のオーダーだと単にlsでもけっこう重いから、
無造作に実行すると作業の邪魔になって本末転倒
て考えると、もうひと手間ふた手間必要かなと。
シンプルでわりと確実って意味じゃ、単にlsってのも
有りだとは思うけどね。
つか、過去スレに有りそうだけど、
dirhash と dir_indexの効果の差を
わかりやすく説明してあるサイトとかないのかな?
ちょっとext2でフォーマットしてみるといいよ
?
dirhashは freebsdのufs2の機能だよ。
んー、一発目から爆速を考慮すると incronじゃダメか。
マシンが暇な時間に、数百以上のエントリを持つディレクトリを探して、
ある程度定期的にそのディレクトリに対してバックグラウンドで
lsを実行するとかなら、ファイルシステムに関わらず使えるし、
簡単かつ有効かな?
なんかこれだと結論としてつまんないんで、
ext4/ext3で使用できるスマートな回答ないかなぁ?
そもそもinode枯渇とか考えてないの?
単一ディレクトリにそんなに大量にファイル置くとかバカなの死ぬの?
1行目と2行目に関連性がねえな
$ time (ls -U|wc -l)
1709998
real 0m0.913s
user 0m0.760s
sys 0m0.226s
$ df -hi /dev/sdb1
/dev/sdb1 3.2M 1.7M 1.6M 53% /mnt
No problem
>>936 もともとファイルシステムの運用周りはバッドノウハウの
かたまりだったりするんで、いまさらそんなこと言うのは無粋でしょ。
極端な状況を仮定するのは性能問題洗い出しの常套手段だしね。
>>938 快適なshell生活が目的なんで、lsのオプションを限定するのは
ちょっと違うんじゃないかな。違う意図だったらごめん。
>>939 >快適なshell生活が目的
マジで?そんなことが目的ならこの問題自体がどうでもよくね?
普段使う全てのディレクトリに対してincronとか出来るわけないし
SSDいかがっすかー?
fusion-ioいかがっすかー?
XFSなfsをNFS exportすると、固まることが多いような…
>>944 そうなの?btrfsをNFSで使っているけど(Note+無線なので本格的にNFSを使っているワケではないが)
特に問題なく読み書きができているよ。
それともXFS+NFS固有の問題?
(ちなみにDebian Ver.6同士の話ですけどね)
つーかどんなディストリのLinux使ってても、ファイルシステムにXFSを選択するという発想自体が普通はないでしょ?
カーネルスタックがどうとかいう以前に、XFSは自前のカーネルモジュールが多すぎて
例えば普通はcgroup使ってやるようなことでも、XFSはRealtime用の専用モジュール使ったりと色々面倒臭い
その上ext信者に散々指摘されてる通りIOパフォーマンスも最低レベルだから普通はXFSなんて使わない
このスレの中くらいのもんだよ、定期的にXFSがどうとかいう話題が出るのなんて
しかもその話題っても、御定まりの最大ボリュームサイズ関連の話題だけでしょ?
んでxfs_repairのメモリ馬鹿食いを指摘されて「俺のは問題ねえ」っていつも通りファビョるんでしょ?
信者以外はもうその話題に飽きたっつーの
いまだxfs_repairがバカ食いとか入ってるバカが居るんだ
Fedoraスレでfallocate厨呼ばわりされた俺に言わせれば、
XFSのfallocateは評価できる。
ただXFSはディスクに充分空きがあっても割と内周を利用するので、
パフォーマンス的には微妙。
> パフォーマンス的には微妙。
シーケンシャルの速度は充分出るし、
微妙ってのは言い過ぎな希ガス
アレイやSSDが当たり前の今
単体HDDの内周とか外周とか拘る奴まだいたんだな
お前は一体何をやっているんだ
957 :
login:Penguin:2012/01/14(土) 10:28:30.76 ID:66b0iH4i
>>947 他に最大容量が16TB超えられてデフォルトでディストロに入ってるFSってないじゃん
単体ノードでデータ置き場としてxfs使うぶんには、問題ないだろ
もっともLVMやNFSと一緒に使えないんじゃ、それでも使いたい人って、
個人か、でなきゃそのレイヤーを自作してでも、っていう一部のエンプラぐらいじゃ
959 :
login:Penguin:2012/01/14(土) 21:52:29.50 ID:66b0iH4i
NFSに使えないのは何で?
普通に使えると思うが
運が悪いとカーネルがゲロ吐く
俺の時はlvm+xfs+nfsで落ちなかったけどな
俺の時はな
どれぐらいテストして落ちなかったのよ?
xeon dpと4G fcのカタい設定でserver20台用意して
xfsとext3半々、nfs越しに負荷かけたら、
二日程度で大半のxfsは落ちたぜ、kernel stack不足で
あれ空き容量が減ってくると死ぬ確率が高まるのよね
LVMは老いた頭では面倒なイメージがあって使っていない orz
特にシステムが飛んだ時の復元が面倒ってイメージが…
向学のために…(スレ違いだけれども)
LVMを使っていてシステムが飛んだ場合、皆さんはどうやってシステムを復元しているの?
ちなみに私の場合はLVMを使わずに、通常にパーティションを切って、システム部分はDDで別のHDDにコピーしている
ファイルサーバで2年程、テストじゃなくて常用で。
>>963 962 では無いが、RHEL5で50台程度の計算ノードで安定稼動している
顧客が幾つもあるんだが...
Red Hat が xfs を RHEL6 で本格的に始めたところからすると RHEL5 で
それほどクレームが上がらなかったからじゃないかと。
>>964 別サーバにディスクを接続し起動する。 起動したら
lvm vgscan
lvm vgchange -ay ボリュームグループ名
mount /dev/... /mnt/...
ってだけでは? 永続的に使うなら initrd 作り直して fstab に追記するとか。
でも LVM (や Software RAID) は普通使わないね。
ディスク拡張やスナップショットが必要なところは RAID 装置が入ってて
そちらのハードウェア機能を利用するわな。
てか、俺のところで落ちた落ちなかったの話ではないだろう、これは。
「正常系で普通に突き破る」既知のバグで、かつ「直せない」と言われてる以上、
落ちるのが自然で、落ちなかったのには何か特別な理由があったから、でしかない。
あと、アクセス量ベースのMTBFで考えると、常用とか安定稼働とかの言葉から想像して、
そっちの実時間一年が負荷試験の一週間とか数日とかにしかならんかも
しれないことも考慮すべきではなかろうか。
嫌なら使うな
必死過ぎてさすがに気持ち悪い
>>968 > てか、俺のところで落ちた落ちなかったの話ではないだろう、これは。
「幾つもある」と言及したんだが。
> 「正常系で普通に突き破る」既知のバグで、かつ「直せない」と言われてる
流体とか構造解析など数十GBクラスのデータをやり取りしてる連中が24時間
使いっぱなし、止めるっていっても年1回の法定停電がある施設ぐらいで基本
止めないシステムで安定稼動してるよ。
過去 xfs で痛い目にあったみたいだが、それは xfs が原因ではなく安物ハードが
原因だったんじゃないか。 これは私見だがヘタな NetApp / EMC 対抗製品より
安心して使えるよ。
カーネルスタック不足だからな。HBA何使ってるとか
何層重ねてるとか環境によるとしか。
落ちたらご愁傷様。落ちなかったらラッキー。
そもそも最近のx86_64ディス鳥だと、カーネルスタックサイズ拡大してなかったっけか?
過去にdebian 32Bit版でシステム領域にxfsを使っていたけど、一度としてカーネルスタック系の障害で落ちた記憶は無い
最近は/varにext4も使うようになったけれども(SSD使いになったので)、どうも過去の悪印象でext系は使いたくない
(ちなみに/homeはbtrfsね ww)
。。。まぁ「俺のところではレス」の反論レスがあるので、参考程度までに。。。
設計をミスってて壊れてるとメーカーが断言してる車に、
俺は今まで事故ったことがない、事故なんて滅多に起きない、って乗るのは勝手でしょ。
>971
じゃなくて、何TB/dayぐらいのデータアクセスなのかがポイントなのでは。
その数十GBが/dayでも/hourでも/minでも、負荷が低すぎて参考資料にならね。
数十GB/min なら問題ないって事ですね。
反論もなんもx64の問題だっていってるんだからx86なら問題ないんじゃないの
BSDのamd64とかはどうしてるんだろう
>>976 ごめんなさい。読んでいませんでした orz
で、同様の環境で64Bit版で使用していますが、カーネルスタック系の障害で落ちた経験は無い。
また、前述の通り、xfs、ext4、btrfsと入り乱れて使っているが、幸運にも問題は発生していない。
>>978 なんでLinux実装の問題がBSDに関係すんだよ
>>975 落ちたら、落ちましたでは済まんの。
落ちないようどうするか考えろ。
つ ZFS
ubuntu 11.04 64bitでmdadm+luks+xfsとluks+lvm+xfsで使ってる
昨日も数十万ファイル数十GB程度コピーしたりしたけど問題ない
特にカーネルが落ちるといったことはないけどもっと高い負荷が必要なのかな
仮想化して使うとき仮想ディスクのFSにジャーナリングって必要?
もしかしてext2のほうがパフォーマンス的に良い?
仮想化 専用 ファイルシステム でggr
>>985 ありがとうございます
残念ながら解りませんでした。
ホストストレージ Ext4
ゲストストレージ Ext2
ゲストの用途は鯖ではなくクロス開発の母艦にしようと思ってます。
ホストでコンパイルしたシステムをゲストOSにその中で更にクロス開発環境を作ってみようと思った次第で
特別大きなファイルがいくつも存在することは無いのですが、気になったもので。
>>986 一番確実なのは、OS板やソフト板の使用する仮想ソフトのレスで質問するのが一番だか。。。
個人的には仮想ディスクにジャーナリングなんて不要って思っている派
(ちょっとでも仮想ソフトのI/O負荷を減らしたいしね)
988 なら次スレ行ってみます。
>>975 > じゃなくて、何TB/dayぐらいのデータアクセスなのかがポイントなのでは。
なぜに /day ? もしかして映像とか計測値リアルタイム保存系の人なの?
このスレの住人の平均的な使い方と違う使い方をしていそう。
# このスレに来ている時点で普通の使い方をしている人のほうが少なそうではあるが...
>>990 そういうのはファイルシステム使わんだろ?ふつー
>>984 仮想化するなら、LVMのブロックデバイスそのままつかったほうはやいよ。
>>991 ログだったらDBとかだろうけど、映像は普通何に保存するの?
>>994 本当か? ブロックデバイスの個数分しか動画保存できないじゃん。
分散ファイルシステムとかが好まれると聞いていたので信じがたい...
お互いが想定している対象システムがとんでもなく乖離している気がするw
梅
まもなくここは 乂1000取り合戦場乂 となります。
\∧_ヘ / ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄
,,、,、,,, / \〇ノゝ∩ < 1000取り合戦、いくぞゴルァ!! ,,、,、,,,
/三√ ゚Д゚) / \____________ ,,、,、,,,
/三/| ゚U゚|\ ,,、,、,,, ,,、,、,,,
,,、,、,,, U (:::::::::::) ,,、,、,,, \オーーーーーーーッ!!/
//三/|三|\ ∧_∧∧_∧ ∧_∧∧_∧∧_∧∧_∧
∪ ∪ ( ) ( ) ( ) )
,,、,、,,, ,,、,、,,, ∧_∧∧_∧∧_∧ ∧_∧∧_∧∧_∧∧_∧
,,、,、,,, ( ) ( ) ( ) ( )
産め