いちおつ
6 :
login:Penguin :2012/06/30(土) 14:28:20.37 ID:o0ZHnXlL
前スレ1000やめろw
ハンスははよ出てきてReiser4の次だしてカーネルにマージしろ
もう過去の人。今は法律と仮出所条件の勉強に熱心。
そういえば「なぜReiser4はカーネルにマージされないのか」みたいな文章あったな。 読んでも結局マージされない理由は良く分からなかったけど 仮に出所してもマージされる日は来ないのかもしれない。
>>4 いいまとめだね
付け加えるならfusion-ioにはxfsがいいんだっけ?
どっかにデータ無いかな?
engawaがやっと復活したか よかったよかった
14 :
login:Penguin :2012/07/05(木) 11:30:58.42 ID:tUIBlwAF
各ファイルシステムのディスク上のレイアウトについて解説してるサイトはありますか?
ない
ubuntuにzfs導入してみようと思ってるんだけど zfs-fuseとnative-zfsってどこらへんが違うのかな fuseのほうがユーザーランドで動くから性能悪いのかとは思うけど
ubuntuのバージョンが何かわからないけど、 カーネルのバージョンアップが頻繁なデスクトップ版なら、 nativeは止めておいたほうが良いと思う。もし、ユーザのホームを ZFSに置いたら、カーネルバージョンアップ、再起動、ホームが 見えずにログイン不可、復旧モードで回復という事になりめんどくさい。 オレはCentOSで使っているが、同じカーネルの仮想PCを使って、 nativeのRPMパッケージを作り、動作確認してから本番のカーネルに あてている。 オレもfuseで試して速度に不満があったので、nativeにしたのだが、 fuseの時と、nativeの性能差はあまり感じない。ベンチマークはたしかに 違ったが、動かしているマシンや、CentOS上で動かしているアプリが 大したものじゃ無いので、今となってはどちらでも良かったかなぁと 思っている。
>>17 ありがとうございます
OSの種類は12.04のデスクトップ版です
ホームにするつもりはないんだけどカーネルアップのたびに
復旧しないといけないのは面倒臭いな
性能差もそこまで無くて機能差も特に無さそうだし
利便性をとってfuseかな
>>18 Native Linux版は64bit OSに入れないといろいろ問題も出るので、
入れるならubuntuの入れ替えも必要な事を使えておくのを忘れてしまった。
zfs導入といっても目的がわからないことには。
NAS化したくてシステムはext4に入れるとかならnativeでも不都合はないと思うけど。自分はそうしてる。
あとubuntu+ppaならカーネルアップデートしても自動でビルドしてくれると思うけど。
以前fuseでRAIDZ試したときはあー使えんわこれ、って速度だった印象だけど今ではそうでもないのか???
あとnativeはrcといえどstableではないので何があっても知らないよというのはある。
>>19 逆にfuseって32bit版でもパフォーマンス出るの?
fuseなんて使うヤツ居るんだとずっと思ってた
>>19 ubuntuの32bit版ってそんなに使ってる人いるの?
なんかメリットあるのかね?
そりゃあ日本語 Remix版はそもそも64bit版を出してないからな
マジかよ と思って見に行ったらマジだった i386か…
やっぱext4は最強だわ。
最強よりも、他がダメなんだと思う
fsckのいらないファイルシステムはよお願い
っNTFS
nice joke!
×要らない 〇出来ない
fusion-ioは価格が今の1/2になってbtrfsもサポートしたらバカ売れする予感 btrfsの開発者がボラクルから移籍したらしいし期待していいかな
劣化だろw
ファイルシステムがなんだろうと それを読むf系ライブラリに 全ディストリビューションで バグがある
それってLinuxが終わってるってこと?
スーパーハカー来タコレ
10行ほどの再現プログラムで、お前らでもすぐ書ける こんな糞バグ、マジかよってレベル
やっぱり口だけか。 まあ、こんなもんだよね。
夏だな…
setlocale(LC_ALL, "en_us.utf-8")
うそ!?まじで…!?
FILE* fp = fopen("test.txt", "w+")
error: expected ‘,’ or ‘;’
再現コード来ないな
XFSが最強だって事は公然の秘密
fputws("unko");
だから壊れたの?
はやく再現コード出せよ
結局、好きなを勝手にの使えって事だろ。
太陽のように輝く未来が欲しいのであればXFSを選ぶ事が何より大切な事です
それ、btrfsさんの前でも同じ事言えんの?
XFSはオープンソースになった当初から使っていたけど、 いろいろなディストリの標準インストーラから外されて悲しい思いをしていた。
>>55 btrfsは次世代を担うファイルシステムだと考えております
今はまだ開発が進んでいないので評価する事はできません
「枯れ待ち」という言葉で表現したいと思います
>>56 XFSは必ずやあなたをお救いになる事でしょう
xfsサルベージできなくて泣いたからもう手を出したくない いやそういう運用してるのが悪いんだけど
サルベージしやすいFATが最強なんだよ 素人はこういうところを見ようとしないから困る
int unko = ftell(fp);
if(fseek(0, unko) == -1){
perror("err");
return;
}
printf("%d %d"), unko, ftell(fp));
fputws("unchi");
fclose(fp);
ext4のオフラインのデフラグってないの?
どこに書いたらいいか分からんからここに書くけど FreeBSD9.0-RELEAS mem8GB 0EADSx4 RAIDZにIntel SSD330でZILとL2ARCに8GBずつ割り当てた zpool iostat -vをしばらく眺めてもL2ARCは使われてるけどZILはほとんど使われてない 個人用とで使う分にはZILはあまり役たたんのかな?
>>70 うーんそのどういう使い方なら役に立つのかなってことなんだけど
使われてないってことは結局使わなくても書き込み間に合ってるってことだよね
サーバで多数のクライアントからの処理でもないと真価を発揮しないのかなと
仮想環境のホストOSのディスクをZFSにして、複数の ゲストOSが同時にディスクアクセスするというのは?と思い 実際にやってみたけど、あまり効果はなかったね。
>>73 ありがとうございますZILをちゃんと理解してませんでした
sync=alwaysで常に同期書き込みさせる場合に有効なんですね
つまり非同期書き込み時に高速化させる訳じゃないと
O_SYNCとかならわかるけど、sync=alwaysってなに?
>>75 zfsのオプションです
sync=diabled:ZILデバイスには書き込まない
sync=standard:O_SYNCのときだけ(ZILデバイスに)同期書き込み
sync=always:常に(ZILデバイスに)同期書き込み
よく分かってないので間違ってるかも知れません
ZFSをCentOSのデスクトップ環境で3ヶ月使い続けた結論 ディスクの玉は多いほど読み書きが速くなる ー>ボードの性能がボトルネックになる。 logsは多くても数Mしか使っていない、512MぐらいSSD割り当てれば十分。(か?) cacheは徐々にallocが増えていくので、時間が経てば効果がでる。(かも?) 容量は多いほうが良い? 24GをSSDに割り当てている。 ー>目立った効果を感じられない。 圧縮、重複排除機能はOFFの方が安定しているみたい。 ー>重複排除で20%〜30%の容量節約になるのは魅力だが、書き込みが遅くなる。 メモリー8Gから16Gに増やしたので、そろそろフルで重複排除を働かそうか と思っている。
>>77 FreeBSDのZFSで3TBx5発のraidz2を使ってるが、シーケンシャルでRead 500M/s
Write 420M/s行ったよ。ボードがボトルネックって、単に使ってるボードがPCIex1だった
とかのオチじゃないの?
ZILの容量はメモリの1/2で十分らしい
ttp://www.solarisinternals.com/wiki/index.php/ZFS_Best_Practices_Guide The maximum size of a log device should be approximately 1/2 the size of physical memory because that is the maximum amount of potential in-play data that can be stored.
For example, if a system has 16 GB of physical memory, consider a maximum log device size of 8 GB.
80 :
77 :2012/07/23(月) 11:49:20.51 ID:1fiDJHgv
>>78 うん。御名答。
どんなに頑張っても100M/S以上の書き込みができないオンボードのSATA-I/Fなので
がっかりな結果。RAIDカードを買っても結果は同じだろうと思います。もともとは
ホビー用途のボードらしいです。
ただ、書き込みの時にraidz2で30M/Sずつの書き込みで60M/Sの書き込み
読み込みの時に、30M/Sずつの読み込みで90M/Sの性能が出ているのは、
ストライピングの効果が見えて面白い。サーバ向けのボードで使いたいよ。
で 用途は? ただのベンチヲタ?
>78 read はともかく write は dd でシーケンシャルテストしても 数十MB/s とか程度だった気がするんだけど なにが違うんだろう(FreeBSD 8系で raidz1, 1TBx4発) お勧めパラメータ設定とかあります? zpool iostat で見ていると安定して書き込まないで ちょっと書いては休んでとかしてたのが謎…
>>82 休んでるっつーのは ARC に書きに行ってるときじゃね?
つーかパラメータ云々よりどんな構成で使ってるんだ
LSIのSAS HBAでZFS使っている人いる?
>>82 数十MB/sって…。
raidz1x4の構成なら、仮にHDD 1本あたり34MB/s出ればpool単位では
100MB/s越えちゃうんだよ。むしろどうやればそんな低い性能になるのか、
そっちの方がギモンだ。
RAIDZってそんなに書き込み性能出るの? 普通、RAID5/6ってのは単体と比較して 書き込みの回転待ちが倍近くかかるし chunkサイズx台数に比例したサイズの整数倍以外で書き込み以外は パーシャルライトになって、強烈に性能が低下するものだと思ってたよ。 実体験上もそうだし。
で、書き込み性能低下の要因は メディアの転送速度でも、インターフェース(のどこか)の転送速度でも ましてやパリティの計算に使うCPUでもなく もっと根本的な、回転待ちの同期と、一部書き換えのための事前読み込みに 時間がとられることじゃないかと。 もうひとつ遅くなる原因に思い当たった気がしたんだけど思い出せない。
俺の家でパラメータとか何にも考えずに構築した2TB*4のRAID-Zは安定して150MBぐらいは出てるな ちなみにHP ProLiant MicroServerのFreeBSD。
ちなみにIOPSではなく転送速度ってことなら、シーケンシャルでドカンと 読み込む場合はRAID-Zでも速いです。
うちは何も考えずに作った 2TB*8 の RAIDZ2 で 400MB くらいだな 作ったばっかの頃はもうちと出てた気がする AthlonX4 と 16GB メモリ の FreeBSD 8.2 HBA は M1015(LSI 9220-8i) の IT Firmware
>>91 LSI 9220-8iで故障したディスクの特定とかってどうやってます?
>>92 いまんとこ mptutil(8) に相当するのが無い
mpsutil が出るのまち。いつになんのかしらんけど
>>92 ごめん、何も考えないでリプライしたがどういう意味?
ZFS でってことなら別に zpool status すりゃどのディスクが死んだのか
出るからそれで十分じゃね?
いっつも思うんだけどRAID5とかで死んだディスクがあったとして それがどのデバイスなのかzpool statusで分かったとして 実際にハードディスクの蓋開いて物理的に取り出すときに 全部同じ会社の物だったら分からなくね?型番で判別できるもんなのか?
>>95 それは
>>96 の言うとおりポート順にすればいいし俺はそうしてる
あとバラバラだとしても smartctl とかで S/N は調べられる
見やすい場所にラベルも貼っておいたほうがいいだろうけど
>>95 仕組みを考えてみてくれw
RAID5は一個ディスクが壊れた時交換することを前提にしてるんだぞ。
そうやって冗長性を構築してるんだ。うまく交換できないなら全てが成り立たない。
RAIDを構成する全てのHDDのメーカと型番を変えれば無問題!!
HBA側がminiSASで分岐ケーブルなら大概がSATA/SASコネクタに番号が振って あるから間違いようもないし。 いまはむしろ6GB/sと3GB/sで混在するオンボードの端子の方が勘違い しやすいんじゃね?
タマの物理的な管理もできない奴がRAID組むなよw
FreeBSDでzfsのホットスペアって自動でreplaceしないの? 自動でならないんでググって見たら他の人もなってみたいで 自分で監視してdegradeしたらreplaceするようなの作らないとダメかな
Solarisだと自動でspare指定のデバイスと置き換えやってくれたけど、 そういえばFreeBSDだとどうなるか試してないな。
>>94 エンクロージャーがいっぱいある環境で間違えない保証ってある?
保証ときましたか
そこは保険をかけてですね
保証があるかないかと言われれば、無いですねえ
アクセスLEDが消灯してるからだいたい分かる。 ツールでステータスLEDを光らせることができるのもあるけど。 あと手でさわって振動してないやつな。
ejectコマンドでcdやdvdを取り出すみたいにHDDも取り出せるような仕組みがあればいいんだけどな。 データセンタとかでは既にそういうのありそうだけど。
>>110 物理的にHDDが飛び出すのか。
こえーよw
個体差で元気が良すぎるのとかアリそうで嫌だわ
飛び出すのは円盤だけだから心配しなくていい
UMD射出機能か
Win/osx/linux(それぞれ最新のもの)で共通して使うことのできる(読み書き操作できる)外付ハードディスクに適したファイルシステムにはどんなものがありますか?メディアファイル置場としての用途を考えています。 自分の知識ではFAT32くらいしか思いつかないのですが、パフォーマンス的にもディスクの効率的にも見劣りします。 他に選択肢ってありますか?
パフォーマンス以前に最大ファイルサイズが4GBなFAT32は問題外
2TのHDDをFAT32でデータディスクとして使ってるけど、書籍スキャンデータを保存してるだけなので問題はないが、 1ファイル辺りの上限よりもディスク全体の容量の上限の方が将来的には問題かな。 ジャーナリングが無い分ディスク容量を最大限使えるし、ディスク障害時サルベージツールも充実してる。 今新規にHDDをデータディスクとしてフォーマットするなら、ext3かなぁ・・・。 ext4でもいいんだけ、Ext2Fsdがext4の全部の機能には対応してないから。
以外にもUDF
FAT64
exFAT?
121 :
login:Penguin :2012/07/27(金) 18:40:24.18 ID:2cMct7x7
ちょいとageますよ
ntfsでいいだろ常考
まあwindows使う時点でNTFSしかないと思う
バターFSでフロッピーディスクをフォーマットしたいです
zfsでsamba鯖に最適化するチューニングって何がありますか zfsのパラメータ調整をググって見るとzfsにあまりメモリを持って行かれないように制限をかけるって言うのが多いんだけど ファイル鯖なら特に弄らなくてもいいんかな
ZFSにsambaか 何故FTPにしないんだろうか
>>126 windowsから扱いやすいからですかね
今時FTP鯖はLAN内ですら使わない。
ext4ってどう読むのですかね。英語圏の人とか。いくすとふぉー?
無駄な改行入れちゃったごめんテ
テヘぺろ
てへぺろの苛々感は異常w
てへぺろ
苛っw
135 :
login:Penguin :2012/07/30(月) 13:48:49.99 ID:wWO1cTqS
かわいいは正義
サムドライブ並とな
どうせテンプレ表現ならてへぺろこつん、まで行かないとイラっとする。
Windowsでも2003からシンボリックリンクできたんだけど、smbmountしたら読めなかった 微妙に使いずれー
sambaの follow symlinks = yes みたいなオプションはWindowsにはないの?
2003でsymlinkなんざ非公式だもの
やっぱり次世代型ファイルシステムには、 別ドライブに飛べるハードリンクが必須だとfindを回しながら思った
bindでいいじゃん というかlnとbindの使い分けが分からん
bind: root権限が必要。起動時にbind状態にしておくにはfstabに書く必要がある。 bindしておけばchrootの中から外にアクセスしたりも可能 ln: root権限必要ないしfstabに書かなくてもいいからほいほい作れる
FTPという懐かしい響きに耳を傾ける時がやってきたのだ
XFSへの信頼が私の希望を支えている。 私は信じようと思う。 自らの苦しみを救われたが故に、 同じ苦しみにある人々のために、 働くことを惜しまないXFSがたくさん見いだされるであろう事を。
次組むnasはいつ死んでもいいようにRAID5か6でLVM上にXFSにして 一定期間アクセスなけりゃ対象パーティションククリーニングするcron動かしておこう
で、中身はエロ動画。
149 :
ないだろうな :2012/08/06(月) 21:11:09.48 ID:o+HWIjCt
USBで繋ぐHDDアダプターで2TB対応していない奴で3TBを認識させる方法ってある? セクターサイズが4KBなら2TB上限ってことはありえないと思うんだけど。
無いと思います。 tp://sunnyone41.blogspot.jp/2012/02/usb-sata3tb-hdd-usb-sata3tb-hddlinux.html tp://www.century.co.jp/products/pc/hdd-kit/craisu2.html
151 :
なるほど :2012/08/06(月) 21:40:44.94 ID:o+HWIjCt
つまりGPTでフォーマットして対応したパーティションツールでも 古いUSB2.0の多くの変換チップは4kb物理セクターに対応していないって ことか? 物理セクターが4kbならセクター数の上限が2tbと計算されるわけないだからね。 これってUSB2.0の規格で2TBの制限をしている記述を見つけられなかった。 つまりUSB3.0対応の新しい変換チップならUSB1.1/USB2.0動作であっても 2TBより大きなGPTで繋げることはできるって話に思える。
読み書きはSCSI由来だもの Read(10)/Write(10)にしか対応してないブリッヂチップにRead(16)/Write(16)送ったってそれをATAコマンドに変換してくれるわけない 下二行はその通りだよ ホストチップやケーブルがそのうえでどんなコマンドが流れていようと知ったこっちゃない
>>150 >tp://sunnyone41.blogspot.jp/2012/02/usb-sata3tb-hdd-usb-sata3tb-hddlinux.html
わざわざ貼る価値のある記事に見えないんだが・・・
アフィ目当ての本人?
>>153 価値はともかく、そのブログにアフィは見あたらんのだが。
どこに広告があるのよ?
>>152 昔2048byte sectorのSCSIのドライブがあったがSCSIで4kに対応していないってこと?
松下製品
USB2.0のSCSIエミュレーションがSCSIの一部はサポートしていなかったってこと?
たしかAdapticのUSB経由のSCSIアダプターで2kセクターのドライブで読み書きは
問題なかったんだけどね。
というか現行のHDDは物理4KBセクタでも論理セクタは512Bの製品しかないからあんま関係無いような。
>>155 物理/論理セクタサイズなんてお前の問題に関係ねーよハゲ
物理セクターが1024バイト同時に論理(OSのIO)も1024バイトもあるぞ。 無知な奴はこの程度の知識もしらないようだけどな。国産機
無知だっていいだろ。 その辺をよろしくやってくれるのがLinuxなんだから
OSはセクターサイズとか余り関係ない、巨大なサイズでも対応している。 関係あるのは物理層で装置をアクセスするようなTOOLである フォーマットツールやらFDISKなどの装置に直節アクセスするツールの対応だけです。 BIOSも512バイト以下しか対応していないのがあるのでブートに使う場合は注意 となる。そういう問題じゃないとCD-ROMすら512Byte/Sectorじゃないのでアクセス 出来ないことになってしまうわけです。512byteというのは専用のその手の ツールを出さないから必要なのであって別に個々に対応すればいいだけのことです。
「TOOL」がイラっとくる
そんな神経質な奴がむかつく。
そんなお前がむかつく。
反応しちゃうお前らがむかつく
165 :
login:Penguin :2012/08/13(月) 10:50:55.36 ID:N/Dr2AUx
/をxfsからext4に変えたら快適になった xfsの時はアップデートとかでファイルアクセスが多くなると頻繁にプチフリーズしてたけど (dmesgでタイムアウトしたのかエラー吐いて死んでた) ext4はそんなことはなかったぜ
>>165 /以外はXFSのままなのか?
OSもハードも何もわからん kwsk
どうみても xfs が barrier=1 (これがデフォ) で ext4 が barrier=0 (これがデフォ) ですありがとうございました、 でしかない。 アップデート(アクセスだけでなく消去が多い)で遅くなるんだから。
168 :
login:Penguin :2012/08/13(月) 21:32:20.30 ID:N/Dr2AUx
>>166-167 xfsの/はnobarrier,logfs=8,relatimeでマウントしてた
ext4はdefault,relatime
どちらもubuntu12.04i386で32bit
/以外は/boot以外xfs
169 :
login:Penguin :2012/08/13(月) 21:34:49.64 ID:N/Dr2AUx
s/logfs/logbufs/g
2.6.30以降はrelatimeがdefaultになってるのでは?
ZFSにも自動修復あるんじゃなかったっけか。
マジレスすると赤ちゃんにも髪の毛は生えてるんじゃなかったっけ
いつのバージョンの話だよ。 髪の成長機能なんてとうの昔に削られとるわ。
リファクタリングと言え
発毛システム総合スレその15本目
髪×3ファイルシステム
すっかり忘れてましたが、ZFS-0.6.0-rc10 公開されてました。 このバージョンからDKMSに対応したみたいです。
181 :
180 :2012/08/29(水) 13:18:23.87 ID:UR6Q908w
spl-modules-dkmsとzfs-modules-dkmsをインストールしておくと カーネルアップに対応して、うまいこと動くみたい。(CentOS 6.3) zfs-modules-dkmsのインストールの時にspl-modules-dkmsの依存で 怒られるので仕方なく--nodepsオプションでエラーを回避する。
ppaから入れてるubuntuでは前から対応してた気が>dkms
183 :
180 :2012/08/30(木) 08:28:59.12 ID:k02CpNtw
>>182 こちらはソースからコンパイルしてrpmパッケージを作ってます。
VirtualBoxで開発環境と試験環境を作り、試験環境で問題が
ないなら、実環境にrpmインストールしてますが、今回の
dkmsはインストール時にエラーが大量に出たり、依存関係で
zfsのdkmsが入らないとか、危険な香りがするので、今回は
見送ることにしました。
>>183 結構不安定な感じですね。まぁrcだしそんなもんか。
ちなみにrc10だと# zfs rename -rができないというバグがあった。自動バックアップスクリプト書いてたら気付いたw
ubuntu用のdaily build(0.6.0.72)ではもう直ってるのでrc11では直ると思うけど。
186 :
login:Penguin :2012/09/08(土) 16:57:56.32 ID:FMGje22I
ZFSでいいじゃん
ZFSアクセラレータチップって出ないかな
zfsでいいよな
189 :
login:Penguin :2012/09/08(土) 20:44:42.62 ID:FMGje22I
ここに至ってext4推す人ってなんなの? ZFSを叩き潰したい人なのかな? それとも単純にアンチLinux派の人とか?
ここはLinux板だぞ
zfsって素晴らしすぎるんだけど メモリー食うしロースペに優しくない ext3、4が無難 余裕あったらLVMとか
raidzなんかはいいなと思うけど raidなしでzfsをあえてlinuxで使うほどでもない気がする
LVMは起動に時間がかかり過ぎる lvm.confのfilterでsdaしか指定していないはずなんだけど LVM領域の認識だけで1分以上かかる。 スナップショット機能のためだけにLVM使ってるけど正直辛かったので この前買ったマシンにはbtrfs入れてやった。
エンプラ用途以外でLVMなんかあほ過ぎる エンプラですら最近じゃ敬遠されてるけど
XFSなきUbuntuか、あるいはUbuntuなきXFSか そのいずれを持つべきかの決断を迫られたならば 私は一瞬のためらいもなく後者を選ぶであろう
ロースペに厳しいって、5年まえならまだしも、今やzfsを使いたくなるような HDDを使う機種で問題になるようなスペックってあまりない気がするけどなあ。
198 :
login:Penguin :2012/09/08(土) 23:45:58.62 ID:f3UqASFf
luksで暗号化した上にlvmしてその上にxfsでフォーマットしてるは
199 :
login:Penguin :2012/09/08(土) 23:49:41.60 ID:FMGje22I
ZFSの暗号化機能はよ
チラシの裏 btrfs や zfs の安定を待つのもめんどくさいんで、 ストレージは xfs、あとは全部 ext4 に一本化した。 次の Ubuntu LTS が出るころにでもまた fs 周りをチェックするとしよう。
tune2fsでmetadata checksum有効にした人いますか?
202 :
login:Penguin :2012/09/09(日) 23:37:33.51 ID:DKfUryqw
バターFSはドッグフードとして食ってるけど、食当たりになったらどうすればいいかな。
zfsってZettabyteFileSystemのくせに最大16ExaByteなんだな
>>203 fsの仕様と実装との差異かな。ext4も16GBの壁がkernel 3.2.0まであったわけだし。
小さ過ぎィ!
ZFSはプールの最大容量がZB級じゃなかったっけ? 16EBは1ファイルの最大サイズとかだったような。
FreeBSDだけどzfs rename -r hogeしたら止まってしまってOSリブートするしかなくなる -rいれなければ大丈夫なんだけど
ファイルシステムのまずさの原因は、ほとんどの場合ファイルシステムにあるのではなく自分の内部にあります。 まず自分の心を点検してみなさい
もっとファイル名長問題を盛り上げてもいい頃
本体8文字拡張子3文字あれば十分
じゃあMS-DOS 2.11で充分かw
さすがに拡張子3文字はきびしいです><
シェルスクリプトのTempファイルの拡張子、そこを狙って5文字当ててたわw
debとかrpmファイル余裕で8文字超えるじゃん パッケージ名とバージョンとアーテキチャと拡張子で
バージョンやアーテキチャをファイル名に折り込むってのも前時代的だよな
でも分かりやすくていいよな
WinFSです
ファイルシステムで管理するんじゃなくて、ファイルに付けないと流通させられないが?
>>216 ファイル名って言うのは人間の為につけてるんだよ
ファイル名長でReFSに置いてかれるな
223 :
login:Penguin :2012/09/16(日) 21:19:02.64 ID:d0iroRdT
>>221 rpmの場合ファイル名にアーテキチャ入ってないとエラーになっちゃう
あーてきちゃ
あーくてきくちゃ
>>223 リネームして短くしてもエラーにならんぞ?
ここの人たちは、拡張子は必要って思ってるんですか? 今だとウイルスの偽装やら、デメリットの方が大きいと思うんですが。
>>227 ファイルシステムと拡張子になんの関係が
拡張子ないとファイルの種類を区別できないでしょうが。
Linuxでウイルスの偽装とかなんのことやら
・拡張子表示しないファイルマネージャーがない ・「ウイルスの偽装やら」以外のデメリットが提示されていない
「(合法)子猫と子犬が仲良くじゃれあう動画.mp4 .sh」とかじゃねーか。
pythonスクリプトかcのソースかマジックナンバー見たら分かる訳じゃないしね。 vimやemacsで読み込んだ時のfiletype判定とか大変じゃね?
>>229 ファイルシステムはファイルの種類を区別はしないんだが。
ファイル名はただのバイト文字列を格納してるだけ。
拡張子うんぬんは上のレイヤの話。
ファイルシステムでファイルの種類を区別しちゃいけないってこともないけどな 拡張子は普通はシェルで取り扱う
237 :
login:Penguin :2012/09/20(木) 15:22:59.98 ID:r+uTrKuo
画像ファイルだって、他人に見せていいものと自分だけで楽しみたいものがあるだろ そういう区別をファイルシステムが覚えてくれれば、いろいろ便利だと思うんだけど
オールドスタイルなパーミッションではダメなのか?
フォルダ分けじゃ駄目な理由が特にないけどな。 一応現状でも拡張ファイル属性にいろいろ格納できるんだから やりたければアプリ側でそこにタグでも何でも格納すればいいんじゃないの?
>>233 (合法)子猫と子犬が仲良く... .sh
に省略されるだけで拡張子はわかるだろ。
何か問題が?
昔のWIndowsのファイルマネージャーだと空白が長すぎたり改行が含まれてたりすると 最後の.shが表示されなかったんだよ。
だから?
「(合法)子猫と子犬が仲良くじゃれあう動画.mp4 .exe」 ってファイルを動画だと思ってダブルクリックして ウィルス感染してた時代もあったってことだよ。
いや勿論Linuxだとファイルマネージャーなんか使ってる人少ないから
まずひっかからないだろうし
そもそもroot権限奪わないといけないから大変だろうけど
少くとも
>>227 の言ってたウィルス偽装ってそういうことだろ。
そもそもファイルシステムの話とは関係ないから俺は降りるかな。
245 :
login:Penguin :2012/09/20(木) 16:02:58.34 ID:IiBf+HaE
Linux板でWindowsの話をしている馬鹿が居る
>>234 > pythonスクリプトかcのソースかマジックナンバー見たら分かる訳じゃないしね。
いや、#! /usr/bin/pythonなら、/usr/bin/pythonで実行するから、
上で話題になっているような、想定してない処理プログラムを走らせる攻撃は受けない。
Linuxってある程度は拡張子なしで判別できるんだったらやばいじゃん Winなら拡張子命だから猫.mpeg.exeとかしなあかんけど Linuxとかなら 中身実行ファイルの猫.mpeg で自動的に実行ファイルと認識するから拡張子偽装する必要なくなる
ダウンロードしただけでは実行できないし、
更にその上最近はSELinuxでダウンロードしたファイルは特別視されてるし。
>>247 Linux使ったことあるの?
xフラグ(実行フラグ)が立ってない場合、インタプリタを指定しないとシェルスクリプトは実行されないよなぁ
250 :
227 :2012/09/20(木) 21:56:52.32 ID:1Iimwh+c
>>215 >>221 を受けて、拡張子は誰も触れないんで聞いてみたんですけど。
拡張子のメリットって何かなあと。
偽装にあまり突っ込まれると困ります。
拡張子だってファイル名の一部、ということを忘れてなければ
>>221 がそのまま答えだと思うが・・・
>>240 その考え方はマズイだろ。
ファイルの種類を目視確認するから偽装に騙されるんだよ。
ファイルの種類は取り扱うシェル(と同等のライブラリ)に判別させろよ。
一時期 Windows でセキュリティのために拡張子を表示しろといかいう馬鹿が沢山いたが、
エクスプローラの詳細表示でファイルの種類を表示する方が正解。
古臭い人間だが、日常的なファイル変換するのに make 使ってる コマンドのルールを記述するのに拡張子ないと困る テキストファイル(org)を PDF 化したり、数値データ(csv)として統計処理したり、ソース(c, cpp)からプログラム作ったり
だーかーらー拡張子の話はスレ違いだろうが。 他でやれ。
拡張子スレなんてあるの?
拡張子スレ自体は10個以上あるな。
拡張子はファイル名とは違う「ファイル種別」を示すものとして、 ファイルシステム側で特別扱いすべきものだろ。 現行のファイルシステムがデフォルトで対応できないなら、 少なくとも拡張子をファイル種別として記録できるように マウントオプションで選択できるようにすべき
わざわざ拡張子のために別領域用意して何か嬉しいことあんの?
拡張子なんぞ使わなくても拡張領域というものがあるんだからそっち使えや。
拡張子よりファイル名長問題の話題しようぜ
>>257 拡張子はどうでもよいが、ファイル名とは別にどのような種別のファイルか
記録する方法はあってもいい。
ネイティブなファイルシステムに、その方法がないのはUnixだけだけどな。
リソースフォークの復活か。でもあれも別にファイルシステムの機能じゃないな。
>>260 あんまり長いファイル名許すと、それに頼った運用する連中が出てきて
その被害に巻き込まれそうだから今のままでいい
>>261 fileコマンドで何が不満なんだ
VIVOより美味いのはVIVOだけだけどな
>>261 ext系に有る filetype って何のために存在するんだろうな
今は拡張子なんかより、大文字小文字を区別するかどうかって問題が大きくなってきているような。
大文字小文字区別するかどうかはOS側の問題で ファイルシステムは大抵区別するはずだけど。 そういやWindowsって今でもNTFSは大文字区別するけど WindowsのOSは大文字小文字区別しないって仕様なんだろうか。
OSかファイルシステムかってのはどういう区別なんだ? ファイラはOSって区分なんだろうか? Mac OS Xの場合、カーネルのファイルシステムドライバが、 HFS+ではcase-insensitiveで、UFSやNFSでは、case-sensitive。 ただしFinderが別途case-insensitiveにやってる。 だからCUIだとファイルシステムごとに違う。
OS=Opereting System ファイルシステム=File System
obcaseinsensitive
MAC のファイル名の濁点問題も健在だっけ
272 :
login:Penguin :2012/09/22(土) 00:11:48.04 ID:PpWMd5yJ
tp://key2.jp/~yskhashi/wordpress/?p=427 こんなの見つけちゃったけど、もう作っちゃったzfs poolは作り直すしかないの? はぁ...
273 :
login:Penguin :2012/09/22(土) 00:28:56.98 ID:xakY400e
ファイル名の文字数はwindows並になった? なってなかったら一年後また来る。
>>272 macからnfsで接続なんてことしてなけりゃ関係ないんじゃない。
275 :
180 :2012/09/22(土) 08:36:03.83 ID:9+pTNW3t
>>272 Netatalkをインストールすれば問題ない。
3.0から設定が簡単になったので、試してみれ。
>>263 人間のためのファイル名じゃんw
NTFSでファイル名を長く使えてどんな被害があるの?
>>276 ファイルサーバにバックアップしたい時にファイル名で引っかかる
ファイル名長いとtarに格納できないんだっけ
大文字小文字を同一視するファイルシステムって、ラテン文字やキリル文字やギリシア文字の大小も律儀に同一視してくれるの?
>>277 Linux側でどうにかファイル名ながくできないのか?
安易に変えるとLinux内でもバージョン間でファイルのポータビリティなくなるからな。
>>281 しょばい話だけどNTFSをLinuxのext3でsamba共有使用とした時に
sambaのファイル名長に引っかかったと思う
sambaで解決してもext3でも引っかかるんじゃないかな
とりあえずサーバ側のディスクをiscsiでwindowsから使ってる
>>280 詳しく見てないけどU+1E9Eには未対応だろうね
273です。 まだだったか。
>>272 その記事は半分嘘。normalizationで指定した正規化方法でファイルを記録してくれるわけじゃなくて、
単にFSにファイル名比較の要求がされたときに設定した正規化を行って比較するだけ。
要はformCと設定してNFDなドラえもんを書いてもNFDで記録されるが、NFCなドラえもんを書こうとしたときに同名ファイルが存在してると返してくれるって動作。
>>275 の言うとおりnetatalkに任せておけばそうそう問題は起きないと思う。
ZFS+netatalkで個人的に試した範囲だとcasesensitivity=mixedを忘れた時の方が痛かった気が。
リンクカウントって>2だから、1だと65000>を意味することにするんでしょ? struct statのst_nlinkが16bitの互換性とサブディレクトリを65000以上作れることを、 回収できなくなることのデメリットよりも重視するということ。
回収できなくなるってどういうこと?
サブディレクトリをunlinkしても親ディレクトリのst_nlinkは1(実質∞の意味)のまま。 ..の事知らないと何のことかわからないかも。
unlinkしても→rmdirしても # 別スレでUnix V7のこと話していたからw
「回収できなくなる」の意味がわからなかった 「回収できなくなる」とはどういうこと?
ファイルシステムは、リファレンスカウントのガベージコレクションやってる。
もちろん nlink の話題で、デメリットとしての「回収できなくなる」を読めば、恐らくどこからも参照されないディレクトリが残ってしまい消すことができないと言っているんだと予想できる しかし、コードを読んでも ext4 の rmdir は消したいディレクトリが空なら直接 nlink をゼロにするからnlinkの管理が適当でも正しく動作するし(1)、 実際に65000を越えるサブディレクトリを作ってみてnlinkが1になることを確認してから消しても、容量は元に戻り正しく消せたようだ(2) そうなると「回収できなくなる」には、僕の理解とは別の意味があるんじゃないかと色々考えて、結果「どういうこと?」と聞くわけだ にもかかわらず、質問に答えずに .. がどうとか、リファレンスカウントがどうとか別のことを言うのは、よくない 質問には正確に答えるべきだ もちろん、僕の能力が低いせいで(1)の理解が間違いだったり、(2)が正しい実験ではなかったかもしれない また、別のバージョンでは挙動が違う可能性は残っている そもそも、「回収できなくなる」には別の意味があったのかもしれない そういう色々な可能性が考えられるから、「回収できなくなる」とは何を意図しているのか、正確に知りたかった
これは質問が悪いだろ。
質問の仕方は悪いが抽象的なことして言ってない回答者も馬鹿
んじゃ答えてあげてよ。
ディレクトリがハードリンクできる世界からタイムスリップしてきたとか。
ちがうだろ、パルスのファルシのルシがパージでコクーンだろ
窓から放り投げろ
いやそもそも nlink ってのが何なのか……
jfs使いとしては喜ぶべきことだな。 reiser4が新しいカーネルにマージされるらしいね、こっそり開発続いてたのね。
草葉の陰でHansも喜ぶだろうな。
死 ん で ま せ ん
スレ
どうしてUbuntuは衰退したのか?
http://engawa.2ch.net/test/read.cgi/linux/1338094841/207- でやりとりしていて疑問に思ったので教えていただけませんか。
GParted(Ubuntu12.04LTS 日本語Remix LiveCD)なんですが、
200GBのNTFSパーティションを右に100MB移動させるとき、
200GB全てを右に移動させているんじゃないかと思われるほど時間がかかりました。
パーティション先頭100MBにあったファイルを、新しく拡張される後端側の
空き領域に移動させて、それに合わせファイル管理情報を更新するだけで
良いと思うのですが、ダメなのでしょうか?
ダメでしょう
313 :
311 :2012/10/09(火) 01:53:46.10 ID:xUr78a+v
>>312 そうですか。
例えば300GBのパーティションを200GBに縮小するとき、後端100GBの場所にあった
ファイルは縮小される200GBの範囲内に移動されますよね。
それと同じように、パーティション変更後アクセスできなくなる場所にあるファイルは
変更後でもアクセスできる場所に自由に移動させることができるものだと思っていました。
その方法は新しい方の空き領域が足りなかったら破綻しますがな まるっと移動するほうが確実
>>311 NTFSの実装は知らないけれど、
もしも、パーティション先頭からのオフセットで管理している要素があったら・・・
普通は相対だろ何言ってんだ
そもそも、パーティションの先頭にあるのは管理領域だが。
MFTがパーティションの真ん中ぐらいに取られてて60%以上縮小できなかったのはいい思い出
MFTを拡大するときにMFTのフラグメンテーションが起きて、 それがパーティションの真ん中に来ることもあるね。
MFTは意図的に真ん中にくるようになってるでそ。 デフラグすると意味なくなるけど。 てかNTFSはスレ違いだろ。
その理屈だとext234,btrfs以外は板違い…
Reiser4「!?」 XFS「!?」 JFS「!?」 XFS「??」
ZFSって書くつもりが間違えたし
実際には期待通り100Mとちょっと動かしてただけでしたとかないですか 調べる気はないが
NTFSはLinuxのデフォルトサポートFSだろ
えっ
Android関係の話で、最近はUSBメモリをNTFSで使うのがデフォらしいと聞いたときはびっくりした。
FAT32じゃないんだ。
exFATとか言うの無かったっけ?
あったよ。
ntfsでも大抵の環境は大丈夫なんだろうけど 俺は未だにfat32にしてるな。 ntfsはMacOSやLinuxだといちいちntfs-3gでマウント仕直さないといけないし
>>331 俺も、USBメモリとかSD(HC)カードとかだと基本的にFAT32だな。
外付けHDDだとext3/4やNTFSにしたりしてることもあるけど。
PC以外のデバイスで読む可能性が大きい場合はFAT32が鉄板かな、と。
>>330 exFATがUSBメモリ用途のFAT32の後継になるもんだとばかり思ってた
MSはそのつもりで作ったんでしょ?
>>331-332 最新情報を把握してないんだけど・・・・
ntfs-3gって今は十分な信頼性あるのかな?
LinuxとWindowsで読めて1ファイル4GB以上OKなファイルシステムでずっと悩んでる
Ext2FsdのExt4サポートって、実用上問題ないレベルに達したのだろうか・・・
もう1年以上アップデートしてないみたいだし・・・
とりあえず今はext3を共用用途で使ってるんだけど、できればNTFSかext4に移行したい
UDFの出番
>>333 十分な信頼性があるかっていうと、ちょっと分からないけど。
個人的には、内蔵HDDのWindowsとの共用領域はNTFSにしちゃってるな。
マウントしている時にカーネルが刺さったりすると、再起動してもntfs-3gがエラーを吐いてマウントできないことがある。
そうなるとlinux側だけでどうにもならなくなって、Windows側でchkdskが必要になることがある。
本当に稀だけど。
336 :
311 :2012/10/10(水) 17:29:04.85 ID:yPSAXVKc
>>311 です。
皆さんレスありがとうございます。
>>324 8.0GBのNTFSパーティションで試したのですが、
・縮める時は、その分だけのファイルを移動させているようですぐに終わりました
・右、左に移動させるときは、全てのファイル(セクタ(?))が移動されるようです
色々調べたり皆さんの書き込みから、
NTFSの仕様が完全に公開されていなくて、GPartedはMFTのパーティション内オフセット位置を
変更(MFTを移動)する操作が出来ない。だから、確実な「全体移動」をする。
と考えています。
遅ればせながらZFS Linux Native RC11が出てましたね。 特に問題なく使えています。 いつになったらRCが取れるんだろ。
338 :
login:Penguin :2012/10/10(水) 23:27:04.84 ID:+ZrJmI38
win共用のusbメモリとか随分前からntfs一択だな
でも、USBメモリとかは、暗号化がついたFSじゃないと使えなくない?
大切なデータはもちろん暗号化したFS領域にいれてるよ。 全部暗号化しちゃうとデータの受け渡しにすら使えないし。
341 :
login:Penguin :2012/10/11(木) 09:33:33.91 ID:V5vBYLQ+
暗号化すると漢字やカタカナのフォルダ名は文字化け起こしてしまうけどな。
どこの糞ソフトだよ
>>336 NTFSの先頭はMFTって決まってるんだって。
何がどこにあるかは全部MFTに入ってるのに、
MFTの場所が決まってなかったらファイルシステム読めないべさ。
単純な全体移動だけじゃなくてBPBの書き換えもやってるという理解だったが最近のは違うの?この手のツール。
あとこの手の全体移動するツールって移動中に電源落ちても続きから再開できるような対策とか打ってるもんなん?
続きはCMの後
>>345 中断しても整合性をキープするのが理想だと思う。
転送前後が重なってるなら、一時的に双方を含むパーティションに拡大して、
デフラグ類似の処理をしながら転送前だけの範囲から追い出して、
その後に転送後の範囲に縮小。
てな面倒な処理をしてくれるといいんだけれど。
理想語ってる暇あったら自分で実装すべし
349 :
login:Penguin :2012/10/17(水) 14:17:43.56 ID:vrMwbUL5
他スレでこんなこと言ってる人がいたが、どうよ?? ------------------------------------------------------------------------ NTFSのセキュリティ設定はデフォルトの状態でよくできている ※デフォルトのUNIXのファイルパーミッションは最低といってもいい というかそもそも共有という認識がない それでも問題点にならないには非常に小規模の共有にしか使わないから UNIXでも同等のことができるという意見もあるが「実運用したことのない奴の戯言」である NTFSのエラー訂正機能はext3より若干上(ext2よりは良くなった) (割と馬鹿にされるがCHKDSKは神ツールである)
>>349 どうよって言われてもな・・・
Windowsユーザーから見れば、まぁそういう言われ方するよねぇ。
ぐらいかと。
Windowsメインの共有なら明らかにLinux+sambaのが分が悪い(当然だけど)
acl周りもしかり。
サーバーとしてWindows用意出来るなら、わざわざLinux+samba使う必要無いしな。
色々反論したいところも有るだろうが、
この書き方してる奴に反論したところで、
徒労に終わるだけじゃね。
ってのが、感想。
まぁ、適材適所。
>>350 思考が狭すぎ世間をしらなすぎ、お前の言うそれはインストールされた
台数でいえば極狭い世界の知識だ。
やめろや。比較は荒れるだけ。 いちいち釣りに付き合うな。
デフォルトがどうとかファイルシステムの仕事とは違くね
>>352 そうカッカするなよ。
Linuxとか分からないWinユーザーなんてそんなもんだって。
言いたい事は分かるが、最後にちゃんと感想書いただろ?
関わるだけ無駄だと。
だから落ち着けって。
そういう話ならスレ違いでござるな
NTFSは不良クラスタが発生すると自壊して被害が拡大するから嫌い FATの頃は不良クラスタ発生箇所のファイルの問題だけに極限してたのになぁ
bad block handlingの無いXFSにも同じこと言えんの
>>359 まだWindows2000が現役だった頃その罠にハマったわw
結局その時の常用はFATにした。
いよいよWinFSの時代か!
Wii のバーチャルコンソールとかのゲーム機エミュレータで遊ぶと、 どこでもセーブがありがたいけれど、 不揮発メモリもそんな感じかな?
365 :
login:Penguin :2012/10/18(木) 23:04:38.08 ID:CZbR+4vN
なんとなくサイバーパンクっぽいけどオブジェクトのリンクをたどるのもi-nodeのリンクをたどるのもあんま変わらん気もする
366 :
login:Penguin :2012/10/18(木) 23:27:58.96 ID:Svf3uX/8
HDDがPCからなくなる事はあってもファイルシステムは残る、 ファイルをメモリに再展開しないで直接参照するようになる、 それは現状でも可能。 PRAMが一番単純だ寿命はMRAM、RAMはMRAMになりFLASHはPRAMになる、 速度が稼げればMMは1GBで十分、MMとPRAM間の転送を100GB/sに高める。 スパコンやクラウドは既にメモリ+演算機構の分散システムになっていて、 大規模な処理ではICーNWの速度がその性能を規定している。
>>349 Windowsのファイル共有がクライアントも含めてセキュアになったのなんてここ10年の話じゃないか。
10年前はサーバですら追加パッケージ入れないとITSECの規準も満たさなかったし。
今もProfessionalじゃないと話にならないだろ?
XFSとFTPに出会えた事を誇りに思う こんな事が言える男が世界にどれだけいるだろう 心から感謝している
>>366 その手の話は楽しそうだけど、スレ違いだから遠慮しておく
遠慮せず、スレ移動して続けたら?
gnomeのごみ箱がntfsに対応していない
パーティションに書き込み権限が無いだけ
AppleのFusion Drive SSDとHDDのいいとこ取りのディスクシステム。 Linuxのファイルシステムでまねっこするには、 FlashCacheが一番近いかな。
Appleの売り文句を真に受けるとバカを見る
Hot Dataという仕組をVFS上に考案されていてまずbtrfsへの実装が進められている。
>>375 > Hot Dataという仕組をVFS上に考案されていてまずbtrfsへの実装が進められている。
Hot Data Tracking
3.6.2で入ってその後3.4にもバックポートで混入
バグの発動条件は短い期間にmount/unmountを繰り返すことみたいだから、 当たることもそうはなさそう。 2.6系だとむしろext4のコードが古すぎて微妙とかないのな。
それってautofsとか使ってるとアタる可能性があるってこと?
>>376 なるほど、btrfsの今後の実装を刮目して待て!!
という話ですね。
抜く前にsyncsyncsyncすれば回避できるかな?
アンマウント完了前に電源が切られることがある…のか。 そういえば以前から気になっていたけど、Linux終了するとき 外付けのUSB-HDDが「カキューン」とか鳴って いきなり電源切断されたようになる。 (サスペンド中もUSB-HDDのモーターが回っている) Windowsなら、HDDのモーターが止まってから静かに電源断されるのだけど。。 (サスペンド中はUSB-HDDのモーターが止まっている) 今回の修正でついでにそこまでやってくれないかな…。
>>383 バグかぉ!?
Xが固まって強制リセット後破損
nobarrierつけてるから破損したんだな仕方ない自業自得か
と思って納得してたんだが…?なんか間違ってる?
今時のファイルシステムは、不意のシャットダウンでも、破損するんじゃなくて、 新しい書き込みが捨てられるだけであることが期待されてる。
それをファイル破損と言うんじゃなくって?
元記事の英文が読めないんだねえ。
書き込みされないのに破損するわけない
アプリが書き込んだと思ってるのに、書かれていなかったらファイル破損なんでは?
どういうバグなのか理解してから書き込めよ。 「ファイル破損」とかアホかと。
データの損失だな。 フラッシュされてないんだからしょうがない。
394 :
login:Penguin :2012/10/28(日) 03:18:53.76 ID:4iK8nRu6
面倒だからいつも電源ボタン長押しでぶち切ってたから心配だお まあ破損して困るようなデータじゃないからどうでもいいけど
ハードディスクの損傷の修復機能はあるだろ?
ハンスごめん EXT4に浮気した俺が間違ってたよ
398 :
login:Penguin :2012/10/29(月) 19:41:09.31 ID:eLEF2BXb
よし、仕事終わったしバックアップ取っておくか $sudo zfs snspshot rpool/export/home@today 楽チン~
LinuxのくせにZFSとかずるい
思うにXFSとは、もともとあるものとも言えぬし、ないものとも言えない。 それは地上の道のようなものである。 もともと地上には道はない。 歩く人が多くなれば、それが道になるのだ
スナップショットはバックアップじゃねぇしw
バックアップの意味を広く捉えるか狭く捉えるか オペチョンで消したファイルを復活できるのだって広い意味ではバックアップに違いない 物理障害に耐えられないだけで
いやいや、そこは区別しようよ。 バックアップ、スナップショットで意味は明確なんだから。
backup の意味は予備とか代役とか非常用とか
ファイルシステム的には $ cp hoge.txt hoge.backup とほぼ同等のことをCOWでやってる訳だしバックアップって言ってもいいんじゃないの バックアップが同じHDDあっちゃいけない決まりがある訳じゃないし
複製しないし
簡単なんだから使い分けましょう。 ベル研のWORMみたいに、光学ディスクにバックアップしながら、 いつでもアクセス可能なスナップショットを作成するのなら、 区別しがたいわけだけど。
呼び方は置いとくとしても、 スナップショットじゃハードウェア障害に無力だよね。
オリジナルが必須な時点でバックアップじゃ無いじゃん
別ディスクへのバックアップだって遠隔地に取ってなけりゃ災害には耐えられない 何に耐えられるかを以ってバックアップかどうかを定めるのはあまり意味が内と思う コピーやスナップショットやリモートミラーは実現するための技法に過ぎなくて、 非常時に代替として使えるものは何だって広義のバックアップだろうよ
pgr
>>410 極端な例を挙げても、バカがいっそう引き立つだけだぞ。
遠隔地でなきゃバックアップも死ぬよっていうのは別次元の話だな バックアップの本質的な意義は、明らかに一部または全部が欠損したオリジナルの復元だから スナップショットも条件限定でのバックアップと言えなくもない ただ、システムの運用管理を行う上で「バックアップとスナップショットは区別されるべき」っていう話だと思うぞ
専門バカ的に、バックアップって言葉の意味を限定しすぎてるだけ その世界では(狭義には)オリジナルと別の実体を要求されることくらいはわかってる バックアップという目的に対して適切な手段が場合によってスナップショットだったりディスク内コピーだったりディスク外コピーだったりリモートコピーだったりするだけ
名称や定義は重要だぞ まあお前さんは今まで痛い目を見たことがないラッキーガイなんだろうよ
名称や定義に無頓着なのはそっち
的外れな『極論』を持ち出した時点でID:uIcmYoX5の負け
ゆワイターはあっち
同じディスク内のコピーはバックアップではない その認識が浸透していたならファーストサーバの事件は防げたかもしれない
>>420 認識が足りないのはお前だろ…
ファーストサーバでは別ディスクにまるごとコピー(二重化)も取ってあったんだよ。
ところが馬鹿な社員がそっちにもバグ入りOSアップデートしたせいで
コピー側も見事にぶっ壊した。
ホット側とコールド側双方一緒に環境更新とか無能としか言いようが無い。
>>421 認識が足りないのはお前だろ…
ファーストサーバは待機系をバックアップと称していたけど、
待機系はあくまで本番系に対する(機能としての)バックアップであって、
データとしての『バックアップ』ではない。
そこがごっちゃになってるから話がおかしくなるんだよ。
データとしてのバックアップじゃないんだから、本番系・待機系ともにパッチ当てるのは当たり前。
じゃなきゃいざって時に待機系が使いものにならず、待機系の意味がない。
バカな運用者というのはbyzantine failuresの典型例ですね。
この流れ、同じようにバックアップやRAIDについて得意げに解説してくれていたシステム構築発注先のSEが 数日後ノートPCが壊れたとかで、 これまでのメールや資料を再送してくれと泣き疲れた思い出が呼び覚まされた。
>>410 ポケコンに打ち込んだベーシックのプログラムを、
紙に写経してバックアップしたのを思い出すわw
紙にメモするのも立派なバックアップの手段
紙にバックアップは最終手段だね。 少なくともPCで取り扱うよりも並べ替えも移動も検索も難しくなるし、 機密情報だったら暗号化もできない。
しかもだいたい書き間違うしなw まあそこは、復元するとき柔軟に読み込むから相殺されるけど。
ふっかつのじゅもんか
最近物忘れが多いからメモするようにしたんだが 自分でも読めないくらい字が下手で困る
暗号化とエラー訂正コードを付けてからメモすれば
>>431 ext4がまだ枯れていないという事だろう
安定するためにはもっと人柱が必要なんだ
カーネルが ・Ubuntu 12.04 〜 ver 3.2 ・Ubuntu 12.10 〜 ver 3.5 なので、似たような状況でも問題が発生するかも知れませんね。
まあでも新しいファイルシステムなんてそんなもんだよな。 ZFSも結構問題起きるみたいだし。
ext4が枯れていないのにext4でfixされたバグがext3にバックポートされていないものがあるという
DebianがExt4を採用しているから大丈夫だと思ったんですが。。 でも今回のはカーネル3.5、先日のは3.4〜3.6。 Debian(wheezy)は3.2だから大丈夫かな。
XFSはいいものだよ 多分最高のものだ いいものは決して滅びない
btrfsに駆逐されろ
>>438 いいものではなく、商業的に成功したものだけが生き残る
Suse Enterprise Server Lnux 11を使ったサーバ構築の案件があって、 試しに仮想PCにインストールしてるんだが、ファイルシステムの 選択にbtrfsが出て来てビックリした。 選ぶと、/パーティションには 使えないらしくインストーラで先に進めないが、データ パーティションには使えるみたい。
442 :
login:Penguin :2012/11/07(水) 16:34:18.60 ID:WkY+xawT
grub2ではgrub.cfgでinsmod nilfs2を指定できるようになったので、 nilfs2を普通にrootで使えるようになった。 それにしてもnilfs2のファイル削除の遅さは気になるな。
全く関係無いんだけど誰も話す相手がいないから書かせてくれ 随分前から海面上昇が問題になってるけどさ あれって世界中が貿易が盛んになって でっかいコンテナ船やらタンカーをたくさん浮かべたからだと思う 北極の氷が溶けたのが原因って言われてるけど 氷って元々ほとんど水の中だし溶けたら逆に体積減るからあんま関係ないと思うんだよね どうだろ? ちなみに俺はXFSが好き
長いファイル名サポートはよお願い
海面上昇とXFSに何の関係が?
447 :
login:Penguin :2012/11/07(水) 22:24:16.18 ID:mdV+jyok
データセンターは山の上に作れってことさ
データセンター立てるなら滋賀がいいですよ〜 環境いいし交通の便いいし海抜80m以上あるから海面上昇とは無縁だし
寒くないと空冷できないべ 雪でも降れば貯めておいて使えるが
滋賀は結構雪降るよ
滋賀って例の大津市ある所じゃないか……。
何のスレだよ。
データをイジメ殺すからやめてください!
いじめの名所滋賀県
雲散霧消に定評のあるファーストサーバー。 多くのデータが消えていった。
常時snapshotのNILFSなら無事だったのにね
32bitカーネルと64bitカーネルでファイルシステムの違いが生じるってこと ありますか?
開発者も64ビットと32ビットの両方の環境で動作するのが面倒らしく、 64ビットなら動くけど、32ビットでは動かなかったという事例は ありそう。ファイルシステムでは無いが、別のシステムで経験があるよ。 開発者にメールしたら「え、32ビットまだ使ってるの?」って。 真面目なヤツで、次の日には改修済みの32ビット版のオプジェクトを 作ってくれたっけ。
ま、Linuxであえて32bit使っているのはUbuntuの馬鹿どもぐらい、 というイメージだな。
Droid君がアップを始めたようだ
>>459 お前も馬鹿だろ。
まだまだ非64bit環境でLinux使ってるの多いんだよ。
>>459 おまえのイメージはPCの話だろ
linuxは組み込み用との方が圧倒的に多いだろ
>>462 でも組込みも64bit化してかないとヤバイ
2038年問題がヤバイ
アホかと。 カーネルの64bit化と2038年問題は関係ない。 time_tはカーネルの64bit化とは関係なく、既に64bit化されてる。 古いファイルシステムの内部データに32bit time_tが残っているのは大問題だが、 カーネルを64bit化すれば直るわけではない。
もったいないのが 64bit対応CPUで32bit使うこと Ubuntuは未だに32bitがrecommendedだし あと広く普及しているcore2duoは64bit対応だけど32bit全盛期に発売されたから未だ多く32bitCPUとして使われている 64bitにしたら有効メモリーはもちろん処理が速くなる メモリー4GBも使わないからいいやとかPAEでいいやとか思わずCPUが対応してるならどんどん64bitにすべき
適材適所がわからないバカはどうしようもないな
拙者32bitのUbuntuを使っている馬鹿でござる
左様でございますか
ユーザーランド64ビットでもまあ構わないんだけどポインタは4バイトでじゅうぶん。どうコンパイルしたらいい?
自分でコンパイルしたコンパイラとライブラリを使ってください。 システムコールはポインタ渡しの部分が32bit版と64bit版と二種類用意されているので、 適切な方を呼び出すようにしてください。 後はELやld.soF内に閉じた話なので好きにやってください。
使用目的に合わせて機器・使い方を選ぶのが適材適所であって 64bit対応ハードウェアなら何が何でも64bitで使うべきとほざくのがバカ
>>471 だってせっかくのCPUの性能をフルに発揮したいじゃん
「処理速度が向上する」を不必要と思う人はいないじゃん
リスト構造をダンプして上位4バイトほとんど同じのみたらメモリーもったいないんだの。 IL64もしくはL64モデルでいい。
>>472 キャッシュにおさらまらなくなると遅くなるよ。
64bitにしたって、普通の用途では速度向上はほぼ実感できないだろ。 むしろメモリフットプリントが単純に増えるから、メモリが4GB以下なら64bitにするメリットがほとんどない。
x32ABIでいいじゃん つか、FS関係無いだろ
x86にたいするx64なら64bitという点ではなくISAの拡張による利点がある 汎用レジスタが増えたり命令相対アドレッシングが可能になったり
AMD64はレジスタ周りの設計改善で、64bitで使った方が速いらしい。
精度がfloatでじゅうぶんならdoubleより速いのにdoubleの固定観念を捨てられないおじさんみたい。
480 :
login:Penguin :2012/11/09(金) 22:00:33.07 ID:VDgsiS8o
ubuntu64bitだとfluxbox環境でmltermのアイコンがなぜか化けまくる
/usr/share/pixmaps/mlterm*を全部表示してみてください。 というかスレ違い。
>>479 x86のFPUは倍精度で動いとるからdoubleの方が余計な変換処理入らない分速い
てファイルシステムとどう関係あるんだ?
>>482 別にかわらんのじゃないのか。
変換処理なら内部80bitだからdoubleでも入るぞ。
SSE
>>464 sys_timeシステムコールを見るとtime_t返してるし、libcと同じくカーネル内でもlongで定義されてませんか?
>>481 32bitと64bitで差がなかったyo
80bitって今日日x87コードなんか誰も書かないと思うけど 現状x87はコードは推奨されてないしコンパイラーもんなコード吐かない
>>482 コントロールレジスタを_FPU_DOUBLEに設定していようが変換入るんだがね
ext4 の defrag まだかな。
e4defragとかfake_defragとか?
linuxのデフラグはコピーして戻すのが王道だろw
昔「デフラグする奴は貧乏人」ってスレがあったな
デフラグする奴はアホ 初期化する奴のほうが情強
本当の情強はLinuxなど使わない
freeBSDでZFSを使う
SolarisやHaikuもいいな
498 :
login:Penguin :2012/11/11(日) 16:23:07.56 ID:0JBWKQCc
そもそもLinuxが沢山のファイルシステムをサポートしてるのはなぜ? 初期にメインファイルシステムをどれにするかで、迷走したとか?
>>498 最初はExt系だけで、Linux気質の「来る者拒まず、去る者追わず」でどんどん増えた様な。。。
ext2の実装がひどかったのも、いろいろ作りたい人が出てきた理由だと思う。 ただ最近はきっちりと役割分担が出来ているので、もっとあっても問題ない。
煽り要素ゼロで言うんだが、「ext2の実装がひどかった」てすごいな…。 ファイルシステムの実装について評価できるやつがこのスレにはいるのか。
502 :
login:Penguin :2012/11/11(日) 17:57:57.77 ID:mNzMe6Pv
十人いれば十人十色の需要があり、それに応えた/自分で開発した ってだけでしょ。仕様公開してないNTFSのサポートだけが不完全ってだけで。
>>501 ジャーナルが無かったので、システムがフリーズしたり、
停電の後、再起動が出来るか不安なファイルシステムだったよ。
不安定さはそうだろうけど、 ジャーナリングの有無なんてもんは単に仕様の話じゃね?
そのジャーナルのお陰でext3は遅いけどな
それはext2の実装じゃなくて設計の話じゃないのか
minixのfsがウンコだったから作ったんじゃなかったっけ?
フリーズしたらマジックキー 停電はUPS使うだろ普通
>>508 マジックキーって効かないこともあるんですけど
UPSなんて一般家庭にないんですけど
一般家庭で使う事が限定の話だったの?
一般家庭でなくなったら困るデータとかないし
だってLinuxはデータセンター専用OSじゃないもん データセンターやUPSがある自宅鯖宅でも使われるけど 組み込みやUPSなし自宅サーバー そして大きいのはデスクトップPC としても使われる 一般家庭や企業のデスクトップPCにUPSなんてつけませんよ
>>511 あるし
家族の写真とか
仕事の書類とか
コードとか
ムフフ動画とか
etc
UPSのバッテリが切れて、UPS機能失って単に電源タップとして使って早数年。 劣化したバッテリが溶け出してないか確認するのが怖い。
家は貧弱だったのでリホームするまでUPS必須でした。 エアコンのサーモスタットがONするとPCがリブートするんだよなあ...
UPSも冗長化しよう
電力自由化がほんとに実現しちゃったら家庭でもUPSあった方が良くなるかもね
>>500 初代extがクソだったのでext2で再実装されたという話と混ざってないか?
多様性だろ〜
ext2の時代は対抗馬のfatが恐ろしくクソだったけど ntfs知ってしまうとアレだよな。ext4もbtrfsも中途半端って幹事
ntfsで動いているPCの電源コードを抜くのとext4で動いているPCの電源を 抜きそのまま再度何もせずに立ち上げたときどっちが何もしなくていいかで 評価するべきだよ。 ジャーナルファイルシステムとか言う以前にOSを含めた結果という事実が 重要になる。何もしなくて良いというなら1万回やって1万回同じ結果が でるかを確認しろ! #UPSとかsyncしないやつ&処理手順の言い訳。
リブート時はsyncを3回ですね判ります
昔々、シングルユーザモードでSyncコマンドを実行すると、管理ブロックが 吹き飛んでしまうSUNのSoftware RAIDがあってね。(遠い目) 復旧は出来たけど、徹夜したっけな。
人生からXFSを除かば、世界から太陽を除くにひとし。
525 :
login:Penguin :2012/11/12(月) 23:26:50.03 ID:xQbnJAl3
ext3,4の利点は再起動時のfsckが速いだけ。それ以外は全てにおいてext2の方が速い。
>>525 ジャーナル切ったベンチマークでext2よりext3が速くなかったっけ
そういえばXFSもLinux由来では無いんだよな SGI IRIXのをパクってきたんだっけか
>>527 SGIが移植したんだからパクりとは違う。
reiserfsとか
>>527 JFSもIBMがAIXのために開発したのがベースだよな。
>>526 ext3にはジャーナル切れるモード無いだろ
JFSとかXFSとかZFSとか、名前の付け方に芸が無さ過ぎ。 やっぱりvfatがクールだね
日本初のファイルシステムがもしできたら YAKITORI とか FUJISAN とかそういう命名しちゃうんだろうな。
NILFSのこと忘れてたorz
>>533 KOMADORIとかDOZEUとかの方がいいよね
aufsも日本人作だけど、普通のファイルシステムとは趣きが違うかな。
aufsは早くカーネルとマージして欲しい。
538 :
login:Penguin :2012/11/15(木) 05:19:36.12 ID:Mm3MRx8E
社名とか製品名に人名が使われてるとこういうときに怖いよなあ
だから空母みたく全部エンタープライズみたいににしときゃよかったのに
そうなるとLinuxはこのままの名前だと大きなリスクを抱え込んでることになるのか。
Debianは黒歴史
Tomoyo Linuxとかな
人殺しのRiserは普通に使われてんの?
普通に xfs も reiserfs も使ってるよ。 あと xfs 誉め殺ししてるヤツがキモい。 以前執拗に叩いてたのと同一人物だろ。
>>545 みんなわかってるよ。
だから無視している。
547 :
login:Penguin :2012/11/16(金) 23:08:00.73 ID:8YtSUCDX
最も軽くて速いのはreiserfs
うちのサーバでいちばん使ってるfsはcgroupだわ # mount | awk '{print $5}' | sort | uniq -c 1 autofs 5 btrfs 9 cgroup 1 cifs 1 configfs 1 debugfs 1 devpts 1 devtmpfs 1 ext4 1 hugetlbfs 1 mqueue 1 nfsd 1 proc 1 rpc_pipefs 1 securityfs 1 sysfs 4 tmpfs
ext4でなくbtrfs 使うメリットって何? やっぱスナップショット?
ramfs最強
>>549 subvolumeが作れるとかsoftware RAIDがあるとか
>>549 ラリー・エリソンにケツの穴までどころか身も心捧げられる
ZFSっていつ主流になんお
>>548 何で29もマウントされてるの?
普通10もないでしょ
>>552 メインの開発者がもう逃亡してるから滑ってるよ
>>555 俺は26個だった
最近はcgroup関係とかusbfsとかそういうファイルシシステムじゃない
カーネルモジュールによってmountされてるものが多いな
>>557 フォーマット(区画がない)しないのにmountされることはないだろ。
カーネルに実装されていればmountされているというなら誰でもmountされて
いるというべき。
犬がマウントしてる
mountされている一覧にでてこないものをmountというのって頭変じゃね? 最低でもマウントポイントのディレクトリ作ってから家よ。
>>530 しかしLinuxのJFSはOS/2実装がベースなのだった。
最初のうちは「大文字小文字の区別ができない」とかそんな制限があったような。
>>562 mount(2)システムコールを呼ぶ際に/etc/mtabに書き込むかどうかは
アプリに依るんだしそれは言い過ぎじゃね?
ここはmountについて語るスレではなくファイルシステムについて語るスレだ。 local,network,pseudoとくに限定してなさそう
>>530 >>563 いやもともとOS/2でdevelopされて、その後LinuxとAIX。
OS/2以外ではcase insensitiveはoption。
JFSならAIXがオリジナルだろう HPFSならOS/2だが
JFS1がAIX上。1990 大幅に改定されたのがOS/2上。これがLinuxとAIXに移植。1999 移植と並行してAIXが主開発場になって、1997 JFS2へ。2001
ZFSで冗長性なしでストレージプールを作成した場合 HDDが一台でも物理故障したらプール全体が死ぬという理解であってますか?
>>570 合ってます。
一ファイルが複数台に分割されて書き込まれるので…
2040年問題 - HFSのタイムスタンプは2040年2月6日までしか取り扱えない。 2048年問題 - 2038年問題の1980年起点版。FATファイルシステムのタイムスタンプなどが1980年起点である。 2079年問題 - FATファイルシステムのタイムスタンプの起点の1980年1月1日を基点として、年数を下2桁だけで処理するソフトウェアなどは、その起点の99年後(2079年12月31日)までしか正常動作しない。 2108年問題 - FATファイルシステムのタイムスタンプは2107年12月31日までしか取り扱えない。 ----------------------------------------------------------------------- 60056年問題 - NTFSのタイムスタンプは60056年5月28日までしか取り扱えない。 NTFSはいいとしてFATとかどうすんお
FATの2048年とか2079年問題はファイルシステムの問題じゃないよね。 2108年問題はファイルシステムの問題かもしれないけど、あと90年もFATが現役かなあ? 2040年のHFSの問題はファイルシステムの問題かもしれんけど、古いMacなんか趣味でしか使われてないから問題なさそう。
OSやAPがFSのタイムスタンプを符号あり扱いするように仕様変えれば FSのブロックレイアウトは変わらないから68年先伸ばしできるお? 作りかえれないOSやAPはコードよりデータの寿命を優先してそれまでに捨てる
そんなのもはやFATとよべない。 おれの誕生日に作ったファイルかはるか未来のファイルに化ける。
2048年問題って聞いたことない FATの精度が2秒だからそんなのないんじゃないの?
>>576 FATディスクフォーマットのタイムスタンプが累計秒数で記録されていると思ってないか
>>578 ファイルシステム上は問題は起きないが、ファイルのタイムスタンプを1980年1月1日深夜0時ジャストからの経過秒数として32bit整数で保持しているプログラムが正常に動作しなくなる。
……ただし、そんなプログラムが実在するかは知らない。
DOSの時間系関数を使って管理してるDOSアプリには2048年問題は起こらない ダメなのはC標準関数使ってるDOSアプリということですね UNIXからFATをフォーマットしてる場合は48年以前に38年問題にひっかかるわけですし
×フォーマット ○マウント
いや、やっぱりC標準関数は1970年を基点とするからそれはないだろうな FATで0x0000 0x0000というタイムスタンプのファイルがあったとして それはエポック秒で315500400と変換されてしまうから48年問題は起こりそうにない アプリで独自に符号付32bit値として保有してる場合だけに48年問題は起こる こんなアプリ作ってる人いるんかいな?
Linuxのmanpage見たら、ファイルの状態を取得する stat(), fstat(), lstat() 関数は、 ファイルの日時に time_t を使っていますね。 time()関数 〜 紀元 (1970年1月1日00:00:00 UTC) からの経過時間を秒単位で返す。 も、返すのは time_t。 time_t をたどると正体は /usr/include/bits/types.h:103:#define __SLONGWORD_TYPElong int で 32bitのようですが、time_t を使うもの全般が、ファイルシステムに関係なくまずいのかな。
>>583 くっついてるw
× > /usr/include/bits/types.h:103:#define __SLONGWORD_TYPElong int
○ > /usr/include/bits/types.h:103:#define __SLONGWORD_TYPE long int
time_tの正体が何かはシステムによって違うでしょ。
>>464 >time_tはカーネルの64bit化とは関係なく、既に64bit化されてる。
まじで?
time_tが64bit化されたlibcのバージョン教えてくださいおねがいします
GNU libcではtime_tはlong intであってlong intの大きさは処理系定義なので まあきっとあってもおかしくはないとかなんとかかんとか
32ビットでフォーマットされているものを突然64ビットで扱おうとして データを壊しまくるファイルシステムw
>>586 >
>>464 >>time_tはカーネルの64bit化とは関係なく、既に64bit化されてる。
ubuntu 12 i386でsizeof time_tをprintしてけど32bitだ
Ubuntuは32bitということですが 64bitに対応したLinuxディストリビューションはどれになりますか?
あと初歩的な質問になりますが 32bitのLinuxからも、64bitのLinuxからも、 同一のファイルシステムをmountして問題なく扱えますよね? 例えば、ファイルのタイムスタンプの扱いが気になるのですが、 そこは、どちらにしてもファイルシステムの仕様通りに きちんと処理してくれているということでしょうか。
Ubuntuにも64bitなかったっけ マウントの問題は大丈夫
__STD_TYPE __TIME_T_TYPE __time_t; /* Seconds since the Epoch. */
>>592 Ubuntuに64bitありますね
ありがとうございます
#include <time.h> #include <stdio.h> int main(void) { printf("%d\n", sizeof(time_t)); } 8だった@Debian sid/amd64
ちょww8ビットてww
8bytes
>>595 のやつ
Debian6.0.6@amd64(サーバー)
Ubuntu12.10@amd64(デスクトップ)
どっちも8でした
>>591 x86とAMD64で何が違うのかをもうちょっと知れば、そういう質問は出てこない気がするなあ。
Linux vmware-virtual-machine 3.2.0-33-generic #52-Ubuntu SMP Thu Oct 18 16:19:45 UTC 2012 i686 i686 i386 GNU/Linux
Linux version 3.1.10-g22b4fcd (
[email protected] ) (gcc version 4.6.x-google 20120106 (prerelease) (GCC) ) #1 SMP PREEMPT Fri Nov 2 10:55:26 PDT 2012
てもとだとこの2つはsizeof(time_t)は4だったが
>>464 の
「time_tはカーネルの64bit化とは関係なく、既に64bit化されてる。 」
と矛盾してないのか?
>>599 32bitと64bitとしか書いてないからx86とamd64とは限らない。
というかその二つに限定すると理解が疑われかねんな。
602 :
595 :2012/11/28(水) 02:17:16.58 ID:nx7Okma8
なんとなく気になったので同じ環境で-m32つけたら4になった ちうことで2038年までに64bit環境に移行すれという事らしい
>>601 「初心的質問」でそれ以外のアーキテクチャを
持ち出すだろうか?
つかどう考えても
>>591 が言ってるのはamd64とi386のことだろ。
単純な64bit化だと上4バイトは100年ぐらい使われないから その領域を有効活用しようという輩がいるかもしれない
>>606 COBOL世代とはビット単価が違うからなぁ
アップデートしない組込環境ではtime_tうんぬん以前に脆弱性がやばい
組み込みってネット繋がないじゃん
んなわけあるか
ext3では秒単位で2038年まで
ZFSの重複排除、当たり前だがメモリすげぇ食うな・・・ ファイル鯖としちゃあ便利な機能だがそんなにコストかけれないし重複排除は諦めるか
メモリだけなら今安いから大したコストじゃないけど CPUもそれなりのがいるんだろ?
>>612 なんで当たり前なん?
メモリーがたくさんいるのはなんで?
ファイル鯖にそんなCPU盛りたくないしねぇ。 ついでに他のアプリケーション動かせばいいんだろうが、なんにせよ個人じゃそんな鯖にゴリゴリさせる仕事がない。 重複排除とか圧縮かけても軽いくらいスペック盛るくらいなら、その金でHDD増設した方がいいんだよなw
重複排除ってどのくらいのスペックあれば快適に使えるの?
>>616 ZFSのrecordsizeによるけど、デフォだった場合、
データ1T辺り、重複排除だけで10G+ってオーダーでメモリーが必要になったはず。
L2ARCにSSDを用意しないと、メモリーから溢れた瞬間、とてつもなく遅くなる。
CPUよりメモリーの方を何とかしないとダメ。
同一内容を検索・識別するんじゃなくて、 ファイルコピー動作とかを認識して重複排除するとかできないんだろうか? 最近読みだしたデータに限って同一判定するとか。
620 :
login:Penguin :2012/11/29(木) 18:54:19.39 ID:UP0NKDBj
>>619 よく意味が分からんけど
書き込みが発生したときにブロック単位で同じのがあるかどうかを見るんじゃないの
そのテーブルがメモリをバカ食いするってことだと思うけど
それただのCoWじゃねーか? NAS上で完結する世界ならそれでもいいけど、実際に求められてるものとは違う
重複判定できるってことは、そのぶん余計なメタデータを読み書きしないといけないんだから性能落ちるよね
重複排除によって無くなった行われるはずだったユーザーデータの書き込み量のほうが多いかもしれない
>>623 クラウド、VPSの仮想HDDの中の/bin以下のファイルみたいなかなり特殊な用途?
XFSを褒め殺しにしていると疑われているオレ様がやってきましたよ 褒め殺しではない 純粋に褒めているし実際に使っている 叩いた事など神に誓ってない ZFSなら叩きたい
そっか よかったね
XFSとZFSの良いとこ取りの新ファイルシステム YFS
>>619 特定の状況だけ適用してもらいたいんならその状況時にユーザーモード側でioctl発行しろと返されんのがオチ
>>618 HDD増やした方がコスパよくね?業務に使うならともかく個人ならな
同じ形式のファイルをテラ単位で扱うような用途じゃないとあまり恩恵はないだろうな 少なくても自分は容量食ってるのは動画とか音楽とか写真だから全く意味無い
仮想マシンのファイルはほとんど同じなので、 重複排除でバンザーイと思って、Virutalboxと ZFSの組み合わせを試してみた事がある。 ほとんど重複排除の効果は無く、一時停止で保存した ファイルでゲストOSが再開できないとか、逆の意味で バンザーイの結果だった。
世代バックアップとか
ハードリンクで済むような
大きいファイルの世代バックアップには有効そうなんじゃない? 何ギガもあるsqliteファイルとか。
バックアップになってるのかそれ 前にもそんな議論があったような
まあ核攻撃に耐えられなければバックアップとは言えないからなあ バックアップでないものをバックアップと言う人が多いよ まったく
前の議論もそうだけど 勝手にバックアップのハードル上げてるだけだと思うが
月面データセンターだと万全のバックアップできる 応答時間に数秒要するからバックアップにしか使えないけど
月は出ているか? ってガンダムXごっこができるな。 スペースデブリの月面DCへの影響は無視してもいいよね。
電磁波って宇宙だと減衰しないから 宇宙に向けて全データを電磁波の形で発信しておけば 少なくともこの宇宙がなくなるまでは保存されるな。
>>640 その発信したデータを読みたければ、電磁波より速く飛んで先回りして受信しなければならないのでは
え?w突っ込むとこそこかよww 文系かよw
643 :
login:Penguin :2012/12/01(土) 15:37:17.27 ID:RSbxRGIT
ZFSの重複排除ってメモリに蓄えるから、 不意の電源OFFだと全部破壊されちゃうんだよね それだとバックアップに使うのは怖いな
んなわけない
>>643 みたいな幼稚な人が作ってるファイルシステムあったら教えて下さい。
>>640 波長によって激しく減衰する、宇宙は完全な真空ではなく万年やら億年
経過したそれが何も影響しないというのはアフォ。
ファイルシステムとバックアップは分けて考えなければいけない
分けて考えないのが近年の高機能ファイルシステムでしょ!
俺だよ。この俺が言ってんだし間違いない。
この前、自分定義のバックアップって言葉使って馬鹿にされた馬鹿が 粘着してるなぁ。
その時馬鹿にした連中の方が勝手な定義してたな
しつこいよ
定義なんて話の都度擦り合わせればいいのよ。
はいはいビールジョッキ思想
ZFSのファイルシステムにMysqlのデータを置いた環境があり、 某システムの評価で圧縮して400MバイトのMysqlのダンプファイルを インポートしてみた。 平時はあまり使われない、Logsの領域にも激しく書き込みがあり、 Logsのallocの領域がみるみる増えて行く。raidz1のディスクで30MB/sec Logsの30MB/secと合計で60MB/secの書き込みが出来て、ZFSの 実力の一部が判った。
662 :
login:Penguin :2012/12/24(月) 22:27:48.15 ID:sbyUtyUS
なんでext4には作成日時のタイムスタンプがないの?
ctime無いのはFAT位でないかい
ctimeってリンク数増やしたりとかしたら変わらないかい
それはmtime
ZFS Linux Native RC13が出てました。 いろいろ直っているみたいだが、ウチの 自宅サーバでは何の問題無く動いているので、 違いが判らん。
ctimeとcrtimeは混同してはいけない
birth time があるよ
>>666 誤り
mtimeが変わるのはファイルの内容を書き換えた時
リンクカウントの増減はメタデータだけの変更に当たる
ctime をファイル作成日時だと勘違いしてるやつがいるのか?
NTFS ボリューム上で新規ファイルが作成できない現象について
http://blogs.technet.com/b/askcorejp/archive/2010/04/26/ntfs.aspx $Secure のデータは少しずつ登録される事が多く、非常にフラグメントが発生しやすい環境です。
$Secure のフラグメントが解消される事で、登録できるセキュリティ記述子の数が増える事が期待できます。
Windows7 / Windows Server 2008 R2 以降の環境で発生した場合には、まずはデフラグの実施をご検討ください。
※ 現在、Windows 7 / Windows Server 2008 R2 環境でデフラグを実施したところ、反対に $Secure の File Record 数が増えてしまったという報告を受けています。
詳細が確認出来次第この記事をアップデートいたしますので、それまで $Secure の ATTRIBUTE_LIST を減らす事を目的としたデフラグの実施はお待ちください。
;(;゙゚'ω゚');
raidz や raidz2 で、玉を増やすほうの grow が出来るようにならないかなあ。
>>672 その地雷を最初に踏んだ人がどれだけ悩んだか
話を聞いてみたい
675 :
login:Penguin :2013/01/06(日) 23:12:39.85 ID:kYUtqyri
重複排除と透過圧縮とファイルのチェックサムの機能がある ファイルシステムってZFSだけでしょうか? 調べてみるとlessfsは重複排除と圧縮機能があるみたいですがチェックサムはなさそうで ext4とbtrfsは圧縮とチェックサムがあって重複排除はない(btrfsは実装予定?)みたいです
ext4のチェックサムってメタデータだけでしょ
データが化けてもメタデータさえOKならファイルシステムの整合性は完璧だからな。
ファイルが壊れてもファイルシステムが壊れなければ意味があるっ
raid5+xfsでデータ化けするて聞いたんだけど raid5で1ディスクの1ブロックだけ化けた場合でも修復できないんだっけ?
釣りか? ソフトウェアRAID だろうが、ハードウェアRAID だろうが、RAID5 と ファイルシステムではレイヤーが違うから「RAID5+xfsでデータ化ける」なんてことはない。 データが化けるのは別の原因で xfs 以外のファイルシステムにしたときに、たまたまその ブロックを踏まなかったってだけだろ。 この場合ハードウェアRAID が何らかの故障を抱えているんだと思う。 ただ、アクセス速度を上げるために、パリティチェックしない製品/設定がある (ハードディスクに全くアクセスできない場合のみパリティから修復)らしいので、 「raid5で1ディスクの1ブロックだけ化けた場合でも修復できない」事はありえるが。
ディスク3台で A,B,パリティ になってる所で パリティ部分がデータ化けしたらそのブロックは修復できんの?
RAID5ではどっちみち化けたら修復できない。どっちが正しいか判別できないからだ。 RAID-Zなら別だがな。
なるほどね、勉強になった
1ビットのパリティは1ビット以内の誤りを検出できるだけだからな。 化けられたらどうしようもない。 運を天に任せて1台切り離せば読めるかもしれないぞ。
エラーにならずにデータ化けってありうるの? HDDにCRCが付いてるだろ。
何もせずとも、いつの間にかデータが書き換わってしまうことはありうる。 そのため最近の RAID 装置は、「書き直し」ジョブが定期的に走るようになってる。
HDDは10^-13から10^-16。RAMは10^-10から10^-17。NWは10^-12。 なので1[PB]とか読み出したら、上位(RAMならECCとか)でチェックしない限り確実に誤データが入り込むんでない?
>>683 btrfsのRAID5も、実装されたら修復できるようになるんじゃないかな。
出る出るといわれ続けてもうすぐ4年経つんだっけかw
btrfsではデータブロックのチェックサム(CRC)を記録してるから、
化けたブロックは特定できるはず。
どのデバイス上のブロックが化けているかが分かれば、
残りのデバイス上のブロックからXORでブロックの中身を計算して
書き戻せば修復できるはず。
もっとも、RAID5以前に「読み」「書き」以外のことをすると
高頻度であっさりハングする不安定さをどうにかすべきだと思うが。
brtfs捨てて、ZFSのライセンスを見直すだけでいいんだけどなぁ
ZFSはクローズドソースになっちゃったんじゃないの? FreeBSDは、オープンソースの最終版からフォークしたような…
Linuxファイルシステムの進化ももZFSがクローズドでは、もう期待出来ないね。 真剣にNTFSライセンスの購入を検討した方がいいんじゃないの?
>>692 ZFSはlinux界隈じゃなくてUNIX界隈だから関係ないよ。
クローズドからオープンになった事例は結構ある。 ってかオラクルは何でクローズドにしたんだろ。
>>694 ライバルを買収して相手製品を死蔵して潰す場合と、
ライバルを買収して相手製品を自社で売る場合がある。
オラクルには独自のFSがあるんで、死蔵させて潰す選択をしただけ。
>>695 > オラクルには独自のFSがあるんで、死蔵させて潰す選択をしただけ。
何言ってんだ? Solarisで使ってるだろ。
まさかbtrfsのことじゃないか?
ZFS Storage Applianceとか全然売れてねぇけどな 遅すぎるわ
商用ファイルサーバなら既にIsilonがあるしなあ。
699 :
675 :2013/01/12(土) 15:01:50.21 ID:cOhIruVB
btrfsでその手の付加機能使うのは、まだ怖すぎる。。。 やっぱFSみたいな物は、昔から言われてるけど、企業がお金かけて作らないと 厳しいねぇ。 ドッグフードをガシガシ食って、主要部分だけでもバグ潰ししないと、いつまで経っても、 ドッグフードのまま・・・
zfsでいいからgrowつけてー
btrfsの重複排除は使ってるっていう情報が見当たらないですね 重複排除と透過圧縮とファイルのチェックサムがあって わりと使われていそうなのはZFSだけみたいなんでZFSを使ってみることにします
703 :
login:Penguin :2013/01/12(土) 17:43:29.86 ID:uRAkZkwX
なんでみんなZFSなんだよ! Linuxには、ext4っていう最先端技術が一杯盛り込まれた優れたファイルシステムがあるだろう?
ORACLE様ならbtrfsやZFSなんての無視してASMでいいやん
>>677 ext4 のチェックサムはメタデータに対してなんですね
何か勘違いしてました
ZFSでもファイルデータの修復ができるのはRAIDZとかで冗長化している場合だけですよね
ファイルのデータに対してチェックサムじゃなくて誤り訂正符号が
付けられるファイルシステムは聞いたことないですし
もしかして3-way mirrorかRAID6なら(そんな頻繁に起こると思いませんが)データ化けが起ころうが訂正できるのかな
いずれにせよlessfsってのとbtrfsの重複排除機能の情報は少ないのでZFSにしてみます
そんなに誤り訂正欲しきゃ RAID5+0でもRIDE6+0ででも組めばいいのに
>>703 zlib圧縮すらstableでないfsじゃぁねぇ…。
RAID6も故障Diskが既知でないと訂正できないみたい。 正直、データの整合性はHWに任せてOKと思うんだけど…
>>707 stableじゃない事がなんなんだ!
皆でドッグフードの不味い部分をもっとガツガツ食べようぜ
誤り訂正はできたら良いなってところで 透過的圧縮と特に重複排除が優先して使いたい機能です lessfsで良いじゃないかってところなんですが情報が少なくて躊躇してます・・・ よく考えたら3-way mirrorやRAID6にしようがファイルの読み出しで きっと毎回全部のディスクからデータを読んで比較なんかしてないですよね mdadm はそんな設定があるのかな? ZFSはファイルを読んだときにチェックサムが合ってなければ RAID-Zから復旧してくれるんだろうと思います
>>710 おまえがそもそもRAIDがなんなのかすら理解できていないことは理解できた
面倒くせーな… だったらEMCでも買えよ
>>710 RH系だとraid-checkってスクリプトがスケジュールに登録されてて
週一でアレイの整合性チェックが実行されるはず
mdが内部でどんな処理してるのかまでは知らないけど
確かにRAID6なんかでデータ部の修復までしてくれたら嬉しいわな
気にしすぎなんじゃないかと思うが
どんだけ大容量のファイル使ってんだかしらんが 数世代前でも無い限りRawデータだってCRCぐらい付いてるだろ
まず、HDDにはセクタ単位でECCがついている。 このため、かなりの数のbitが同時に都合よく化けない限り、エラー訂正できる。 (もちろんエラーが、検出は出来ても訂正は出来ない場合にはリードエラーとなる) そして、これは推測だけど「訂正可能なレベルのエラー」の中で、ある程度の回数だとかbit数だとかの規定値を超えたら それはファームにより「不良セクタ」としてマークされ、代替処理が行われると思われる(OSからは見えない)。 一方、RAID456で使われているのは「パリティ」で、これは誤り訂正も出来ないし エラー検出能力もきわめて低い。 しかし、「欠損」つまりどこのbitでエラーが起きたのか確実にわかるケースに限定すれば 正確に補完する能力があり、容量効率も良い。 これの欠損が、物理的な故障にぴたりとあてはまる。
というのが俺の認識。
CRCと言っても幾つもあって、訂正できるのもある。 訂正できるものでRAIDで使われているものもある。
なんでZFSスレ すぐdat落ちしてしまうん?
RAID-5・6の欠点はパリティ更新時の障害によるサイレントクラッシュであって、 パリティの算出手法そのものには、まあ問題ない。
そこまでRAID5やRAID6に不満や疑義あるならEMCでも使えばいいじゃん
>>721 708でも書いたんだけど、エラー位置が既知の場合しか訂正できない様に
読めるんだけど。
普通はそういうのは誤り訂正符号とは言わないと思う。(個人的感想)
これを誤り訂正可能というなら、ただのパリティも誤り訂正可能だよ。
もちろん世の中すべてのRAID6の実装を知ってるわけでなく、wikipediaの
記述に関してだけ言っています。
>>724 それが所謂サイレントクラッシュな訳だが。
誤り訂正符号で治せないのと、破損位置が分からないのは、
別の問題じゃねーの。
>>724 は、
>>717 に対する
>>721 の良く分からないコメントに(横から)レスしました。
ECCと呼ばれるものはエラー位置が未知の状態で訂正します。
(パンクチャ/デパンクチャしたりもしますが…)
ECCでは、エラー位置が分からないのと訂正不能なのは同じ問題です。
ECCを採用するのは符号化率や計算能力とのトレードオフになるので、
エラー位置が分かることになっているRAIDでは採用しないのも当然と思います。
> ZFSでもファイルデータの修復ができるのはRAIDZとかで冗長化している場合だけですよね RAID Z でないものも zpool scrub かけてエラーがあった場合に checksum からなんとかできる程度の修理はしてくれる > ZFS 限界はあるけど. っていうかどの程度までリカバリしてくれるのかは良く知らないのだ
ZFSならmirrorからでも修復は可能 あと複数Diskで冗長化してなくても、zfs set copies=xでファイル書き込み時に同一Disk内の複数の箇所に分散コピーできる 素直にHDD増やした方がいいけどね
zolってどーなってるの?
>>731 Windows Server 2012からね。
今のところWindows8とかのクライアントOSには載ってないよ。
重複除去使いたいからNTFS使ってるけど(´・ω・`)
ZFSとbtrfsって比較してる奴は……勝負になると思ってんのかなぁ? 全然違うじゃない ……名前の格好良さが! (SunとOracleの信頼の差というのと、初出の安定感とかもあるけどさ!使いたい技術ってまず名前で決めるじゃない!)
巣に帰ってどうぞ
Btrfsってあと何年でstableになるんだろう。 ZFSのRaidzは数増やせないから不便で不便で(´;ω;`)
速度的には同じくらいなん?
ZFSと比較はしたことはないがスナップショット取るとIOが固まるとか スナップショットを削除するとIOが固まるとか時々deadlockが発生するとか 速度以前の問題。着実に改善はされてるがまだまだ。
ext5のが先にくるよ
fedora18ででたファイルシステムってどうなの?
>740 btrfsでしょ 昨日やってみたよ
FedFS のことかな。
>>741 btrfs は前からなかったっけ。
743 :
login:Penguin :2013/01/17(木) 13:21:54.21 ID:rZx4pOd9
dragonflyBSD hammerの方が着実に実績を積んでる
744 :
739 :2013/01/18(金) 00:42:49.27 ID:nOSdqiD+
>>741 ググってから発言してくれ頼む
>>742 うん、それ
うちではインストールが途中で止まったから諦めた
>744 そうですか btrfsを選択してOSをインストール出来るようになったのはfc18からじゃない
>>744 ファイルシステム名くらい最初から書けよ……。
アホ二人
Server 2012のシステムファイルをそのまま配布しているので真っ黒
そもそもボラクルにやる気があるのか
>>750 btrfsのことならメイン開発者はもうオラクルにはいないぞ
752 :
363 :2013/01/20(日) 20:51:21.82 ID:VrfUmOPB
なに! ならもうBtrfsはオワコンなのか
始まってすらいなかったような・・・
早くbtrfs捨ててZFSを突っ込めばいいのに……
FreeBSD, OpenBSDと共同で、OpenZFSとか作れないものなのかしらん。 ライセンスは、GPLv2とBSDのデュアルライセンスで
また初めから実装するのは無駄だしBSDと共同はないだろ
その方向ならHAMMERとかどうなん。使ったことないからよく知らないけど。
HammerをOpenBSDやデフォルトにしてほしい
だからZOLどうなってンのよ。
>>759 一向にstable出ないけど1,2ヶ月にいっぺんくらいはrc更新されてるよ。
>>760 返信ありがとう。気長にstable出るの待つかあ。
>>761 これでさらにexFAT/GPTで起動が出来れば、
USBメモリがより安全になり使い道広がるんだが。
Windowsに他ファイルシステムを使えるようにするフリーソフトは何故ないの
Win版FUSEであるDokanもあるし、何が無いんだ?
DokanてWin8未対応じゃなかったっけ
互換モードでインストールできて動くんじゃなかったっけ
何かまずいか?
煽りメソッドとかいう下らないのだろどうせ
Dokan上でencfs4win動かしたらなんか動作が怪しかった
ext4をWinで使いたいです><
zfsで定期的にスナップショット取ってるんですけど スナップショットから特定のファイルだけ削除することは出来ますか?
この記事がすごくおもしろかったんだけど、
【清水理史の「イニシャルB」】 予想以上に便利な記憶域スペースやSkyDrive連携
Windows 8+NUC+Thunderboltで作る自宅サーバー - INTERNET Watch
http://internet.watch.impress.co.jp/docs/column/shimizu/20130122_582241.html win8の「記憶域スペース」と同等なことをLinuxで実現できるファイルシステムってあるのかな?
いまはLVMで 1TBのHDDを4本束ねて 4TBのボリュームを1つ作っているけど、
どれか1つでもHDDが欠けると、ボリューム全体が見えなくなってしまうよね。
ZFSは、ソフトウェアRAIDとLVMの「あいのこ」みたいな認識を持っているのですが(私の不勉強でしたらすみません)
ZFSは、Raid1をやりつつオンラインで領域拡張をしたり、ボリュームを構成しているHDDの一台が壊れても、
マシンを止めたりファイルシステムをアンマウントせずともHDDの付け替えとかできるの?
>>774 Linux NativeのZFSを使ってるけど、
1T4本なら3Tのディスクが確保できるよ。RAIDZ1というキーワードで
google検索すると、機能の説明や設定方法がいろいろ出ているので、
そちらを参照。
オンラインで切り替えが出来るか、自分も不勉強だったが、SATAのコネクタは
OSが起動中に抜き差しが出来るみたい。年末に会社の備品の整理をした時、
大量のHDDをこの手を使って、データのチェックをしたり、内容消去を
したが、チェックに使ったLinuxマシンは一度も再起動せずにすんだ。
なお、ZFSには一応スペアディスクの機能があり、障害時にはこれに切り替わる
はずなんだが、うまく動かなかったので、単純なRAIDZ1にして使っていた。
その時のバージョンはrc8で、昨年の5月の連休にテストしたから、
今のバージョンでは動くかもしれない。
2012の記憶域プール/記憶域スペースは、zfsで言うなら、zvolを切り出すときにzvol単位で冗長性を指定できる感じだと思ってる zfsではプール(を構成するメンバ)単位での指定だから、2012の方が柔軟なのかも 冗長性不要のものも混ぜられるから
>>775 >SATAのコネクタはOSが起動中に抜き差しが出来るみたい
それはシステムによる
コントローラ、電源、OS全部対応して初めて使える
>>778 なるほど、前に試した時には認識しなかったり、
Linuxがカーネルパニックになったりしたけど、年末に
試したシステムは、マザーボードが新しいヤツなので
オンライン交換に対応してたのか。
>>774 今のLVMってthin provisioningやraid 1/4/5/6が統合されたんだけど誰も使わないからノウハウが広まらなくて誰も使わないスパイラル
>>780 その辺、fsまで統合しないといまいち気持ちよくならないしなぁ。
782 :
login:Penguin :2013/02/05(火) 16:19:01.78 ID:8jmt/8C7
>>782 普通の外付けHDDとしては特に問題なく使えるだろうね。
ただ、RAIDの診断・管理機能はWindowsでしか使えないだろうね。
786 :
774 :2013/02/05(火) 17:42:07.35 ID:iH+ZYp+S
みなさんレスありがとうございます。とても勉強になりました。 この Win8 の記憶域スペースや、VVAULTみたいなのが Linuxでもできたらおもしろいなと思いました。 自分の場合は、4TBの前は 320GB*4 (1.28TB) のボリュームだったんだけど、 1.28TBが足りなくなってきたら、以下のようにやってました。 ・いったん、べつのHDDにまるごとバックアップ ・1.28TBのLVMのボリュームを削除、320GB*4 の HDDは外す ・1TB*4 の HDD を買ってきて付けて、LVMで4TBのボリュームを作る ・バックアップからもどす こういうのをもっとスマートにやりたい。 でも、LVMの場合、オンラインリサイズできるかどうかは、そのボリュームのファイルシステムに依存しちゃいますよね。 (いちおうxfsをつかっています)
btrfsがやる気あるのかないのか 待てないのでzfs on linuxで構築始めた
ほうそんなものがあったのか 初代Windows Home ServerのDE(Drive Extender)ぽいな
>>786 pvmove、って思ったけどオンラインのままデータ移動できるだけで対して手間変わんねーか
>>786 いやそれで十分でしょ
わざわざオンラインリサイズする必要ないような
>>790 ただ書き込みのパフォーマンスはあまり良くなかった気がするな
796 :
login:Penguin :2013/02/06(水) 10:12:30.76 ID:N5t3SmO4
>>786 前後読んでないので的はずれならごめん
xfsは拡張のみリサイズに対応してる。
電源とsataの口に余裕があれば、オンラインでのリサイズに支障はないよ。
>>793 パフォーマンス関係ないよ。
mhddfsは複数のドライブをまとめて
一本に「見せて」いるだけ。
>>797 一本に「見せる」ためにオーバーヘッドが発生してるわけで
ある程度のパフォーマンス低下は避けられないよ
しかもfuse実装だし
まあ倉庫用ととしては問題ない速度出るし、俺自身愛用している
>>798 そんなクリティカルな業務に利用するもんじゃなし
「ある程度」なんて適当なこと書かんでもw
> ZFSは、Raid1をやりつつオンラインで領域拡張をしたり、 RAID-Z系はオンライン拡張NG(FreeBSDしか知らないけど, たぶんソラリスでも同じ?). ただしRAID1 が要求なら,RAID1じゃなくてRAID1類似の 「同じデータを複数記録する」モードなら 動的領域拡張含めて対応OK > ボリュームを構成しているHDDの一台が壊れても、 > マシンを止めたりファイルシステムをアンマウントせずとも > HDDの付け替えとかできるの ZFSとしては楽勝.すでに出てるようにOS側・ドライバとかの 対応の問題.FreeBSDでは出来てるです
>>800 > > ZFSは、Raid1をやりつつオンラインで領域拡張をしたり、
>
> RAID-Z系はオンライン拡張NG(FreeBSDしか知らないけど,
> たぶんソラリスでも同じ?).
> ただしRAID1 が要求なら,RAID1じゃなくてRAID1類似の
> 「同じデータを複数記録する」モードなら
> 動的領域拡張含めて対応OK
RAID-Z も大丈夫だよ。
> > ボリュームを構成しているHDDの一台が壊れても、
> > マシンを止めたりファイルシステムをアンマウントせずとも
> > HDDの付け替えとかできるの
>
> ZFSとしては楽勝.すでに出てるようにOS側・ドライバとかの
> 対応の問題.FreeBSDでは出来てるです
HBA でOS上のデバイス名の特定とエンクロージャーのスロット番号の特定って
どうやってる?
オンライン拡張はZFSの開発理由だからね メモリは刺せば全容量がすぐ使えるのにHDDは刺した後もなんだかんだと色々面倒臭い ってのが開発動機だったってあのsunのページどこいったんだろ
ZFSでいろいろ実験したときに、SSDと内蔵HDD、外付けUSBのHDDで Poolを作ってみた。容量は全てのストレージの合計となり、SSDに空きが ある時には読み書きも速かったが、SSDがいっぱいになったらショボーンな 結果に。アクセスの頻度をみて、中のデータをSSD->内蔵HDD->USBと 再配置するような高等な機能は無いみたい。 何か設定があるんだったけ?
SunがOracleに買われてから、失われたwebページが大量にあるんだよな...
>>803 キャッシュとかL2ARCとか
よくは知らんが、単にプールの1メンバーとしてSSD足したらそりゃそうなるわな
>>807 うんソレ
Sunの読み物って結構面白いのあったのにね
>801 RAID-Z で例えば4本のpoolについて4本を大容量に交換,は 出来るけど,5本,6本へと「本数追加」は出来ないですよね? > HBA でOS上のデバイス名の特定とエンクロージャーのスロット番号の特定って エンタープライズ方面は知らないけど 個人運用だと smartctl -a あたりでHDDのシリアル調べて 実際の弾とのシリアル照合してます (オンラインで変えるのが前提だったら 設置時にシリアルを前面に貼っておくかな)
>>809 Linux だと sas2icru でエンクロージャ番号スロット番号と SAS address の対
応が取れ、SAS address との対応は、/dev/disk/by-path で取って、sas2ciru
で該当のスロットのランプを点灯させることができて楽なんですが、FreeBSD
だと似たようなことは難しいですかね…?
sas2ciru はあるので、camcontrol とかで SAS アドレスを取れるといいのだけども…
遊ぶだけならなんでもいいだろ。 シリアスな用途ならSolaris一択。
昨年の5月の連休で、ZFS Native Linuxで遊びました。 USBディスクを5台使って、RAIDZ1、2の構築とか、 USBディスクを外してディスク障害発生!!とか。 スピードが遅いんであくまで遊びでした。 USB 3.0なら実用的な速度で動くんじゃ無いかと、 こんな構成のファイルサーバを構想中 本体内 HDD システム USB 1〜3 HDD (USB 3.0接続) USB 4 SSDデバイス(キャッシュ用)
なんでUSB接続?
USBだと気軽にdetachできるからじゃ?
>>813 どのフラッシュメモリにも寿命がある。
USBメモリの寿命の短さはSSDの比ではない。
USBメモリをファイルシステムとして常用したらあっという間に昇天するよ。
遊びならいいんだけどさ。
どこにもUSBメモリなんて書いてないのに勝手に訓告してる奴
819 :
817 :2013/02/14(木) 20:03:36.35 ID:awn2R1pZ
これは失礼。
ZFSで遊ぶような人なら USBメモリの書き込み寿命の話なんて百も承知だよな
ZFSのRAIDZとかミラーリングでUSBメモリの寿命の短さを見かけカバーできるんでは? ZFSがそもそもUSBメモリの障害を想定した設計になってるのか知らないけどさ。
USB = USBメモリ だからな、一般人にとっては・・・。
一般人はUSBメモリなんて使わないよ SDカード使うよ
>>780 LinuxのソフトRAIDってmdadm+LVMのイメージだったがどんどんmdadmと機能被ってる気が・・・
>>809 >5本,6本へと「本数追加」は出来ないですよね?
できない。
4本でRAID-Z1のプールに更に4本足して4+4本のプールは作れるけど。
ちなみにZoLだとSATAポートの位置かシリアル名使ってデバイス管理できるよ。
>>811 オープンソースがv28で止まったけど、各OSS実装はv28ベースで独自に機能拡張してるよ。
プラットフォーム毎に非互換になるとマズイので、feature flagsというので名前つけて管理してる。
そのページで28/5000ってなってるのがそれで、便宜上v5000ってことにしてバージョンではなく各feature flagsの有無を機能差としている。
なので本家以外が古いままというわけではなく、最新のillumosやZoLではlz4圧縮とか使えてこれはこれで楽しめるよ。
827 :
813 :2013/02/15(金) 18:02:17.96 ID:cwGYnOZ9
一日不在の間に話題の人になってしまった。 USBで接続したいのはディスクの交換が簡単にできる事と、 動作試験が楽かなと思った事です。RAIDZの障害復旧の テストで、3本のUSBディスクのうち1本の電源をコンセントから 抜けば障害発生の試験が出来ます。 ソフト的にディスクのハード障害をテストできれば良いのだが、 smartの機能で一部セクターの読み込み不可状態とか、ヘッドが 動かないとかエミュレート出来ないものかな。
むしろちょっと試したい人がなんでこんな高いもの買う必要があるのかと。
いや遊びでって書いてるだけだったら別にいいんだけど その後に実用的なとか言ってるから
USBは固定出来ないから、掃除のおばちゃんが足ひっかけて抜けちゃうからダメ
置く場所が変わらないならeSATAでもリスク変わんねーだろ
掃除のおばちゃん障害復旧が優れているファイルシステムはありますか?
掃除しないこと
掃除のおばちゃんがいないとガベージコレクションできないんですが…
抜けない方が大惨事になる可能性
パソコンの電源を切った状態で掃除してもらえば どんなファイルシステムでも壊れることはない
電源を落としたが最後、二度と起動しないシステム
書き換えなければ大丈夫
そういやZFSってファイルシステム全体をリードオンリにできるんだっけ
>>840 大抵のファイルシステムはroオプションに対応してるけど
android側から、linux のファイルシステムを外付けhdd、sdカード等で認識させた方はいらっしゃるでしょうか。 当方は、ディスクを複数にスライスしているためか、ext3を含め全てのパーティションを認識出来ませんでした。また、試す事が出来る空のメモリーも所持していません。 御存じな方、よろしくお願いします。
できるかできないかだけでいえばもちろん出来る
>>843 ありがとうございます。その場合は、ntfs のように特別なappを必要とするのでしょうか。play で探しても見つける事が出来ませんでした。
ちなみに、当方、android3.2を否rootで使用しています。
よろしくお願いします。
(´・ω・`)知らんがな
倉庫に最適な圧縮ファイルシステムはなに?
何のデータ入れるかしらんけど普通の使い方じゃ大して圧縮なんか聞かんぞ
reiserfsはスペース効率が高いよ /etcをreiserf->ext3にコピーしたら1.5倍くらいに膨れてしまう 小さい無数のファイルってパターンはreiserfsが最強かもね 異なるファイルシステム間のコピーはスペース効率の差を考えないと落とし穴にハマる 論理は同じ4kのファイルでも消費する容量は違ってくる
849 :
456 :2013/02/17(日) 11:32:16.29 ID:dRMnzkv/
>>846 お前の好きなエロ動画もエロ画像もふぁいとして圧縮済みだから、小さくならないけどいいのか?
>>846 これだな。
$ tar -cJf /dev/sdb hoge
>>850 それtar使う意味あんの。xz単体じゃ駄目なの?
シーッ 相手しちゃダメよ
>>842 Andoridで直接外部デバイスをマウントするにはrootが必要。
rootなしで間接的に読み書きする売り物アプリはある。
>>853 それが、出来たのよ。fat は、でふぉ。ntfs は、それ用のapp をインストールして。
無論、usb ホスト機能が備わったデバイスなんだけど。
出来なかったのは、複数にスライスしたディスクの認識。それと、(事情があって)未確認なのが、linux のファイルシステム。
これ、ぐぐっても上手く情報を見つける事が出来なかったので、質問させてもらいました。
855 :
login:Penguin :2013/02/18(月) 14:50:32.13 ID:6pDBV4ub
>>854 fatがマウント出来るのはSDカードと同じ扱いだからじゃないの?
少なくてもこのスレの話題ではない
>>856 おっしゃるとおりですね。これで、止めておきます。
android のスレッドで答えが出てこなかったので、こちらにすがりました。android でlinux のファイルシステムが認識するかどうかを確認する事は難しくも手間でもないので、環境が整ったら自分で試す事にします。
あと質問するならどういう手順でやってどういうエラーがでてどうだめなのかもっと具体的に書かないと
Androidのroot化スレに来れば? こんなアプリありませんかスレでも教えてくれると思う。
スライスなんて言葉使うところでイラっときてしまったw 普通はパーティション切る、とかじゃないの。
SliceはSunOSとFreeBSDの方言だね。
方言っていうか、ちょっと違うものだと思うんだが。
いつなる、とか決まってるのか? カーネルはいつだって発展途上だろうよ。 小数点以下の奇数偶数で性格が違ってた時期とは違うんだし。
http://sourceforge.jp/magazine/13/02/19/2355244 386プロセッササポートを廃止した「Linux 3.8」リリース、SSD向けファイルシステムやExt4でのinode内へのファイル埋め込みなど新機能も搭載
2013年02月20日 15:30 末岡洋子
大きな改良点としては、Ext4ファイルシステムでinode内にファイルを埋め込む機能の追加が挙げられる。
inodeはファイルシステム内に作成されたデータベースで、ファイルサイズやその作成/更新日、
実際のデータが格納されている位置といったファイルに関する情報が格納されている。
ファイルの中身はinodeとは別の場所に書き込まれているが、ext4では一定サイズ(通常は4KB)のブロックでデータを管理しているため、
数バイトのデータでも4KB分のブロックを消費してしまうことになっていた。
そこで、このようなサイズの小さいファイルについては、inode内で利用されていない空間に格納することでディスク容量の無駄な消費を抑え、また読み込みパフォーマンスの向上を図るという。
NTFSみたいな仕様になってきたな(700バイト前後のデータはMFTに格納)
NTFS「二十年前からやってたわー」
むしろ今までやってないことに驚愕した。 当然そういうことはやってるものだとばっかり。
869 :
login:Penguin :2013/02/25(月) 20:39:00.96 ID:6sPbIYsJ
linux生まれのファイルシステムは本当にロクなものがないな
reiserfs使えばいいじゃんって言われていたところ
>>867 MFTが無駄にでかくなるのは勘弁してほしいですな
デフラグの邪魔になるし
metadataはwrite throughがbasicだから、 そこにdataをembedするとgentleにhandleしないとtoo slow。
That's too bad.
>>872 ついでに教えて欲しいんだが、gentleにhandleするひつようがあるのはだれ?
ユーザースペースのプログラム?それともファイルシステム実装?
>>871 デフォルトじゃ256バイトまでしか格納しないから大丈夫
静的inodeのext4にサイズは元々関係ないだろ
>>876 NTFSってそうなんだ。
ぶっちゃけ意味ないよね、WindowsOSって粒度の小さいファイルがメインじゃないし。
ブラウザの履歴とかがショートカットファイルなんじゃなかったっけ?
履歴なんてまとめてDB系のファイルになってんのと違うの? まさか1件ごとに1ファイル?
昔はCOOKIEとか1ドメインに1ファイルだったりしたな。 今はどうなってるのか知らんが。
個人的には1件ごとに1ファイルがよかったな。lsとかgrepとかつかえるし DBの機能はファイルシステムが持つべきだった
256バイトはext4の話だろ
>>878 256バイトなのはext4の方
NTFSは700バイトくらいまでいける
>>884 ん? そうなの? 今まで埋め込み機能はなかったんじゃないの?
>>886 で今回4k以下のファイルが埋め込み可能になったと。
まさかext4のinodeが4KBあると思ってる?
>>887 ん、いや
>>866 の記事だと256バイトという記述はないので、
そうなの?って聞いているだけだけど。
>>888 さらに元の記事というか仕様をよむと書いてある
英語だけど中学生でも読めるから読んどけ
簡単な英語すら読まないクズがなんでこんなところに?
>>867 > NTFS「二十年前からやってたわー」
まるで UNIX みたいでつね。
最近は英語を読む必要もないよ 自動翻訳の変な日本語を理解する能力があればいい 技術革新で生まれた新しいスキル
NTFSってVMSの流れを汲んでるんですよね
宮坂美樹さんHPからOracleへ転職したんだ。 ご愁傷さま。
>>897 の先の報告書より
> 処理可能な最大 IOPS に到達すると、性能が劣化し期待した
> 処理能力を下回ってしまうことが判明しました。
そりゃそうだろうw
上限超えてるのに期待した処理能力もクソもない。
メモリ・ディスクとネットワークが一般的なパフォーマンスボトルネックだしね ここ10年以上いわれてるけど、シリコンものの性能向上にぜんぜん追いつけねぇ マルチコアの世界になってさらに帯域食うようになったし 鯖のSSD化の稟議通らないです。DBチューニングするのはもう限界なんで誰か助けて
901 :
login:Penguin :2013/03/05(火) 13:28:57.86 ID:J2lJ1JvE
これ以上ディスク回転数上げたら音速越えるからな 記録密度を上げて早くするしかない 今のHDDはプロペラ機の限界
ふしおにおは甘え
ん?ジェットエンジンのタービンは音速超えてないってこと?
904 :
login:Penguin :2013/03/05(火) 15:43:02.83 ID:JaA29UJB
HDDの回転数が音速超えてソニックブームが発生するようになったら、サーバー室での作業が大変だな
ターボファンエンジンはファンがギア減速されてるから音速は超えてない
>>900 >>897 でもpingがロストするくらいファイルサーバーのポートへの帯域圧迫があったらしいぞw
それで待機系への切り替えが頻繁に起こったとさ。
とっととトランクしとけよ。
>>904 掃除のおばちゃんが入ってきても気づかないから危険だな!
テラバイトメモリのPC環境って構築できるのかな
>>905 ギアードファンターボなんて特殊すぎるものを
低圧タービンと高圧タービンに分かれてて、ファンは回転数の低い低圧タービンで回す様になってる
シャコッ!
真空にすればいいんじゃね
真空管の中にボトルシップよろしくコンピューターを入れるのかw
914 :
login:Penguin :2013/03/05(火) 23:47:16.92 ID:WrNF/wFV
もうね、地震計がこう、シャッコンシャッコンシャッコンシャッコン
915 :
login:Penguin :2013/03/06(水) 00:15:55.24 ID:MoeFIkbG
月にデータセンターを作ることもできるけど 応答に3秒弱かかる
物凄く固い金属の棒で月と地球をつなぎ、棒を押したり引いたりして信号を送れば超光速通信の出来上がり
まずは光速で棒を押す技術の開発からだな
いや、光速で押す必要はないんだけどね 正しいツッコミはスレ違いなので略
>>901 今後はSDDに取って代わられるでしょ(´・ω・`)
>>912 真空だとヘッドが浮かないんじゃないのか。
ヘリウム充填にすれば音速は空気の三倍ぐらいになるが。
>>916 ものすごく硬い金属でも弾性は存在するから
地球と月の間に渡したとしても押し引きの動きは光速未満の縦波として伝わる
なので超光速通信はできない
いや明らかに
>>916 は分かってて言ってるだろ。
有名なネタだし。
>>922 現実には存在しない完全剛体でも無理なんだけど…
925 :
login:Penguin :2013/03/06(水) 12:18:08.97 ID:z6bfz3k3
ハードディスクって音速以下なの? 真空にしたら音速超えれない?
音速超える以前に回転数ぜんぜん足りないだろうが
>>924 お前の言ってる「完全」とはどういうものだ?
完全剛体と光速有限は両立しないから>924のレスは変。
完全剛体のある物理学を構築したいならご自由に 完全剛体自体が今の物理学と矛盾する性質を持っているので定義次第でなんともいえる でもその前にSSD化の予算承認してくれ
結論:月DCはデータのバックアップ/倉庫にしか使えない あとTCP以外で通信しなきゃいけない (例えばUDP使ってアプリ層で再送とかするとか
937 :
login:Penguin :2013/03/07(木) 17:45:56.81 ID:SLN9J81H
>>934 どうせならRFC1149を拡張しようぜ
938 :
login:Penguin :2013/03/07(木) 17:49:44.93 ID:YxdRbsv1
>>937 今のプロトコルでもロケットに鳩を乗せれば大丈夫
別に月まで持っていかなくとも、ISSぐらいでいいんじゃね? 真空だし、無重力だし。
truecryptでファイルシステムbtrfsにしようとしたらできなかったんだけどそんなもんすかね?
>>938 鳩をロケットでカプセル化すると、送達成功確率が著しく低くなるんじゃないでしょうか
またロケットは戻って来れないので、一方通行になっちゃうのでは。
>>938 |
\ __ /
_ (m) _ピコーン
|ミ|
/ `´ \
ノ´⌒ヽ,
γ⌒´ ヽ,
// ⌒""⌒\ )
i / (・ )` ´( ・) i/ 余計なこと思いついた!
!゙ (__人_) |
| |┬{ |
\ `ー' /
/ |
ZFSってgoogleかFSFが受け持ってくれたらよかったのにね。
>>940 Arch wikiに詳しく書いてあるので読んでみるといい
ライセンスがCDDLである限りFSFはありえないな。
SunをGoogleが買っちゃえばよかったのにな……戦犯は誰なんだろう…… ジョナサンなのか?エリックなのか?ラリー(ペイジじゃないほうね)が強引だったのか__
948 :
login:Penguin :2013/03/08(金) 17:43:11.09 ID:u8UldJjK
Oracleはほんとに墓場だな mysqlとかopenofficeとか…
何をいまさら Linuxも引っ掻き回してクソにしてやがるからな
うへe4defragってファイルと同以上の空き容量必要とするのな でかいファイルだとデフラグできねーじゃん
>>951 でかいファイルをデフラグする意味がわかりません。
つながってた方が気持ちいいだろ?ext4だとパフォーマンスのメリットもあるし エクステンド入れ替えてるだけなのに空き容量食いすぎだわ
× エクステンド(extend) ○ エクステント(extent)
>>951 ext4はでかいファイルのデフラグが苦手なので問題ない
RAIDZって一度組んだらディスクの数を増やすことは出来ないんだよね 容量増やそうと思ったら全部のHDD増やさないといけないんだろうけど 1TBx4で組んでて1台を2Tにしてこの2TのHDDを二つのパーティションに分けて 1TをRAIDZに1Tを別の領域として使うことは出来ますか?
>>951 LinuxだとWindowsのように容量ぎりぎりまで使うのはやめたほうがいい
空き容量が対象の最大ファイルサイズと同じだけ確保できないならば、
その巨大ファイルだけを一度バックアップし削除した状態でe4defragを
行うべきです。
>>952 P2Pでもやっているんでしょwwww
30Gのssdをやりくりしてるだけだ 人聞きの悪いやつだな。お前がp2pやってるからって他人もそうだと思うなよ
959 :
login:Penguin :2013/03/13(水) 03:41:51.92 ID:VsXQe3Fy
Linux使ってる奴がp2pが悪という日本の世間の風潮に乗っかるとは驚いた
ぜってーお前のような奴がトレントはソフトの配布にもどうとか文句つけてくると思ったよ 一から100まで言わないといけないのか?鬱陶しい
>>956 出来る出来ないで言えば、出来る。
おすすめはしないけど。
>>958 SSDなのに大きいファイルのデフラグをしたいの?
ますます意味がわからない
30GBだったらHDDにコピって書き戻した方が速そう。
>>956 1TBx4に更に2TBx4を追加する、という感じの増やし方は可能。
煽りとかじゃなくて、そこまでして個人で保持したいデータってどんなものなんだろう。
在りし日のカーチャンの動画だろう・・
エロ画像/動画の収集癖がついてしまうと、そのうち集めることそのものが目的に。 あと、アニメのTS
そこまで行ったらキチガイ。ちっとは自覚したほうがええで。 おおきも。
言うまでもないことだけど967はただのキチガイ荒らし
単なる保管用ならSSDは高価すぎる
保存ならテープでしょ WDのHDDでもいいけど
保存用なら石版が太古の昔から最も信頼性高いとされている。
>>972 すれ違っただけでデータもってかれるんですね。わかります。
あ
btrfsってサルベージツールあるの?
fsckがsegv起こすのに期待するな。
日経Linux 2013年3月号 データ破損が起こりにくいファイルシステムBtrfsでデータの破損を防げる Btrfsではデータを更新する際、上書きするのではなく、空き領域にデータをコピーして、そのコピーに対して変更を施す。 そのため、データの破損が起こりにくい。 「Btrfs」(バターエフエス)というファイルシステムが使われ始めた。 データの安全性を保つための仕組みを複数備え、さらに柔軟なストレージ管理やボリューム管理が可能な多機能フ… >データ破損が起こりにくいファイルシステムBtrfs >Btrfsでデータの破損を防げる まじで?!
btrfs「CPU spikeやpanicはデータ破損じゃないから」
まだunder heavy developmentだというのに…
それが日経BP まあ犠牲者が多いほうが早く安定するしな
>>978 何が問題なんだ。
「設計通りに動いた場合は」という接頭語と、「とはいえ、まだ開発途上である。」という接尾語が抜けてるだけだろう。
日経なんて情弱専用なんだから、犠牲者が増えるだけ
失われた石版がどれくらいあったか、今となってはわからない
987 :
login:Penguin :2013/03/15(金) 22:28:36.46 ID:9RL37dsq
今週リリースされたopenSUSEでbtfsが使える&サポートされてる パッケージアップデートかけた後のロールバックとかが出来る
えっ いままでbtrfsまともに使えなかったってこと?
ああ SUSEのSnapperのことか
埋めネタもないのか
991 :
login:Penguin :2013/03/16(土) 18:47:10.90 ID:52iRaHiP
btfsって実験用だから捨てて、最終的にはext5になるんじゃないの?
次スレ既に立ってるじゃん。うめ。
>>993 2013-02-16の講演みたいだね。面白い。
最近はちょっと安定してるっぽいことを最後の質疑応答で言ってたけど、その前のを見てるとちょっとこえーよw
開発中ならこんなものだろう reiserfsも2.4の初期にやらかして阿鼻叫喚になったしなあ
B
t
r
fs
1001 :
1001 :
Over 1000 Thread このスレッドは1000を超えました。 もう書けないので、新しいスレッドを立ててくださいです。。。