ファイルシステム総合スレ その16

●前スレ ファイルシステム総合スレ その15
http://engawa.2ch.net/test/read.cgi/linux/1341012960/l50
●関連スレ
ジャーナリングファイルシステム
http://toro.2ch.net/test/read.cgi/unix/979408065/
OpenSolaris/Illumos (OpenIndiana, etc.) 6
http://toro.2ch.net/test/read.cgi/unix/1337411922/
FS関連スレ
http://kohada.2ch.net/test/read.cgi/os/1137387538/l50
過去スレ、関連リンクは >>2-10 あたりで。

●過去スレ
01 http://pc.2ch.net/test/read.cgi/linux/1006743807/
02 http://pc5.2ch.net/test/read.cgi/linux/1063025258/
03 http://pc8.2ch.net/test/read.cgi/linux/1101495293/
04 http://pc8.2ch.net/test/read.cgi/linux/1136695633/
05 http://pc8.2ch.net/test/read.cgi/linux/1152348695/
06 http://pc11.2ch.net/test/read.cgi/linux/1164457481/
07 http://pc11.2ch.net/test/read.cgi/linux/1173530292/
08 http://pc11.2ch.net/test/read.cgi/linux/1190788761/
09 http://pc11.2ch.net/test/read.cgi/linux/1225001916/
10 http://pc11.2ch.net/test/read.cgi/linux/1238673446/
11 http://hibari.2ch.net/test/read.cgi/linux/1256639505/
12 http://hibari.2ch.net/test/read.cgi/linux/1256639505/
13 http://engawa.2ch.net/test/read.cgi/linux/1311812102/
14 http://engawa.2ch.net/test/read.cgi/linux/1326613113/
15 http://engawa.2ch.net/test/read.cgi/linux/1341012960/

●関連リンク 1
ext4　　　　　　　 ttp://www.bullopensource.org/ext4/
reiserfs/reiser4　 ttp://www.namesys.com/ (リンク切れ)
xfs　　　　　　　　ttp://oss.sgi.com/projects/xfs/
jfs　　　　　　　　ttp://jfs.sourceforge.net/
nfs　　　　　　　　ttp://nfs.sourceforge.net/
ntfs　　　　　　　 ttp://www.linux-ntfs.org/doku.php
fuse　　　　　　　 ttp://fuse.sourceforge.net/
btrfs　　　　　　　ttp://btrfs.wiki.kernel.org/index.php/Main_Page
NILFS2 (NTT)　　　 ttp://www.nilfs.org/ja/
zfs　　　　　　　　ttp://zfsonlinux.org/
　　　　　　　　　 ttp://hub.opensolaris.org/bin/view/Community+Group+zfs/WebHome

●関連リンク 2
en:List of file systems
ttp://en.wikipedia.org/wiki/List_of_file_systems
Linuxファイルシステム技術解説
ttp://www.atmarkit.co.jp/flinux/index/indexfiles/linuxfsindex.html
Linuxの次世代ファイルシステムは「バターFS」!?
ttp://www.atmarkit.co.jp/news/200807/10/btrfs.html
Linux ジャーナリング・ファイルシステムの徹底調査
ttp://www.ibm.com/developerworks/jp/linux/library/l-journaling-filesystems/?ca=drs-jp
Linux フラッシュ・ファイルシステムの徹底調査
ttp://www.ibm.com/developerworks/jp/linux/library/l-flash-filesystems/?ca=drs-jp
Linux filesystem benchmark 2008/1-2
ttp://www.t2-project.org/zine/1/
ttp://www.t2-project.org/zine/4/
Filesystem Specifications - Links & Whitepapers
ttp://www.forensics.nl/filesystems
Linuxファイルシステムベンチマーク ext3,ext4,JFS,ReiserFS,XFS,NILFS2
ttp://hesonogoma.com/linux/FileSystemBenchmarkResults-01.html
ttp://hesonogoma.com/linux/FileSystemBenchmarkResults-02.html
[Phoronix] Benchmarking ZFS On FreeBSD vs. EXT4 & Btrfs On Linux
ttp://www.phoronix.com/scan.php?page=article&item=zfs_ext4_btrfs

● リンク切れ
File Systems in Linux
ttp://www.linux.org/lessons/advanced/x1254.html

● 関連リンク3 （SSD関連）
LinuxサーバーにSSDを使うための情報メモ
ttp://oopsops.hatenablog.com/entry/2012/05/24/164941

Linux+SSDのファイルシステムベンチマーク
ttp://smackerelofopinion.blogspot.jp/2012/06/intel-ssd-520-goodness.html
ttp://hesonogoma.com/SSD/Intel_SSD-330-Series_120GB_Benchmark.html
ttp://hesonogoma.com/SSD/Silicon-Power_SSD-T10-128GB_Benchmark.html

おつ

いちおつ

「リンク切れ」フラグ以外に次のページがリンク切れになってるな
差し替え候補も挙げておく

ntfs
ttp://www.linux-ntfs.org/doku.php
　↓
ttp://sourceforge.jp/projects/sfnet_linux-ntfs/

zfs
ttp://hub.opensolaris.org/bin/view/Community+Group+zfs/WebHome
　↓
「リンク切れ」フラグ

設計思想の移り変わりはおもしろいものがあるな
2000年前半はBSDのsoftupdateが羨ましがられてたけど今はdelayed allocationだもんな
瞬電でデータ飛ぶと思うんだが

fdatasync()で永続化が保障されているなら問題無い

fdatasync()

2000年前に空目した。。
ここだけ西暦４０００年スレに迷い込んだのかと思った

石板云々の話に戻ったのかと

>>1
11 http://hibari.2ch.net/test/read.cgi/linux/1256639505/
12 http://hibari.2ch.net/test/read.cgi/linux/1256639505/
↓
11 http://hibari.2ch.net/test/read.cgi/linux/1256639505/
12 http://hibari.2ch.net/test/read.cgi/linux/1281277564/

2年くらいそのまんまだけど次立てるときは覚えてたら直しといてねー

ZFS LinuxとKVMを組み合わせて使っている人はいませんか？

KVMを使う事になって、ZFSのファイルシステムに/var/lib/libvirtを
確保したところ、仮想イメージを読み込めないというエラーに
なってしまった。

qemu-kvm: -drive file=/var/lib/libvirt/images/Cent63.qcow2,
if=none,id=drive-virtio-disk0,format=qcow2,cache=none:
could not open disk image /var/lib/libvirt/images/Cent63.qcow2: Invalid argument

Shellからは/var/lib/libvirt/images/Cent63.qcow2は見えているのだが、
KVMからはアクセスできないようです。dedupをonに設定しているのが問題かもしれない。

ぱーみっしょんというおちは？

＞15

それは無いです。libvertdが起動すると、EXT4では仮想イメージの
ファイルオーナーがQEMUに変わるのですが、ZFSの場合は
rootですから、libvertdの起動の時に何かコケてるのかも。

Zvolで使う例はありますが、これだとPCで作った
仮想イメージの利用が難しいので、すなおにEXT4のディスクに
データを置く事にしました。

ちゃんと上位ディレクトリまでアクセス可能にしてあるの？
それと所有者はあらかじめ変更しておくのが普通じゃね？

アクセス拒否ならpermission deniedだろ

これと関係あるか分からんけどAppArmorでハマった事あるな
ログとかstraceとかしてみれば？

>>18
そりゃそうだｗ
エラー見落としてたわ

>>16
cache=noneじゃなくてwritebackまたはwritethroughにしたら動かないかな？

ZFSはO_DIRECTサポートしていないね

コメントありがとう御座います。

早速、ZFSの検証しようと朝アクセスしたら、なんとディスクにBADセクタが
出てしまい。HDDの交換が必要となりました。直したらcache=を確認してみます。

AppArmorの話からselinuxを確認しましたが、selinuxがONで動かないと
いう恥ずかしい設定でもなく、disabledになってました。

http://news.mynavi.jp/news/2013/03/22/146/index.html
Phoronixに、近々リリースが予定されているLinuxカーネル3.9において、
Ext4、Btrfs、XFS、F2FSの4つのファイルシステムのベンチマークを実施した結果が掲載された。
ハードディスクとSSDの双方に対してベンチマークが実施されており参考になる。

Phoronixのベンチマークが参考になるとか冗談だろ

週末ディスクを修復して、ZFS+KVMの構築を再開しました。

やはり、ZFSのファイルシステム上ではエラーが出るので、
Zvolで100Gのデバイスを作り、ext4で初期化してから、
/var/lib/libvirdにマウントして使う事にしました。

KVMからファイルシステムext4内のディスクイメージを
参照しますので、別システムからのデータの移行が容易で、
利用したかったZFSの圧縮や重複排除の恩恵も受けているように
見えます。

dedup はアカン

重複排除は意味無いと何度言ったら

dedup=ででゅっぷ？
ext4=えくすとふぉー？
zvol=ずぶぉる？

重複排除ってそんな意味無いんか？
ほぼ一緒の仮想マシンイメージをたくさん動かしているとか、そういうケースだと
かなり節約してくれそうな妄想があったんだが(唐突な想定をしてみる

ZFSのは負荷高いから使うなって言われてる

squashfsはええで。重複排除してしかも圧縮してくれる

読み込み専用だけどな。

個人利用レベルなら追加のディスク買えでFA
趣味実験ならご自由に

Linuxでも同じことが起こるんですか？
peta.okechan.net/blog/archives/1789

そらまあ起き得る問題もあるだろうね。

Solarisを使っていてもこんなこともある。
http://ftp-admin.blogspot.jp/2011/11/solaris-10-0811-u10.html

dedupはWindows Server 2012方式の方が嬉しいとき多いなぁ

ZFS on Linux 0.61正式リリース
ttps://groups.google.com/a/zfsonlinux.org/d/topic/zfs-announce/ZXADhyOwFfA/discussion

>ZoL is ready for wide scale deployment on everything from desktops to super computers.
だそうだ

ライセンスでどうせマージされないんでしょ？

CentOS／Redhatのyum レポジトリーへのリンクがあるのね。
Releases: 6.x、x86_64のみですが、今時32ビットでZFSを
やる人はいないでしょう。

コンパイルする手間が無くなって良かった。正直なところSPLとZFSの
Develop環境のバージョンを合わせてコンパイルするのが面倒だったのだ。

おおパッケージとかかなりうれしいわヽ(´ー｀)ノ

> 40

yum install zfsでインストールが出来ますが、開発環境の
インストールまではyumで面倒見てくれないので、zfsのインストール前に
yum groupinstall "Development tools"を実行します。

"Development tools"が無くてもインストールは成功するので、
ちょっと判り難いです。この場合のyumのメッセージで、

....
Loading new spl-0.6.1 DKMS files...
First Installation: checking all kernels...
Building only for 2.6.32-358.2.1.el6.x86_64
Module build for the currently running kernel was skipped since the
kernel source for this kernel does not seem to be installed.
....

と、一応表示しているので、これが出たら、開発環境のインストールを
調べて下さい。

flashcache他SSDcacheもこのスレでいいでしょうか?
ダメならスレ立てしますが、需要少なすぎるからすぐ落ちそうで・・・

>>37
お、ついにstable出たのか。これはめでたい。

zfsonlinux.org使っている人感想教えて

>>44

まぁ、普通。問題なく使えているが、ZFSを無理に使う
理由が見いだせない。

ディスクを簡単に増設したり、領域を切り出したり確かに便利ですが、
日常の利用でそのような場面がどれだけあるか。サーバー向けの
ファイルシステムですね。と言ってもLinux業界では実績が無いので、
今後採用される見込みもなく。このままフェードアウトと思う。

さくら失敗の悪評がやっぱり大きいと思いますよ。

>>45
> さくら失敗の悪評がやっぱり大きいと思いますよ。
Oracleがやらかしたのは事実だがLinuxじゃないし。
なんかイミフ。

zfsというかストレージシステムがまずかったんでしょ
OracleというかSunというかベンダーが出してるカタログスペックを元に採用したらうまく性能が出なかったって言う
まあzfsに問題がないかはわからんけど

>>45
ありがとう

すべてのデータとメタデータのチェックサム機能をlinuxで利用できればパフォーマンスは問わないから
FreeBSDとかillumosより便利そうだ

FreeBSDでは結構トラブってる模様。
https://www.allbsd.org/~hrs/diary/

じゃあSolarisならノートラブルかというとそうでもないようで。
http://ftp-admin.blogspot.jp/2011/11/solaris-10-0811-u10.html

国内最大規模のanonymous ftpサーバー提供してる人たちだから
トラブルにあう可能性も高いんだろうけど。

>>48

若いときの苦労は買ってまでしたいというなら、
止めはしないが、素直にFreeBSDとかSolarisを使っていた方が無難。

SANやNASで使うならなおさらで、Linuxじゃ無くてもね。

私ですか？　KVMのストレージに管理に使ってみたが、FreeBSDで
SANサーバを作ってKVMからアクセスした方が良かったかも。

現状ではbtrfsより遥かにマシってのがなんとも

>>49
最近の FreeBSD ではだいぶ安定しているみたいだけど
ttp://lists.allbsd.org/pipermail/freebsd-ja/2012-December/000010.html
ttp://people.allbsd.org/~hrs/FreeBSD/sato-FBSD20121207.pdf
まとめ
・9系の ZFS は、デフォルト設定でもそこそこ動きます
・開発者が使っているマシンも ZFS に移行しているので、
安定性の心配は（昨年に比べると）だいぶなくなりました

>>49
OSのアップグレードにはまっただけで、ZFSではまったわけではありません。

たぶん>>49にとっては酸っぱいブドウなんですよ

結論として、ZFSはFreeBSDで使うべき。Linxuでは止めとけ。
でOK?

Linuxでやめておけと言うよりはFreeBSDやSolarisではzfsはやめておけって情報しかないな

つまりZFS使うのはやめておけと

JAISTでは2008年に組んだファイルサーバーで4年間ZFSを使ってきましたが何ら問題ありません。

ZFS on LinuxはLLNLがやっているので、LLNL内で使うようになるでしょう。
ユーザー規模はとんでもなく大きいしお金もあるので、ほかが採用しなくてもZFS on Linuxは成熟していくはずです。

>>57
なるほど。Linuxでのファイルシステムは、btrfsが正式リリースされるのを
待ちつつEXT4やXFSでお茶を濁し、穴馬のEXT5の出来が素晴らしくてウマー！！と
なるのを期待するのが正解という事ですな。

>>59
どんだけ深読みしないといけないだwww

>>59
Linuxでのファイルシステムは、btrfsが正式リリースされるのを
待ちつつEXT4やXFSでお茶を濁し、穴馬のEXT5の出来が素晴らしくてウマー！！となるのを期待している所を大外からdralgonfly BSDのHAMMERが差しきるのが正解

>>44
L2ARCとZILにSSD入れてRAID-Z使ってるけど、いい感じだよ

SUNが元気だったらZFSも一気に仕上がったんだろうか。
SUN時代にZFS基金とか募ってたら1000円くらい出してもよかったのに。
世界中から金巻き上げていっきに完成させて、今後百年みんなでその恩恵にあずかればよかったのに。

>>63
さくらのデータセンターで信用失ったから、どっちにしろ無理だったと思う

kfujieda兄貴おっすおっす！

個人的な意見としてはストレージ鯖でRAIDZで使うのにいい感じ
だからLinuxでは無理に使う必要ないかなと

ZFS on Linux は商用サービスで使っていますよ。LSI の HBA に
SAS Expander 付きの JBOD と組み合せて。

FreeBSDはHBAのドライバがネックで使いませんでした。

俺はあえてbtrfsに挑むぜっ
大事なデータはバックアップするけど
バックアップ先もあえてbtffsでっ

>>62

タワー型のPCにHDD4本とSSDを突っ込んで、ファイルサーバを作ったのですが、
安物のSSD(2.5インチSTA)なので、調子が悪いです。構成はこんな感じ
HDDは全て3.5インチSTAです。

HDD1 システム+SWAP　　　500G
HDD2 バックアップ 　1T
HDD3、HDD4 Zpool　　　500+500G
SSD log cache 40G (4Gと36Gに分割）

どんなSSDを使っているか教えて頂けると助かります。

>>67
FreeBSDやillumosは対応してるHBAやNICがLinuxと比べてかなり少ないからなぁ

>>69
Plextor M2P 128GBだよ

>>62
感想ありがと
俺も使ってみるわ

おっとzfsonlinux.orgはR28ベースだから暗号化に対応していないっぽいな
なにか良い代替法がある?

そうそう、R28以降ソースが公開されないのも問題だよなあ。
FreeBSDだったらGEOMで別途暗号化できるようだけど。

>>71

参考になりました。
今使っている40GのSSDは書き込みが特に遅い様です。
もう少し速いモデルに変えてみます。

zfsの暗号化は面倒だけどluksと組み合わせるしかないようだな

そういうレイヤーが何層も挟まるのが面倒でZFSが人気出たんだろうに結局先祖返りするのか

>>70
基本メジャーな物で揃えちゃうから、
あまりBSDで苦労したことは無いな。

HighPointとかその辺の安物SATAとかで揃えると、色々苦労するかもしれないが。
HBAはLSI系、RAIDもLSI系/ARECA/アダプ辺り。
NICはIntelのみかな、BroadcomはWindows/Linux位までならOKだけど、
それ以外、フリー系のOSにはめっぽう弱い。

>>77
FreeBSDは元々、VFSとデバイスの間にGEOMが必ず入るから、暗号化への対応は
簡単だったはず。ファイルシステムに左右されない仕組みだから。
FreeNASの暗号化もこいつ使って、ZFS自体には手を入れて無いと思われ。
この仕組みのおかげで、本家が暗号化対応する前から、FreeBSDでは
ZFSの暗号化が出来た。

ZFS自体への組み込みはillumosの開発次第だろうけど、
出来るのかねぇ。

>>78
> ZFS自体への組み込みはillumosの開発次第だろうけど、
> 出来るのかねぇ。
JoyentやDelphixといった企業もillumosには参加してるから、
個人レベルでは難しくても、企業が暗号化を必要とすれば実装されるかと

>>78
LSASAS2008 とか LSISAS2308 とかの対応微妙じゃない？

>>78

お大尽様だな。

カニ(Realtek)の愛用者に謝罪した方が良い。

>>80
2308は見てないが、2008は純正ドライバ出てたはずだが。
公式でも配布ソース配布されてるし、それを元に本体にも取り込まれてる。
9-RELEASE以外は調べてない。
illumos系では、OpenIndianaで2008使ってるけど、これも問題無いなぁ。

>>81
蟹はまぁなんだ・・・食うの面ｄ（ｒｙ

元々、FreeBSDを2.0.5とかから使ってるんで、
DEC/3COM/Intel以外はアウトオブ眼中で育ってきてたってのもあるｗ

>>82
http://www.freebsd.org/cgi/man.cgi?query=mps&apropos=0&sektion=0&manpath=FreeBSD+9.1-RELEASE&arch=default&format=html
This driver has a couple of known shortcomings:
+o No userland utility available (e.g. mptutil(8)).
+o The driver probes devices sequentially. If your system has a large
number of devices, the probe will take a while.

2008 / 2308 共にドライバはあるんだけど、ユーザーランドツールが無い。
故障したディスクを特定する方法が無いんだよ。
あと、書き込みのエラー処理も微妙だったはず。(LSIのドライバのドキュメントにあった)

>>81
蟹NICにオンボSATA＋RocketRAID 640とかいう貧乏人からすればLinuxでZFS動くのはもの凄くありがたいです。

Linux ファイルシステムにおけるバグ傾向
http://green-rabbit.sakura.ne.jp/note/2013/04/07/189/

>>85
その人の感想と同じ感想

number of bugsの縦軸の単位ちがうのな
ext3が少なくbtrfsが圧倒的だな
時間経過でバグが減ってないのはリリース時にバスタブ曲線の底を移動と考えればまあ妥当じゃね？

>>85
着眼点は面白いけど
それを測る物差しがパッチの数と種類って１秒でゆとり論文ってわかるだろ

Linux のカーネル自身がバージョンアップしているから、バスタブ曲線の底って考えるのが正しいかは疑問かな。
個人的な感想としては、カーネルの進化により、新機能の追加とバグが定常的に出ているってイメージだわ。

何のベストアワードペーパーなのかは知らんが、それでも、「比較的枯れていると思われるファイルシステム
でも定期的にヤバめなバグが出ている」(からバックアップは大事だよ)って事を説明するには有用な資料だと思う。

> 比較的枯れていると考えられているファイルシステムと安定していないと考えられている Btrfs で割合がほぼ同じことに注目．
バグをパッチ適用数の割合で考えてFS間を比較している考察が痛いな…

統計については詳しくないが、比較していいもの？ってのは正直思った。
ただ、比較しづらい物を比較しようとしているわけで、分析としては悪くない／これ以上いいものが無い
ともいえるのでは？

"A Study of Linux File System Evolution"ってタイトルなんだし
もうちょっとファイルシステムの機能とか性能とか実装手法についてサーベイして欲しかったという気がする
ぶっちゃけバグの数とかパッチの数とか割とどーでもいい

パッチ数を測ってもバグがもたらす問題は全くわからん論文をドヤ顔で示されてもな

ファイルシステムの開発実装ってめっちゃ地味で根気のいる作業だから、
OSSのコミュニティーでは、開発辛いんじゃね？ってのは、昔からちょこちょこ言われてた気はする。

構想と初期実装までは結構がんばるけど、後よろしく！ってイメージが。
通常のプログラムなら、バグっても、処理落ちるだけだけど、
ファイルシステムだと最悪、データぶっ飛ぶから、
新しい物を誰も使いたがらない=いつまでたってもバグ残ったまま、
メンテに飽きて、新しい機能実装＞新規バグ追加。

1つのファイルシステム開発だけで、KERNEL開発と同じぐらいのリソース
ぶち込まないと、駄目なんじゃないかと思ってみたり。

にしちゃいっぱいあるよなFS
一本化してまともなのを一つ作ってほしい

ZFSは在りし日のSunが人・金・時間を贅沢にぶち込んだおかげだしな。

ヘタすると、ハンス・ライザーが出獄する頃まで、ずっとこんなグダグダが続いていたりして。

獄中で労役として開発させればいいのにな

>>98
それじゃー懲役にならないだろｗ

>>99
なんで？
この件はは誤報だったらしいけど別に刑務作業でソフトウェア開発してもいいだろう
http://www.itmedia.co.jp/enterprise/articles/0705/01/news053.html

文句ある奴はこれを越える論文書いてドヤ顔しろよと。
USENIXで Awarded Best Paper 取ってみろと。

つまらんけど物珍しいから受賞したのかｗ

>>101
じゃこの論文(wを信用してドヤ顔してていいよww

空き領域のデフラグって何やってるんでしょうかね
inodeテーブルの整理なんだろうけど全部のブロックを確保しないext4はなにやってるんだろう

そんなことより e2fsck -E discard しようぜ

まさか論文そのものじゃなくて>>85の記事を読んだだけでゆとり論文だのなんだの言ってるわけではなかろうな・・・？

>>92
この論文でいうところの「Evolution」はFSの変遷や機能面の進化じゃなくて
ソースコードへのパッチ、修正されていく様子を指してるようだからしょうがない。

>>106
たしかに85の翻訳タイトル？が2ch的だよね

俺も暇だからこのビデオも見たけどちょっとアレだよw
Awarded Best Paperは論文の中身じゃなくて
プレゼンテーションの素晴らしさでとったんだよ

our results should be useful for both the development of file systems themselves as well as the improvement of bug-finding tools.
だってさw　どう使うんだよw

話は変わるが、FAT32からext4に変えたらディレクトリの読み込みが無茶苦茶早くなっててﾜﾛﾀ
ディレクトリの中に8000程度のファイルがあるんだけど、FAT32の頃はファイルを表示するだけで結構待たされてた

>>108
LinuxでFAT32はCPUパワーも結構食うよね
俺のノートは非力だからよくわかる

exFATは連続クラスタだとFAT見にいかないから、FAT32より早くなってるはず

btrfs sendするときの
-pオプションと-iオプションの違いがよくわからない

>>111
Normally(-iのこと), a good snapshot parent is searched automatically
in the list of 'clone sources'. To override this, use
'-p <parent>' to manually specify a snapshot parent.
A manually specified snapshot parent is also regarded
as 'clone source'.

http://www.mail-archive.com/[email protected]/msg21939.html

>>112
ちゃんと読んでみる
自分以外にこの辺触ってる人ほどんどいなそうで
期待してなかったがマジありがとう

あ、なぜかID変わったけど>>111です
失礼

>>113
俺も触ってねえよw

>>85
スラドにスレ立ってたなw

ZFSの資料のこのページをざっと読んでみた。

http://pthree.org/2012/12/13/zfs-administration-part-viii-zpool-best-practices-and-caveats/

気になったのは,'Do not mix disk sizes or speeds in a single VDEV.'というところ、
500GBの3.5インチのHDDでRAIDを組んだら、交換に2.5インチの500GBのHDDは使っては
ダメなのかな。ディスクサイズは同じだが、性能が異なるとなにか問題が出るのだろうか？

RAIDに違うディスク使うなんて問題外だと思うけど

>>118
なんで?

>>117
ハードウェアRAIDでも同じだけど、RAIDの場合、基本プールは同一性能の
HDDで組む。
回転数、サイズが変わると、当然Access Timeが変わる訳だが、
１本でも遅い奴が入ると、そいつが足を引っ張って、プール全体が遅くなる。
それでも良ければ、動かす分には問題無い。それまでかけたお金が無駄になるだけで。

てか、常識だろ、これ。

まあパフォーマンスを最大にしたいなら同じHDDでRAID組むべきなのは間違いないな。
完全同ロットにするとロット単位の不良が出た場合まとめて死にそうなのでちょっと怖いがｗ

古い記事になってしまうが、↓によると
http://ftp-admin.blogspot.jp/2009/10/zfsraid.html
＞ZFSからLUNの構成をよく見えるようにすると、ZFSはI/Oスケジューリングをよりうまく行える。
らしい（元のwikiはもう見られないけど）から多少は混ぜてても上手く処理してくれるんだろうか？

何にせよ性能面での問題があるくらいで、信頼性とかに特段の問題が出るとは思ってないけどね。
RAID構成してるHDDが壊れたとき同型番のHDDが手に入らなかったらお手上げとかいうわけじゃないしｗ
性能気にしないならDroboみたいにじゃんじゃん混ぜてくださいみたいな製品もあるくらいだし。

タワー型PCに3スロットの3.5インチベイがあり、この3.5インチを

2.5インチに置き換える（1スロットに2個HDD搭載が可能な下駄を使う）と
最大6本のHDDが入るので、省電力で大容量のサーバに出来るかと
思っての質問でした。

一度に換えるのではなく現在RAIDの3本を1本ずつ変えてみる予定。

3スロットで3本のRAIDでは計算が合わない？

5インチベイにシステムディスクとSSDを収納してます。

そもそも、同一ディスクでないと微妙にセクタ数が違ってたりするしな。
結果、同じ論理セクタ番号にアクセスする性能が違ってきたりする。
ひどい時は一本だけ余分に回転待ちが入ることにもなりかねん。
RAIDでなるべくベストな性能を出そうと思ったら同じ物理ディスクを
使うのが正解。

>>122
もしかしてバックアップ取ってないの？
交換してバックアップから戻せばいいだけじゃ

海門やwd、wdで512k,4kセクターのモデルをごちゃまぜで使ってるけど、ここが把握している限り容量が同じならば
同一peサイズでエクステント数は全部一緒だったけどねぇ。

fdiskとgdiskでパーテーションの切り方が違ったらエクステント数違ってきたけど・・・

> 124
バックアップは別のディスクに取ってます。
バックアップのパーティションこそ、圧縮重複排除の効くZFSにすべきなのですが、
ZFSがこけるとバックアップにアクセスが出来ないので、Ext4にしてます。余談でした。

さて、同一ディスクサイズの3.5HDDを2.5HDDに変えて行くのは、3.5HDDで
古いモデルや、新しいモデルが混じっていて、古いモデルをまず更新したと
いうこととが理由です。

>>125
量的には最小ディスクに合わされちゃうからあまり関係無いけど
パフォーマンスにはひびくよ。

ZFS on Linux今の段階でもそれなりに使えそうですね
Btrfsが出るまでExt4で我慢しようと思っていたのですが
うーん、迷う・・・

どんなハード構成か知らないが
やめとけ。

サルベージツールの充実を考えればext系が一番だよな
スナップショットやraidを使いたいならとめないが

度胸一発、俺はbtrfsで運用中だ
バックアップ先もbtrfs
まあ壊れてもエロデータを失くすだけだが

動画や画像なんて大して圧縮効かないしスナップショットもいらないならext4でいいだろ
圧縮が必要でもext4+squashfsの方が圧縮率が高いし

まあ俺も倉庫にbtrfs使ってるんだが…使ってみて圧縮が大して効果なかったと言う愚痴

エロ動画ファイルサーバーを運用してるんだが、既存ストックが大量にあるせいでダブったファイルが大量に発生してディスクの無駄がいっぱい出てる

違うファイルでもクラスタ単位とかで比べて中身が同じならディスク使用領域を共有してくれるファイルシステムが良いんだが、こんな俺にはどのファイルシステムがオススメ？

QuickLZでリアルタイムに圧縮しながら保存出来るファイルシステムがあったな

俺は不勉強なので重複排除と圧縮がどう違うのか同じなのかわからない

不勉強なら勉強しろ

圧縮は普通にファイルの圧縮と一緒
重複排除はブロック単位で重複してる部分をまとめる

>>133
2ch過去ログのみみずんも使ってるNTFS
freedupでハードリンクに変えるとか？
商売ならHDD増設と圧縮重複除去の電気代どっちがお得か試してほしいw

>>133
この板で言うのも何だけど
お金かけて、Windows Server 2012 Essential
もしくは同 Storage Server搭載NAS

フリーだと、手軽でまともなdedupってそんなに無い気がする。

>>138
> お金かけて、Windows Server 2012 Essential

NFS 使えるの？

>>139
標準でNFS Serverは持ってたはずだが？

SUAとか知らないんだろうな

>>141
あれは独自性が強過ぎて使いにくい

いまだに惰性でreiserfs使ってるわ。
過去5年以上ノントラブルで運用できてるんでなかなか乗り換える気しないんだけど、
reiser4は未来無さそうだしどうすっかなー

あと5年位頑張れば未来が見えるかも？

つ 保釈

>>143
7年くらいreiserfsで運用してた自宅鯖を、今月更新してext4に変えた。
スッキリしたよ。

#本当はbtrfsのstable待ちだったんだけど…。

ZFS vs. EXT4 On Linux Multi-Disk RAID Benchmarks
http://www.phoronix.com/scan.php?page=news_item&px=MTM1ODk

>>143

カーネル3.8で取り込まれたと思うけど、それでは不満ですか。
開発自体は地味に続いてるみたいだよ。

http://kernelnewbies.org/Linux_3.9
Experimental RAID 5/6 support and snapshot-aware defragmentation in Btrfs
SSD cache devices

>>147
reiser4は追随こそしてるけど、3.x系へのマージは見えてないよね？
3.9でもマージの可能性はないとされてるようだし。

>>133
中身おなじならリンクにするスクリプトとか書いたら。
てか、どっかにあるんじゃ。

>>148
http://linux.slashdot.jp/story/13/04/30/0748206/Linux-Kernel-3.9-リリース
Btrfsの機能追加：
　RAID5/6の試験的な追加（ただしクラッシュ時にはそのまま壊れる）
　スナップショットを考慮したデフラグ

やだ…カッコいい…

ほう。RAID機能やるのか。btrfsがstableになった暁には家のファイルサーバに入れてみるかな。

>>151
クラッシュ時にデータが壊れることを保障するRAIDとか斬新だなw

>>153
だが、そこがいいw

ワロタ
まあ修復を保証しないくらいの意味なのかな

まだぶっ壊れてて直さないといけないとこあるけど
俺はここまで作ったから
みんなでいじって欲しいみたいなこと書いてあった

>>155
http://linux.slashdot.jp/comments.pl?sid=599724&cid=2373113
>本家の Wiki を読む限りだと、壊れない限りは RAID 5/6 として読み書きできるけど、
>吹っ飛んだ時には五分五分でパリティごと死ぬ（Parity may be inconsistent after a crash）って意味みたいですね。
だそうです

なんだdisk crashするとrebuild出来ないんじゃなくてkernel crash時にwrite hole回避されてないってことか
nodatacowしなきゃ問題なくね？

RAID-Zはsilent crash対策されているというのに…

Crash繋がりで（じゃないかも知れないが）、XFSとNFSの
組み合わせで最近Kernel Crashするようになった。
Kernelを2.6.32-358.6.1.に上げてからなのだが。
OSはCentOS 6.4 64bitです。
＃前のカーネル2.6.32-278.に戻そうかな。

STACKが足りません

http://mkosaki.blog46.fc2.com/blog-entry-1224.html
auto_da_alloc は何の為に生まれたんだろう

fsのエラーで無言でファイル消えたりサイズが小さくなったりする対策ってなんかありますか？

バックアップ

いやまあそうなんだけど。チェックサムを出すようなコマンドを期待してた

cpのあとでcmpで確認するとか

ベリファイでググって引っかかったmd5deepつかってみるわ。んじゃーな

おう。md5deepって超使い辛いから気を付けなよ。

では、使いやすいのは？

md5sumの方がシンプルで直感的かな。
ってかファイルシステムスレなんだし
チェックサム機能付きのファイルシステムについて話すべきでは

そんな気にするなら tripwire とか使えば？

>>163
まずそのFSと周辺レイヤーの構造を教えてくれ

Tux3ファイルシステム、優れたパフォーマンス実現
http://news.mynavi.jp/news/2013/05/08/270/index.html

unlink/deleteをマルチコアで非同期に内部で処理するようにしたから
ベンチマーク内でのIOに割ける時間が増えて、結果としてスループットが上がった？
実際のIO速度でtmpfsに勝てるはずはないしな。

Linux 3.10 Kernel Integrates BCache HDD/SSD Caching
http://www.phoronix.com/scan.php?page=news_item&px=MTM2ODM

https://git.kernel.org/linus/aa8259145ecb8d432685c1167a194094559647a1
- tristate "Btrfs filesystem Unstable disk format"
+ tristate "Btrfs filesystem support"

SDFSというdedup機能があるファイルシステムがあるみたい。

http://www.opendedup.org/quickstart

FUSE経由で動かすので、動作は遅そうがだが、このサイトの
ベンチマークを見る限り、頑張っている様子。

誰か使ってます？

Btrfs In Linux 3.10 Gets Skinny Extents, Quota Rebuilds
http://www.phoronix.com/scan.php?page=news_item&px=MTM2OTI

SDFSをCentOS 6.4にインストールして動かしてみました。
サイトのとおりにインストールすれば、特に問題無く
セットアップは完了。

SDFSは、JAVAで動く、チャレンジ精神いっぱいのシステムです。

アプリ -> ファイルシステム -> FUSE -> JAVA -> ディスク

という階層で動作しているようで、実行中はJAVAのプロセスがかなり
CPUの負荷が大きいです。

mkfsとmountまで試して、負荷のデカさにビックリして評価は
諦めました。

>>160
うちもそれで困ってる。
nfs4 を使わなければ (nfs3なら)問題がでないっぽい。

>180

XFSをEXT4に変えたらKernel Crashは治まったよ。
この後カーネルバージョンアップで直っているかもしれないが、
EXT4にしてしまったので、もはや検証は出来ない。

それで直るという事は単にカーネルスタック不足でないかい

いつの間にbtrfsにsend/receive付いたんだ

結構前からだけど
まともに動いたのはここ一年くらいだったかな

Btrfsは非常に安定した安心なファイルシステムです
togetter.com/li/513383
↑カーネル刺さっとる

まだまだ危なすぎてつかえねぇなｗ

なんか1年ぐらい前からずっとプロダクションレベルって言われてる気がする
Fedoraもかなり前から次はデフォルトにするする言ってたし

一応stableになったZFS on Linuxとどっちが信頼できるんだろうか。

>>187
＞Fedoraもかなり前から次はデフォルトにするする言ってたし
「後藤大地が」が抜けてんぞｗ

>>188
kernelとのインターフェースで、何かやらかしてない限り、
ファイルシステムとしては、ZFSの方がまだマシ・・・な気がする。

まぁ、>>185こんな状況なBtrfsはまだまだじゃないか。

>>186
とりあえず最初はお友達（/var/tmp）から・・・と採用してしまった俺ガクブル

/dev/nullとして使おう

Linuxで利用できる重複排除の対応したファイルシステムをざっと調べてみた。
次のようながプロダクトがある。

lessfs
sdfs
zfs native
zfs fuse
btfs(bedup)

自分が試したのはsdfs、zfs nativeとzfs fuseですが、sdfsはfuse+JAVAの
構成で重すぎ、zfs fuseも安定性イマイチな感じでした。zfs nativeは巨大な
イメージや動画ファイルを扱うと、カーネルパニックになったりするけど、
一般的なファイルの処理なら問題なく使えてます。

現在のところ、重複排除をLinuxで、かつ「無料」で使うという条件の場合、
選択はzfs native一択ですね。

カーネルパニックになったらアカンやろｗ

100GiB の仮想マシンイメージのバックアップに ZFS on Linux 使ってるけど、
カーネルパニックなんか置きたこと無いぞ。

ちなみに、dedup は遅すぎて使えなかった。

うちは1.5TB×3
仮想マシンが元気に動いてます

うちは、raidz2 で 8x(8+2) です。

NAME SIZE ALLOC FREE CAP DEDUP HEALTH ALTROOT
tank 218T 155T 63.3T 70% 1.00x ONLINE -

RHEL7がxfsをデフォルトにするとか

マジか!?

世界最古のジャーナリングFSがいまだに最良ってどういうことなの・・・

JFS1「照れるぜ…」

JFSは俺の中ではなかったことになっている。

XFSは小さなファイルが大量にある場合とかきついと思うのだがなぁ。
でかいファイルばっかなら良いFSだと思うけど。

なんていうかext系がだらしないからこんな事になる

そこで互換性を捨てて新たに作ったbtrfsですよ

もう全部XFSにしちゃおっかなー
大丈夫だよね？

スタックが足りなくなったり
リカバリーにすごいメモリ要求したり
ブートパーティションにできなかったり
は直ったんだっけ

スタック足りなくなるのはカーネルパラメータ調整してコンパイルしたらええんちゃうん？
他はしらんけど

>>204
互換性を捨てて新たに作ったゴミじゃないですか

＞スタックが足りなくなったり
全然だめ
＞リカバリーにすごいメモリ要求したり
あの頃よりは減った
ZFSよりまし
＞ブートパーティションにできなかったり
直す気も直す必要も無い

>>206
> ブートパーティションにできなかったり


これってファイルシステムの機能なの？ブートローダーが認識できるかだけじゃないの？

昔のブートローダはPBR直後からファイルシステム先頭までの空き領域にローダの残りを突っ込むからだっけ。
IRIXはPC/AT由来のそんなお約束シラネーヨなので問答無用でパーティション先頭からXFSが使う。

今はGPTのEFI System領域やGPT/MBR hybrid構成ならBIOS Boot Partitionとかに突っ込む(grub2の場合)から問題ではなくなった。

>>209
kernel stack周りはkernel 3.4.0で改善したんじゃないの?

>>206
grubをmbrに書き込めば昔から出来るよ

おまえら的にNTFSってどうなの

カーネルじゃないから遅いみたいな

MSが仕様書公開してくれたらいいのになぁ、という感じ

http://www.tuxera.com/wp-content/uploads/2009/10/ntfs_perf_usb.jpg

ZFSやってみたいんだけど、ZILがぶっ壊れたらraidzも整合性取れなくなる？
スナップショットまで戻れれば、十分なんだけど。

ZILは後付けや削除が自由に出来るっぽいので、
壊れても速度以外の影響は少ないと思う。

ありがとう
ぐぐると出てくる導入事例では、ZILをミラー構成にしてることが多いから、心配になる
SSDを二つ買う余裕はないから、なんとかひとつでそこそこ安全に運用したい

ZILは高速な書き込みが出来れば良く、信頼性は
さほど重視されていないはずなので、いっそRAMディスクに
しても良いのでは？と思っている。

L2ARCは読み込みが高速で、信頼性も必要なので、
こちらのほうをMirrorのSSDにした方が良いかも。

もっともZILもL2ARCも再起動で初期化されちゃうので、
あまり気にしない方が正解かもしれない。

ZIL RAMディスクとかダメだろw クラッシュしたらどうするんだよw

何したいかにもよるけど、個人(で書き込み回数少ない)ならL2ARC増強した方が体感は上がる。
書き込み速度に不満ないなら単純にメモリ(ECCｵﾇﾇﾒ)をたくさん積めば快適じゃね。

>>221
なんつーデマ流してんだぼけｗ
分からないなら、分からないと言えよ。

ZILは変更ログだぞ。こいつが消えると、ロールバックも出来なくなるじゃねーか。
クラッシュしたときに最も重要なZILを
RAM DISKにするとか、馬鹿を通り越して、もうZFS使わせない方が良いレベルだわｗ

逆に、L2ARCなんて、壊れたら、ディスクから読めば良いだけなんで、どーだって良いんだよ。
ZILが壊れると、最悪の場合、ファイルシステム吹っ飛ぶぞ。

>>223
ありがとう
それが知りたかった！
ということは、ZILを単独ディスクで導入するとSPOFになるということだよね？

ただ、ZILが使われるのはシステムがクラッシュした場合のみ

ZFSの特性上ZILが壊れてもファイルシステムは壊れないはずだよね？

ZILと同じ内容はメモリ上にもあるからZILを切り離そうとしている間に
クラッシュした場合だけファイルの変更内容が失われる程度のリスクだったような

Native Linux Kernel Module Is Out For Microsoft exFAT
http://www.phoronix.com/scan.php?page=news_item&px=MTM5NTQ

http://ja.m.wikipedia.org/wiki/ジャーナリングファイルシステム
ZILが消えても、ここでいう整合性は保たれるということだよね。

http://ja.m.wikipedia.org/wiki/Ext4
ext4は遅延アロケーション後fsyncしないでクラッシュした場合に、書き換えがあっても全部消失する状況には対処したほうがいいとなったみたいだけど。

i-ram「俺の出番のようだな。」

ANS-9010「最強のZILデバイスが求められてると聞いて。」

情報錯綜しすぎw
ZFS使ってる人あんまりいないのかな。
便利そうなのに。

このスレがLinux板にあるのが皮肉である...

こっちもあるよ。

ジャーナリングファイルシステム
http://toro.2ch.net/test/read.cgi/unix/979408065/

こちらにも、あることは､ある。

FS関連スレ
http://kohada.2ch.net/test/read.cgi/os/1137387538/l50

ZFS on Linux 0.6.1でZFSプール作成すると、各HDDにZFSパーテションの後ろに
なぜか8MBのパーテション領域(パーテション番号は9)が自動で作成されるんだけど
このパーテションが何のために存在するのか教えてください。

(parted) p
モデル: ATA ST3000DM001-1CH1 (scsi)
ディスク /dev/sda: 3001GB
セクタサイズ (論理/物理): 512B/4096B
パーティションテーブル: gpt

番号　開始　　終了　　サイズ　ファイルシステム　名前　フラグ
.1　　1049kB　3001GB　　3001GB　　　　　　　　　　zfs
.9　　3001GB　3001GB　　8389kB

すいません、>>234に絡んでもう一つ質問があります。

ZFS on Linux0.6.1で作成したZFSプールはfeature flags(async_destroy,empty_bpobj,lz4_compress)が
有効になっているせいか、FreeBSD9.1でインポートできません。

互換性の為これらのフラグ情報を無効にしたいのですが
プールを作成する際、あるいはプール作成後にこれらのフラグを
無効化するコマンドはありますでしょうか?

>>235
pool作成時にバージョン指定で作れば良いよ、オプション有ったはず。
作成後はむりぽ。
flagが、activeじゃなければ、リードオンリーでならマンウト出来るかもだけど。
あとは9.1を、9-stableに上げるか。

>>236
レスありがとうございます。最初は当該フラグを個別に無効指定すればいいかと思ったけどダメでした。
# zpool create -f -o ashift=12 -o feature@async_destroy=disabled -o feature@empty_bpobj=disabled -o feature@lz4_compress=disabled mypool raidz sda sdb sdc sdd
cannot create 'mypool': property 'feature@async_destroy' can only be set to 'enabled'

仰るとおり、バージョン指定でいけました、FreeBSD9.1へのインポートもバッチリです
# zpool create -f -o ashift=12 -o version=28 mypool raidz sda sdb sdc sdd
# zpool get all
NAME PROPERTY VALUE SOURCE
mypool feature@async_destroy disabled local
mypool feature@empty_bpobj disabled local
mypool feature@lz4_compress disabled local

ZFS on Linux 0.6.1もFreeBSD9.1も、version 28と表示されているので、てっきり
feature flagsもversion 28に内包されるオプションだとばかり思ってたのですが、拡張機能のようなものなのですね。

しかしZFSパーテションの後ろの8MBの領域の用途が未だにわからん。
パーテションタイプを表すGUIDを調べてみると"6a945a3b-1dd2-11b2-99a6-080020736631"で
Solaris用の予約済みパーテションのようだけど。

>>237
プロパティには出てこないけど、feature-flag対応のVerは内部的に5000ってバージョンを振ってる。
後はfeature-flagの対応項目によって、さらに分けてると思う。
feature-flagへの対応が、OSによってまちまちだから。（ライブラリの更新タイミングによって）

そういう意味では、他のOSへpool持ってく事がある場合、Version 28で作っておいて、
アップグレードしないようにする必要がある。
本家と分家すべてのZFSで互換がとれてるのが、28で最後だから。

本家互換のバージョンは28が最後で以後は非互換の5000で固定、
以降の機能追加はバージョンではなくfeature flagsで管理される、という感じ。

>>234
ZFS on Linuxはディスク単位でプールに追加しても実際は>>234のようにパーティションが作られて追加されるわけだけど、
1TB+2TBを2TB+2TBに換装みたいなことした際にちゃんとディスク全体を使ってexpandできるように
（パーティション単位の追加と区別するために）作られるマーカーみたいなもん
・・・なんじゃないかと勝手に思ってる。

>>239
feature flagsでの管理ってのがイマイチ良く分からんのよね、
feature flagsの対応自体に差がある場合の動作が。
試してみろって言われりゃそれまでなんだがｗ

たとえばOI 151p7はlz4未対応だけど、こいつにlz4まで対応したpoolを
移そうとした場合、zl4がdisableされてるpoolなら、インポート出来んのかなーって。
これがエラーになる様だと、結局 28に統一しておく事になっちゃうし。

ま、通常poolの移動なんて、システム一式入れ替えてOS変わるときとか位だから、
大抵、入れ替えたOSの方が新しい物になってて、気にしないって事の方が多いだろうけど。

誰か3.10のbcache使ってみた？

誰か3.10のbcache使ってみた？

いままでのbcacheと何か大きく違うの？
違わないのならそこそこ安定して使えると思うよ。

# zpool list
NAME&nbsp; &nbsp;SIZE&nbsp; ALLOC&nbsp; &nbsp;FREE&nbsp; &nbsp; CAP&nbsp; DEDUP&nbsp; HEALTH&nbsp; ALTROOT
tank&nbsp; &nbsp;3.62T&nbsp; 3.25T&nbsp; &nbsp;380G&nbsp; &nbsp; 89%&nbsp; 1.00x&nbsp; ONLINE&nbsp; -
# zfs list
NAME&nbsp; &nbsp; USED&nbsp; AVAIL&nbsp; REFER&nbsp; MOUNTPOINT
tank&nbsp; &nbsp; &nbsp; 2.36T&nbsp; &nbsp;234G&nbsp; &nbsp;581K&nbsp; /tank

上のALLOCと下のUSEDが一致しないんだけどこの差の1Tはどこにいってしまってるんだろうか

訂正

# zpool list
NAME SIZE ALLOC FREE CAP DEDUP HEALTH ALTROOT
tank 3.62T 3.25T 380G 89% 1.00x ONLINE -
# zfs list
NAME USED AVAIL REFER MOUNTPOINT
tank 2.36T 234G 581K /tank

>>245
poolの構成書けよ。

zpool → poolの総使用量
zfs list → パリティ分を除いた、実使用量な。
＋alloc済みで解放されてねー分が入ってんじゃねーの？

>>246
poolの構成：1TBx4のRAIDZ1　です
ああなるほどパリティの分ですね
1Tx4台のRAIDZだと実際使える量はこんなもんなんですね
4TiB≒3.64TB
3.62TB*(3/4)=2.72TB

つか、よく見れば、残りの空き10％しかねーじゃん。
ZFSは安定的に使いたければ、使用量80％までで使うこった。

>>248
まじっすか？
じゃあそれを守るとしたら総量がでかくなればなるほど無駄な領域が増えてくのか

例えば代替セクタのように考えて、無駄と感じないようにすればいいのではなかろうか

>>249
機能的にスナップショットやデータの配置換えを裏で実行するタイプのディスク装置やファイルシステムの場合、
作業領域が必要な場合が多いよ。

ディスクは 1000Byte = 1KB 表示で OS 表示の場合と違う分目減りする、RAID のパリティで目減りする、
ファイルシステムフォーマットで目減りする、スナップショット等の作業領域で目減りするなど、
減る部分が多いので、ディスク装置の販売・購入する場合には、(特に予算を握っている人たちに)
事前に説明しておかないとトラブるので注意が必要です。

>>250
無駄は言い過ぎたかな
>>251
なるほど
ちょっと考え直した方が良さそうですね

PCIにSSDを接続するキットを買って来た。
http://www.amazon.co.jp/gp/product/B0061XI1B0/ref=oh_details_o02_s00_i00?ie=UTF8&psc=1

タワー型PCに装着したら、LinuxからはSSDは/dev/sdaに見えていて、
by-id では ata-INTEL_SSDSC2CT120A3_CVMP235605ZZ120BGN となっている。

ZFSを始めたころはCentOS6のデバイス命名法に慣れていなかったので、/dev/sdaとか
平気でzpoolの引数に使っていたが、USBやPCIにデバイスを挿す度に、デバイス名が変わるので、
最近はby-id とか by-uuidを使うようになってきた。であるので、ata-INTEL_SSDSC2CT120A..
と長くなっても別にいいのだが、入力は誠に面倒である。

zpool iostat -vの出力が横に長くなって、画面からはみ出しそうだ。

>>249
80%までに押さえる必要があるのは、パフォーマンスを考えての事だけどな。
これはSUN/Oracleでも言われていること。
ZFSはCoWのファイルシステムなんで、空き領域が少なくなると、
データコピーの段階でパフォーマンスが落ちる。

ついでに、あまりにも空き領域が少なすぎると、
ファイルの削除もまともに出来なくなるからな。

>>254
母数が大きくてもその 80% はかわらない？

ZFS nativeでzvolの読み書きが遅いので、調べてみたらvolblocksizeを
初期値の8kから64kにすると速くなった。

https://groups.google.com/a/zfsonlinux.org/forum/#!searchin/zfs-discuss/volblocksize/zfs-discuss/e-EsXN8L-HM/CQxcnPUWKqgJ

ddの書き込みが20MB/sから80MB/sに向上したので、64kをさらに大きくすると
どうかと思っている。

volblocksizeの最適値の情報はありませんか？

>>256
シーケンシャルアクセスが多いならブロックサイズ(チャンクサイズ)を大きくしたほうが速いのは RAID 共通でしょ。
最適値はランダムアクセス／シーケンシャルアクセスの利用比率によるから、dd だけで速くなった・遅くなった
を語るのは早計だとおもう。

ZvolにはKVMのイメージが載っていて、それらの実行が遅いので、
いろいろ試行錯誤しているわけです。

とりあえず、128kにして様子見してます。

バカは帰れ

ZFSでドライブを交換しようとしてミスってしまった
とりあえずpoolを一旦destroyしてimportしなおそうとしたんだけど

# zpool import
state: UNAVAIL
status: One or more devices are missing from the system.
action: The pool cannot be imported. Attach the missing
devices and try again.
config:
　 tank UNAVAIL missing device
　　 raidz1-0 DEGRADED
　　　 ada3p2 ONLINE
　　　 ada0p2 ONLINE
　　　 476911582231808081 OFFLINE
　　　 ada2p2 ONLINE
　　cache
　　　 dsk/ada4p5
　　spares
　　　 dsk/ada5p2
　　logs
　　　ada4p4 ONLINE
# zpool import tank
cannot import 'tank': one or more devices is currently unavailable
となってimportできない
-fや-Fをつけても一緒で-Xをつけると動き出すけど20秒ぐらいでOSがリブートする
交換しようとしたHDDは壊れてないんだけど仮に壊れたとしてもRAIDZ1だから復旧できるはずだよね？
どうにか復旧させる方法はないでしょうか？

-Dも試しました
OSはFreebSDです

なにミスったのかもわかんねーし、
なんでdestroyしてんだとか、やってることが全く意味不明なんですけど。

>>262
はい、すいません自分でも意味不明ですバカです
＞なにミスったのか
何をしたのかちょっとあやふやなんですけど
replaceしようとしてなぜか間違えて交換用HDDをaddしてしまう
addしてしまったHDDを削除しようとしても削除できない→destoroyする

基本的にdestroyしても復活させるのはできますよね？

あ、すいません交換用HDDをつないでimportしたら出来ました
NAME STATE READ WRITE CKSUM
tank DEGRADED 0 0 0
raidz1-0 DEGRADED 0 0 0
ada3p2 ONLINE 0 0 0
ada0p2 ONLINE 0 0 0
476911582231808081 OFFLINE 0 0 0 was /dev/dsk/ada1p2
ada2p2 ONLINE 0 0 0
da0s1 ONLINE 0 0 0
今この状態です
# zpool remove tn1 da0s1
してもremoveできないのですが削除するにはどうしたら良いでしょうか

あぁ・・・addしちまったのか。
それだと現状、壊れてるvdev + addしたHDDのRAID0状態にpoolがなっちまってるな。

ZFSはmirrorの片割れしかdetach出来ないんで、
いったん中のデータ全部退避して、poolをdestroy > createしなきゃ、もう無理だわ。

>>265
ああやっぱりそうですよね作り直します
ありがとうございます

やっちまった、ZFS上のファイルを間違って消してしまった・・・
スナップショットもとってないんだけど、ZFSに対応した復元ソフト何か無いですか？

スナップショットについて質問します。
現在、Linuxで実用的に使えるスナップショットの仕組みはLVMが一般的です。
ただ数年前にベンチマークを取ったとき、LVMはスナップショットの作った時の
速度低下が通常時の1/3〜1/4になったと記憶しています。

現在開発中のものも含めて、なにか良いスナップショットの仕組みはありませんか？
ZFSが一つの候補になりそうですが。

つ Btrfs

ZFS nativeでしょう
使ったことはないけど

SolarisでのZFSの使い勝手はUFSのときと別次元ですから。

ZFS上のデータをスナップショットの情報も含めて
別のファイルシステムにバックアップを取ることは可能でしょうか。

zfsの最新ファイルのみ別ファイルシステム上で閲覧できて、
差分ファイルは別途保存しておくようなことができるのが理想なのですが

>>271
上と下で書いてる事が、矛盾してる気がするが。

もう1台ZFS鯖立てて、send/receive。

>>271
上：どうしてもZFSじゃないfsに保存したいならsendして受け側でtarで固めて置けば？
下：rsyncでもすれば？（適当）
どっちにしろ>>272以外の方法をとる理由が思い浮かばないけど。
俺は2TBのzpoolに最新スナップショット（@latest）だけ置いといて、
定期的にスナップショット取っては3TBのzpoolに@latestとの差分sendしてるよ。

>>268
ZFS on Linuxオススメ
0.6.1以降は結構簡単に使えるよ

>>271,272
レスありがとうございます。やっぱりもう一台zfsが必要なんですね。

現状ntfs上にバックアップをしており、一部世代バックアップが必要な状況です。
今はAcronisTrueImageの増分機能で補っていたのですがそれも大変なため、
バックアップのバックアップ先としてzfsを仮想PCで動かそうと考えていました。

最新のバックアップはntfs上に配置し、
zfsでスナップショット管理を行うつもりでしたが、
それを行うとzfsのHDDが逝ったときに過去のバックアップなくなることに気づき質問しました。

ん？NTFSにもシャドウコピーっていう機能があるんだけど

唐突だがlinux上からfat32をデフラグするツールない？

富豪的な今の時代だと、データをコピーして領域フォーマットしたあと、戻せばいいだけなんじゃないの
FAT32が円盤メディアで使われる時代でもないし、あまり意味があるとも思えないのだけど

ですよねー了解

btrfs-nextにoffline dedup来た。
onlineもパッチ飛び交ってる。
まとめて3.12に入るかな。

ZFS on Linux 0.6.2来てた
ttp://zfsonlinux.org

更新内容は以下
ttps://groups.google.com/a/zfsonlinux.org/forum/#!msg/zfs-announce/DOAuSF7kjsU/jwN3a7Ts3RgJ

zfsいいね

zfs on linuxって速度はどうなの？
今度NAS建て替えるんだが、参考にしたいからベンチマークしてるサイトとか教えろください

zfsで構築してベンチした結果うｐ汁

ZFSってバグ多くね? wwwwww

btrfsの悪口は

>>285
http://blog.livedoor.jp/hkoie/archives/54295769.html

どなたか教えてください。

JFFS2 warning: (1873) jffs2_do_read_inode_internal: Truncating ino #24 to 614400 bytes failed because it only had 370650 bytes to start with!

dmesgに上記ログが。
どういう意味か教えてください。

ZFSのアップデートでyum update を実行して、0.6.2に上げて見たが、
dkmsでweak-updatesの処理を失敗したらしく、再起動後ZFSの
カーネルモジュールのロードが出来なくなった。

一旦ZFS、SPL関連のパッケージを削除して、再度ZFSを
インストールしたが、バージョンアップした人で、同じ現象に
なった人はいますか？

>>283
シングルドライブでの性能はext4やbtrfsより悪い
ttp://www.phoronix.com/scan.php?page=article&item=zfs_linux_062&num=1

RAIDだとmd + LVM + ext4より上
ttp://www.phoronix.com/scan.php?page=news_item&px=MTM1ODk

>>289
同様の事例がMLに上がってる
ttps://groups.google.com/a/zfsonlinux.org/d/topic/zfs-discuss/KxiwtyMbNvc/discussion

はやくWindowsでZFS使えるようにしてほしいんですけお・・・

windows使いならNTFSで十分だろ

ZFS使ったこと無いけど acl/xattr 使えるみたいだし samba 経由でいいんジャマイカ？

samba経由で使ってるけど普通に使えるよ。

vfs_shadow_copy2使って古いファイルも取り出せる。

まあローカルで使いたい気持ちもあるよね＞ZFS
ホームディレクトリをsend/recvでバックアップとかもしたいし。
Linux/Macなら既にできるけど・・・

ファイル名長が問題になってきたな
業務ファイルのやりとりでファイル名が長すぎるせいでzip展開できんとか出てきた

それはやってる業務の方を見直すべきでは。

今の時代に256byteなんてせこいこと言ってるなとは思う

>>296
もう中身空でファイル名だけでいいよ。
内容から一覧を作成するコンテンツマネージャを使えばいい。

UTF-8だと日本語85文字だからなぁ＞255byte
まあそれでも長すぎるけど、最大ファイルサイズや最大ボリュームサイズと違って現実的に到達しうる数字ってのは微妙だな。
（日本語でもあるけど）合成文字を多用する言語圏だと見かけ上1文字で10文字（30byte）近く使うような文字もあった気がするし。

>>299
リソースフォークとかmacの悪夢再び

zfsの運用方法でアドバイスください(CCやVSSの使用は考えていません)。
Windowsの開発を例として以下のファイルシステムとスナップショットがあるとします。
/src/windows
/src/windows@XP
/src/windows@7
/src/windows@8
�@ここで@XPにロールバックした場合@7と@8は削除されて復元は不可能でしょうか

また、この状態でXPのSP2、SP3を開発するとなった場合、
�Acloneで新しくファイルシステムを作成して以下のような形にする認識でいいでしょうか
/src/windowsXP
/src/windowsXP@SP2
/src/windowsXP@SP3
(つづく)

(つづき)
上記の場合だと以下のような構成になるかと思います。
/src/windows
/src/windows@XP
/src/windows@7
/src/windows@8
/src/windowsXP
/src/windowsXP@SP2
/src/windowsXP@SP3
�Bすべて/src/windowsのファイルシステムで完結させて、
各スナップショット(@XP、@7、@8、@XPSP2、@XPSP3)を管理することは
普通は不可能でしょうか。
(/src/windows@8をとった時点でcloneしたXPからごっそり中身を移植するのでは、
dedupしてない限り容量効率が悪くなりますよね？)

>>302>>302
�@不可能です
�A
# zfs clone src/windows@XP src/windowsXP
としたならそういう構成になります
ただ（つづき）の時点ではwindowsはwindows@8より新しく、windowsXPはwindows@SP3より新しいことに注意
�B
管理、の意味がちょっとわからないけど。とりあえずデータセットを枝分かれさせるようなスナップショットは取れません
（というか枝分かれをさせるための機能がclone）
/src/windowsの@XP作成後に加えた変更の/src/windowsXPに加えた変更をマージするのは人手でやるものでは・・・ごっそり移植とは？

ファイルIO用用ベンチマークプログラムは何使ってる?

>>304
レスありがとうございます。

�Bの移植については�@の状態から
手動でwindowsXPの状態をwindowsにコピーすることを考えています。

i. ミラーリングの場合
# zfs clone src/windows@XP src/windowsXP
# robocopy /src/windowsXP /src/windows /MIR
# zfs destroy src/windowsXP

ii. 全削除、全コピー場合
# zfs clone src/windows@XP src/windowsXP
# rm -rf /src/windows/*
# mv /src/windowsXP/* /src/windows
# zfs destroy src/windowsXP

上記どちらの場合でも>>303より余分に容量をとってしまい、
特にiiの場合はiよりもかなりの容量を必要にすると思っていますが、
間違いないでしょうか

＿人人人人人人＿
＞　robocopy　＜
￣Y^Y^Y^Y^Y￣

>>307
あ、ほんとだ。winと併用してるから間違えたｗ
rsyncで読み替えてください

Winに疎すぎてrobocopyの存在を知らんかったｗ

>>306
メインのsrc/windowsには@XP以降の修正を置くようにしたいのであれば、
windowsXPをpromoteしてからrenameすれば容量そんな食わないのでは？
# zfs promote src/windowsXP
# zfs rename src/windows src/windows_old
# zfs rename src/windowsXP src/windows
とすればiやiiの結果と同様にpromote前の/src/windowsXPが/src/windowsに成り代わる。
src/windowsは@XPを持ち、src/windows_oldは@XPを親とし@7、@8のsnapshotを保持する

イメージとしてはこんな感じ。
http://pastebin.com/SHkQn0JY

>>309
自己レスだが@SP2、@SP3の存在を忘れてた。含めるとこんな感じ。
http://pastebin.com/sXx5ueix

>>305
さくっと計りたい時　bonnie++
ブロックサイズ指定とか細かくするなら　fio
DB乗せるストレージを計る時　ORION

そう言うオマイは何使ってんのさ？

お手軽に計測したいときは dbench
評判が良さそうなので iozone もためしたけどgnuplotとの連系はうまくいかなかった。

hdparmは？

ブロックデバイス測ってどうする

おお！なるほどなるほど！
デバイスに対する読み書きのテストって良く考えたら、
パーティションもファイルシステムも選んだ覚えないな！

手持ちに何も無い場合は、ddコマンド。
シーケンシャルでの結果しか判らないが、
書き込みは

dd if=/dev/zero of=testfile bs=1M count=400 oflag=direct

読み込みは

dd if=imagefile bs=1M count=400 oflag=direct > /dev/null
※imaegefileはOSのDVDイメージ等を利用

だいたいの傾向が判るので重宝してます。

>>316
なるほどddだったらどこでもすぐテストできますね。
dbenchとはかなり違った傾向で特にSSDは低めな結果になりました。

direct i/o測ったりしたい場合は素直にfioかなぁ。
fioは色々レシピ作れるので、負荷テストとベンチマーク兼ねた使い方もできるし。

>>316
ddで元ネタに/dev/zeroを使うのは、圧縮が効くファイルシステム(btrfsとか)や
ディスクコントローラ(SSDに多い）だと、見掛け上ものすごい性能が出るから
当てにならないよ。

ワーストケース（というか実際）の性能を知りたければ、自前で乱数列を生成する
スクリプトか何かを書いて、パイプでddに流し込むべき。

自前で乱数列生成するにしろ/dev/urandom使うにしろ
それなりにCPU食うしそっちの生成速度に律速されちゃうからなあ。

書き込みテストだったら事前に別ディスクに置いたランダムファイルをcpで計れる？

なんとなく標準コマンドでなんとかできないかなぁと手抜き思考してしまうけど、
fioみたいなツールをちゃんと入れた方がいいよね。
NASだったら実利用想定ってことでWinから繋いでCDMで計ったりするけどｗ

>>320
線形合同法程度で充分だろ
乱数の質が問題になる命題じゃないぞ

バカ発見age

iozone試した
何か結果がおかしい
もしかして、平均の計算を間違う場合があるのか?
下がおかしかった結果の例

% iozone -i 0 -t2 | fgrep throughput
Children see throughput for 2 initial writers = 446016.69 KB/sec
Parent sees throughput for 2 initial writers = 18813.84 KB/sec
Min throughput per process = 446016.69 KB/sec
Max throughput per process = 446016.69 KB/sec
Avg throughput per process = 223008.34 KB/sec
Children see throughput for 2 rewriters = 1120345.00 KB/sec
Parent sees throughput for 2 rewriters = 23667.69 KB/sec
Min throughput per process = 0.00 KB/sec
Max throughput per process = 1120345.00 KB/sec
Avg throughput per process = 560172.50 KB/sec

% iozone -i 0 -t2 | fgrep throughput
Children see throughput for 2 initial writers = 85377.49 KB/sec
Parent sees throughput for 2 initial writers = 4710.04 KB/sec
Min throughput per process = 85377.49 KB/sec
Max throughput per process = 85377.49 KB/sec
Avg throughput per process = 42688.75 KB/sec
Children see throughput for 2 rewriters = 153710.77 KB/sec
Parent sees throughput for 2 rewriters = 10564.90 KB/sec
Min throughput per process = 76323.43 KB/sec
Max throughput per process = 77387.34 KB/sec
Avg throughput per process = 76855.38 KB/sec

なにこれ
http://open-zfs.org/

>>325
カーネルへネイティブに組み込めるようになる日も近いのかな
とりあえず頑張って欲しい

>>326
いや、さすがにライセンス変更はまず無理。Oracleが変えない限り。
全コードを書き換えられりゃ可能だろうけど、不可能に近いんじゃ。

現状、Illumosのコードベースに各OSがポートして使ってるけど、
ZFSそのもののバグ修正や機能追加とか、纏める所が無かったってのと、
このまま放置すると、OS間でのZFS互換性も問題なりそうだから、
その辺とりまとめるプロジェクトつくったぞーって事かと。

>>326
えっ
ZFSってユーザーランドで処理してるの?

バカ発見age

>>325
構想中みたいな話はどっかで聞いてたが絵空事じゃなかったんだな。
元々（ライセンス的に）カーネルにZFSを組み込めないZFS on Linuxの開発が進んだ結果
カーネル絡みのコードとZFS絡みのコードがうまいこと分離できてきて副次的にMacへの移植に流用できたりしてたので、
だったらカーネル非依存な共通のコードベースがあればみんな幸せよね、みたいな話だった気がする（適当）

凄く楽観的に考えるとほとんどillumosだけでやってたZFS本体のメンテナンスにBSDやZoL界隈の人たちも加われれば
ZFSそのものの開発も加速しそうな気はする。

>>326
デフォルトで組み込むのはOracleの気が変わらない限り（≒永久に）無理だし、後付けのZoLならもう出てる。

>>327
プラットフォーム間の互換性問題はfeature flagsである程度見通しは立ってたけど
OpenZFSでそれもちゃんと保証されるようになると安心だわな。

zfs-fuse、またはzfs on linuxのことで質問させてください。
・裸族の集合住宅(USB3.0でHDD複数接続)上にzfs領域を作成できるか
・何かの事故でPC起動中にHDDのUSBが抜けた場合どのような状態になるか
　(USBのケーブルをさし直せば破損等はなくもとの状態に戻る？)

http://blog.livedoor.jp/ush4xt/archives/2010-07.html
今もあんまり速くなってないような気がす
iozoneで確認したやついますか?

>>331
> ・裸族の集合住宅(USB3.0でHDD複数接続)上にzfs領域を作成できるか
普通は出来るが、この手の外付けケースは往々にして妙に凝ったコントローラを
内蔵していて、ちゃんと設定しないと勝手にRAIDだのJBODだのを
やらかしてくれるので、個別のディスクとしてアクセス出来るように
ディップスイッチなどで設定をいじる必要はあるかもしれない。

> ・何かの事故でPC起動中にHDDのUSBが抜けた場合どのような状態になるか
> 　(USBのケーブルをさし直せば破損等はなくもとの状態に戻る？)
意味が分からん。この手の製品ではUSBはPCの間で接続に使われるだけで、
内部のバックプレーンと個々のHDDはSATAでつながってるんだが。

個別のディスクの取り外しに付いては、いきなりディスク引っこ抜いて
破損が無いことを期待するのは常に間違っている。
RAID-ZなりRAID-Z2なりでpoolを構成しとけば、
プールがデグるだけでシステムは稼働しつづけることができるけど、
再接続時にはいろいろと面倒があるはず。

>>333
例えばfatのUSBメモリをPC起動中に抜いたとしても、
書き込み途中とかでない限りはさし直せばだいたい問題ないかと思います。

zfs(raidzは未使用)の場合にUSBが抜けた場合はやはり面倒なことになるのでしょうか？
それとも複数ディスクで1つのプールを作ってるか否かで変わってきたりするのでしょうか

>>334
いまいちよく分からんけど
別にzfsだからといって何か特別なことは起きない
fatと比較した場合ジャーナリングがあるからfatなら壊れる場合でもzfsなら大丈夫という状況はあり得る

ntfsのHDDを7とXPで使っていたのですが、iOS10.8のMacを追加で購入したため、
余っているLinux機をファイルサーバにしてWinとMacの両方からHDDを使いたいと思っています。

いままで使っていたHDDをLinux mint 15 KDEで使用する予定ですが、HDDはいざというときのためにWinやMacでも読める
ファイルシステムにしたいと思っています。
この場合ntfsをそのまま使うよりはexFatにフォーマットしなおしたほうが無難ですか。
最近ではntfsもかなり安定しているという話なのでntfsそのままでも特に問題ないでしょうか。

Linuxではntfsの性能が落ちるという話も聞く一方で、exFatはそもそも非常に遅いという話も散見します。
多種のOSから使用する際のファイルシステムでおすすめ教えてください

Linux動かすんならext4かXFSあたりじゃないと性能がでない。
外部HDDとして読むのはLiveUSBとかFUSEでどうとでもできるから
そこまで考えることでもないとおもう。

>>336
いざという時のためには、tarで固めてvfatでCDRかなんかに焼いとく。

良い良い言われて熱狂的な信者がいるFSが全然主流にならないのはどしてなの？

>>339
信者しかいないからだろ

>>337,338
たしかにLiveUSB使えばLinuxマシンが死んでもWin機にLiveUSB入れれば問題ないし、
Linuxで使う以上はLinux向けファイルシステムを使うべきなのはわかるのですが、
下みたいなことがあるといろいろ面倒かなと。

1, LinuxマシンとWin機が同時に死亡
2, Win(TrueImage)やMac(Timemachine)のバックアップはバックアップソフトが未対応のFS上に配置されてる
3, Win(TrueImage)からもMacからもバックアップにアクセスできず手が出せない

上みたいな場合に、PC修理 -> LiveUSBでLinux起動 -> ntfsのUSBにバックアップコピー -> 復元
みたいな手順を踏むことになる上に、修理完了するまではファイルにアクセスもできないというのはなかなかしんどいため、
多少性能を落としても全OSからアクセスできるファイルシステムのほうが無難かなと思った次第です

WinとMac両方で仮想マシン（Linux）を作っとく

>>341
> 1, LinuxマシンとWin機が同時に死亡

こんなケースまで考えるなら、素直に Linux マシンの予備持っときなよ...
raspi とかなら、数千円程度だし。

>>336
そんなものはない
いざというときはliveCD使えばいいのでwindowsで読める必要はないと思う

USBメモリにminimal環境のLinuxをインストールしてサルベージ用にする、という手もある。
sambaサーバーやFTPサーバー入れておけば、そのまま臨時サーバーにもなる。

Win8なんか既にサンドボックスを実装してる。
そして、活用済みだ。
これは7との大きな違いのひとつだね。

何言ってんだこいつ

初期のintel macではlinuxのlive cd動いてたけど最近のは無理なのか？
さすがに三台全部壊れることは稀だろう。

sambaとかで共有してるボリュームがあるHDDを
別マシン（特にWin）に直接繋いだらuidとかパーミッションぐちゃぐちゃになって問題を悪化させるだけだろうな。

iOSとか書いちゃう>>336の知識から推察すると、今まで通りWinにファイル置いて
ファイル共有経由でMacから参照できるようにした方がまだ良いだろう。

>>349
NTFSやexFATのHDDでもWinに繋ぐだけでパーミッションがぐちゃぐちゃになるとは知りませんでした。

みなさんにご指摘いただいた通りLinuxをファイルサーバにする以上
わざわざNTFS、exFATにせずext4あたりを使ってLinuxのみで運用しようと思います。
ありがとうございました。

>>339
ZFSのことなら
・Windowsでは使えない
・Mac用は安定版がかなり古く、新しいものはまだ不安定版
・Linux用はライセンスの都合で公式のカーネルに含まれてない
ってのが原因だな

>>339は板的に「Linuxでの主流」ってことなんだよな？FS全般なら「MSが採用する気が無い」で終わってしまうｗ
信者がいるってイメージ的にbtrfsとZFSしか浮かばんけど前者は主流になる完成度じゃないし後者はライセンス的に主流にはなれないよね。

zfsは試しに使う分にはコマンド簡単だしスナップショット便利なんだけど実用するには億劫なんだよなぁ。

256〜500GBくらいで余ってるHDD複数台を束ねたいものの、1台死ぬとどのファイルが欠けるかわからないんだよね？
かといってしょぼいHDDを再利用するのが目的なのにraidなんて面倒で組む気しないし、
何より組めるほどHDD容量の組み合わせが揃ってるわけでもない。

RAID5でディスク複数壊れた俺は、
あの時小さく悟りを得たと思うｗ

MSはパクってNTFSのバージョン増やすだけ。

NTFSもZFSも自由に使えれば良いのにねー
結局FSはOSの重要な要素なんだよね

れ、ReFS

>353
> 1台死ぬとどのファイルが欠けるかわからないんだよね？

それを万能に解決する仕組は他の FSでも存在しないでしょ

ZFS なら

* HDDの大きさが揃っている -> mirror/RAID-Z/RAID-Z2/RAID-Z3

* 大きさバラバラ -> copies という属性で FS 内の(mirror的な)冗長度を設定可能
複数のデータコピーは「可能な限り」別々のHDDに放り込まれるので，
HDD外してもある程度はデータが生存できるのかも(使ってないから知らない)

要するにヤワいmirrorみたいな概念だけど，おてがるに設定できる仕組．

copiesはチェックサムエラーが発生した時にはなんとかしてくれそうだけど、HDDぶっ壊れたときでもなんとかなるんかね？

大きさが揃ってないときはあれだ、drobo式でパーティション毎にn-1のRAIDZ/mirrorを組めばいいｗ（droboみたく拡張はできないけど）

>>358
copiesは初めて知ったからちょっと調べてみる。
圧縮ファイルでいうリカバリレコードみたいなもんかな？

でもまぁゴミドライブ複数たばねてメインドライブのバックアップ先にする程度が無難な気がしてきた。
USBケーブルごてごてさせて複数台繋ぐのも不便と言えば不便だけど。
かといってゴミドライブ接続するためにポートマルチプライヤ買うのも何か間違って気がするしいろいろ難しいな。

>>360
copiesは、単純にHDDの中に同一ファイルを、複数保存するって事だ。
2copysなら2分の1、3copysなら3分の1の容量になる。

一部のセクタが読み取り不能になっても、正常ファイルを読み込めるって事だな。
HDD自体が死んだら、RAID組んで無い限り、意味ないけど。

>>361
なるほど俺がいままで各HDDのハッシュ一覧出力してdiffとってたのが、
容量は犠牲になるものの全自動になるのか。それは確かに便利だなぁ。

今時のHDDってセクタ単位で死ぬことってある？
300GBあたりを越えると安HDDでも誤り訂正符号で書き込まないと品質を維持できなくなってる
らしく、それぐらいの容量の HDD ではセクタ単位の死亡ってあまり聞かない気がするが、
俺の気のせいかな？

DVD-R とかだと copies 的な機能は欲しいが、壊れやすいのはアクセス頻度の高い？
ディレクトリやスーパーブロックだったりするのが困る。

死んでなくてもbit rotは起きる

SMARTで代替セクタ増えてたら死んでるんじゃないの？（適当）
実際死んでるかはともかくとしてソフト的にしろハード的にしろなんらかの問題が起こって不整合起こすことはままある。
特にSMARTエラー出てないアレイでzpool scrubかけてチェックサムエラー出たことはあるよ。

2TBのHDD2台でLinuxを使ったファイルサーバを組みたいと思っています。
用途は"各PCのバックアップ"と"各PC間でのファイル共有"で、
それぞれHDDを1台づつ(2台くっつけてzpoolでまとめたりしない)使おうと思っています。

バックアップ用のHDDはスナップショット機能が欲しいのzfsでマウントしようと思っていますが、
ファイル共有用のHDDはスナップショットは特に必要ない(操作ミスでの削除対策や破損対策くらい)ので
EXT4あたりが無難でしょうか。

HDDを増設する際に便利そうなのでzfsにすることも考えたのですが、
容量が圧迫されると不安定になったり、HDDを増設してHDD2台で1プール構成にすると片側HDDだけをはずせないとか、
1つのファイルが複数HDDを跨ぐように配置されるとHDDが壊れたときの損害や破損状況がわかりづらいと聞いて
デメリットは大きいように感じています。

その用途ならどうでもいいです

>>366
ファイル共有用はバックアップしなくていいの？
ext4はぶっ壊れた時に泣けるから、覚悟があるならどうぞ。

どのファイルシステムでも容量カツカツまで使ってはいけない。COWだからより影響が出やすいだけで。

zfsとかraidとかではストレージの取り外しは避けるべき。
ファイルサーバは壊れるまで電源すら落とさずつけっぱなしで放置するようなもの。

ファイルが分散しているのはパフォーマンスの改善と耐障害性のため。
NetAppとかIsilonの高めのNASでもストレージ/ノード両方でファイル分散させて、かつパリティも分散させてる。
どのようにばらまくかが設定できるこんな感じで。
ttp://s2.gazo.cc/up/17007.png


まあ、zfs快適に動かすならそれなりにリソースいるから好みでいいんじゃない。
HDD1つでも圧縮とかメリットあるわけで。

>>366
バックアップ先の方が、元のオリジナルもあるんだから壊れてもリカバーできるんじゃないの。共有用だとそこにしかなかったとかありそうだけど。

>>368,369
ファイル共有用のバックアップはVPNで繋いでる外部のPCにWAN越しで1ヶ月に1回程度の間隔でミラーリングしています。

zfsで懸念してたHDD2台で1プール作るっていう部分も最悪HDDごとにプールわければ何の問題もないし
圧縮やチェックサムなんかの機能も考えたらzfsじゃなくext4を使う理由がさほどない気がしてきました。

zfsの導入を考えているのですが、以下のような運用は可能でしょうか。
PC1とPC2に単一HDDでzfs環境を構築する。
PC1は常時稼働、PC2は雷などによる被害を回避するため基本的には落としておく。
ある程度ファイルの更新が溜まったらPC1からPC2にsend/recvしてバックアップ。

ミラー、raidをせずにsend/recvでバックアップを行っている場合、
1, PC1がチェックサムエラーを起こした場合にスクラブなどで破損部分のみ復旧可能ですか？
2, もし1が不可能な場合PC2からPC1に破損したファイルを丸々上書きコピーすると、
　過去のスナップショット時のファイルは破損したままになり、
　消費するHDD容量は破損ブロックのみではなく破損ファイル分の容量を更に消費する認識で問題ないですか？

>>371
大前提として、scrub はエラーを修復するコマンドではない。エラーを発見するコマンドだ
発見されたエラーは、可能な限り自動的に修復されるが、それは副作用に過ぎない
copies とか パリティがあれがカバーされるが、ファイルシステムとしての健全性と、単体ディスクのそれは違う

> 過去のスナップショット時のファイルは破損したまま

なんでそう思うのかが謎

>>372
371 ではないが...
send/recv ってことは日時、アドレスが特定されるブロック情報がやり取りされるわけだから、
理論上は破損したブロックを recv したプールから修復できそうなもんだが。
それっぽいコマンドが無いからそういう機能はなさそうではあるが。

> なんでそう思うのかが謎
じゃぁ破損したファイルはスナップショットではどう見えるの？アクセスした瞬間に修復不能判定で lost+found 送り？

ま、個人的には scrab でエラーが出るようなディスクを運用し続ける気にはなれないが。

>>373
> 理論上は破損したブロックを recv したプールから修復できそうなもんだが。

ファイル一式あるのに、そのブロックだけ持って来ても大抵の場合はあんまり嬉しくないからだろうね

> じゃぁ破損したファイルはスナップショットではどう見えるの？

どう見えるもこう見えるも、コピー先のファイルは、コピー先のディスクもファイルシステムも壊れてなければ
普通に見えるだろう

> アクセスした瞬間に修復不能判定で lost+found 送り？

なんでそう思うのかが謎。コピー先とコピー元の区別がついてないんじゃない？

コピー元の話をすれば、元々そのブロックを含むファイル全体が読めればなんのエラーも出ないだろうし、
スナップショットが取ってあっても、そのブロックが書き換えられてなければファイルとしては壊れてるだろうし、
書き換えられていて、かつ元のブロックにエラーがなければ、スナップショットのファイルには何の問題もないだろう

あと、zfs に lost+found は無いよ

>>372
raid、mirror、copiesで冗長設定を行っていれば
ファイルのエラーを修復することが可能なのは了解です。
send/recvで全く別のPCに同じzfsプールを作成してバックアップしているような場合に
ファイルをコピーする以外の方法でエラー箇所を修復することは可能でしょうか。

>なんでそう思うのかが謎
ファイルA作成 -> スナップショット取得 -> ファイルAを少し追記してファイルA'にする。
ここでオリジナルのファイルAが破損した場合に
ファイルA'にも影響があるかと思ったのですがdedupしてなければ無事でしょうか。

スナップショットは「差分であってコピーじゃない」ことを理解すれば、その疑問も解消するんじゃないかな？

>>376
いみふ

>>375
>ファイルAを少し追記
の時点でAとはべつの実体（A'）が出きるんじゃなかったっけ。つまり無関係

>>376
それだとファイルAの破損箇所がファイルA'との差分箇所以外の場合
ファイルA'ごと破損するはずなので言ってることが矛盾してるように感じるが


話題は変わるんだけどzfs on linuxでも.zfsって見れない？
zfs set snapdir=visible は設定してるけど表示されない。
正直これが使えないとなるとzfs-fuseから乗り換えた意味が全くないんだが

>>374
> ファイル一式あるのに、そのブロックだけ持って来ても大抵の場合はあんまり嬉しくないからだろうね
1GB のファイルの 4KB の１ブロックだけ壊れた場合にファイル全体(1GB)書き戻すのと、
4KBブロック１つ書き戻すのだと、俺は4KBブロック１つ書き戻すほうがうれしいけどなぁ。

> どう見えるもこう見えるも、コピー先のファイルは、コピー先のディスクもファイルシステム
> も壊れてなければ普通に見えるだろう
質問しなおすけど、壊れたコピー元ではスナップショットのファイルはどう見えるの？

>>377
> の時点でAとはべつの実体（A'）が出きるんじゃなかったっけ。つまり無関係

できない。その場合、追記されたブロック以外は同じまま共用される

>>378
すまん、どことどこが矛盾してるのか分からん

>>379
> 質問しなおすけど、壊れたコピー元ではスナップショットのファイルはどう見えるの？

壊れてるなら壊れて見えるだろうね。つか、俺は>>371を、「コピー先に存在するはずの過去のスナップショット」
についての質問だと思ってたんだが、違うのかな？

>>380
>できない。その場合、追記されたブロック以外は同じまま共用される
真偽はともかくこの共用されてる部分でエラーが出たら
ファイルAもA'影響受けるんじゃないの？
そしたら>>372のコメントと矛盾してるじゃん。

こうやって考えるとsend/recvでバックップしてても使い勝手微妙だな
・エラー時もファイルを修復できない。(正しいと思われるファイルを手動で上書きする必要あり)
・過去にスナップショットしたファイル破損時はファイル上書きによる修復すらできない。
(スナップショットの状態そのままで過去のファイルを変更できないため)

>>381
済まんが、どことどこが矛盾してるのか分からん

コピー元のAとA'は、その共通部分が壊れりゃ、そりゃ両方共読めなくなるよね
コピー先にあるAもA'も、まだ壊れてないんだから、両方とも問題ないでしょ

これ↑矛盾してるか？

つか、>>371が想定していると俺が思ってる運用法とお前さんが思ってる運用法が違ってる気がする
もしかすると、コピー元にも延々過去のスナップショット残しておく感じなのかな？

> ・エラー時もファイルを修復できない。(正しいと思われるファイルを手動で上書きする必要あり)

「ファイルの修復」が何を意味してるのかよく分からんけど、cp では不満だというなら
コピー先のスナップショットを send, recv して持ってくればいいんじゃないの？

> ・過去にスナップショットしたファイル破損時はファイル上書きによる修復すらできない。
> (スナップショットの状態そのままで過去のファイルを変更できないため)

コピー先のスナップショットを一式、全部まとめて持ってくればいいんじゃないの？
現在、過去1、過去2とか、まとめて普通に send, recv 出来るけど？

よく分からんけど、壊れたブロックその物を物理的に修復してほしいって話なのかな？
send, recv なり cp なりなんなりで元のデータが手に入れば問題ない気がするけどな

壊れたディスクは交換して、バックアップからデータを書き戻すことに何の問題があるのか分からん

>>382
>コピー元のAとA'は、その共通部分が壊れりゃ、そりゃ両方共読めなくなるよね
>コピー先にあるAもA'も、まだ壊れてないんだから、両方とも問題ないでしょ
じゃあ上の状態で壊れたコピー元のファイルA'に対して
正常なコピー先のファイルA'を上書きコピーで書き戻せばどうなるの？
コピー元のファイルA'は正常な状態でも、スナップショットのファイルAは壊れたままじゃないの？

そりゃ過去のスナップショットも含めて全部片っ端からsend/recvすりゃ話は別だけど
そんなこと>>371のどこにも書いてないわな。

どうなるのって、壊れたディスクに書き込むようなけったいなことをしたことが無いんでアレだけど、
その操作はエラーになるんじゃないかと思うよ。CoW なんで書き込む前に読み出すはずだからね
で、元の A はそりゃ、壊れたままだろうけど、それのどこに矛盾があるの？

もう一回書くけど、俺は>>372 で「コピー先に存在するはずの過去のスナップショット」について言った
>>371を「元ディスクには現在のファイルしか無く、先ディスクにはその時々のスナップショットがある」
と理解していたからね
それが勘違いだったとしたら、「あぁそこは勘違いしてましたね」って話

結局>>384が高飛車に勘違いしてただけで
>>371の解決に繋がる話が何もなくてワロタｗ

>>380
ＰＣ
質問２の「PC2からPC1に破損したファイルを丸々上書きコピーすると」について

すまん、書いてる途中に送ってしまった。

>>380
ＰＣ１にスナップショットが殆ど残っていないという解釈については理解したが、
質問２の「PC2からPC1に破損したファイルを丸々上書きコピーすると」が、
説明不能かと思うがどうよ。

掘り返して申し訳ないんだけど
.zfs/snapshotから差分ファイルに直接アクセスするのは
zfs-fuseだろうがzfs on Linuxだろうがまだ実装されてない？
それともsnapdir=visible以外に何か設定が必要？

>>378>>388
ZFS on Linuxだとsnapdirの設定はls -aとかで.zfsディレクトリが表示されるかどうかくらいしか影響がなくて、
どっちにしろコマンドラインから.zfs直打ちすれば見られるよ。
/pool/fs/.zfs/snapshotとかをnetatalkで共有してマウントとかもできてる（あまり行儀良くないけど）。
単にls -lとかで出てこないから見られねー、って思ってるだけでは？

>>388
ls -la、cd .zfsともに試したのですがやはり存在しないようです。
ファイル作成後、削除後でそれぞれスナップショット取ってみてもやはり存在せず…。

mint archive # zfs get snapdir data/archive
NAME PROPERTY VALUE SOURCE
data/archive snapdir visible local
mint archive # pwd
/data/archive
mint archive # ls -la
total 5
drwxr-xr-x 3 mint mint 4 10月 15 19:11 .
drwxrwxrwx 3 mint mint 5 10月 15 18:51 ..
drwxr-xr-x 2 root root 2 10月 15 19:11 test
-rw-r--r-- 1 root root 0 10月 15 19:11 tste
mint archive # cd .zfs
-su: cd: .zfs: No such file or directory

´-`).｡oO(どうしてzfs listしないんだろう……)

>>391
入れようと思ってたんですが文字数の関係で。

mint ~ # zfs list
NAME USED AVAIL REFER MOUNTPOINT
data 273K 58.6G 43.5K /data
data/archive 72K 58.6G 34K /data/archive
data/archive@1 19K - 30K -
data/archive@2 19K - 31K -

0.6.2（Ubuntu12.04）はもちろん0.6.0で放置してたマシン（Ubuntu10.10）でさえ見られるけどなぁ・・・＞.zfs
まさかfuseが動いたままとかじゃないよね？ zpool get version data は - （feature flags）になってる？

(日記) ext4 から zfs に glusterfs の replicate で migrate 中...

>>393
- defaultになっていますがもしかして何かおかしな感じですか？

mint@mint ~ $ sudo zpool get version data
NAME PROPERTY VALUE SOURCE
data version - default

ls /data/archive/.zfs/snapshot/
は？

>>396
やっぱディレクトリ自体がないみたいです。

mint@mint ~ $ sudo ls /data/archive/.zfs/snapshot/
ls: cannot access /data/archive/.zfs/snapshot/: No such file or directory

> - defaultになっていますがもしかして何かおかしな感じですか？

例１: Solaris10 1/13
# zpool get version rpool
NAME PROPERTY VALUE SOURCE
rpool version 29 local

例２：FreeBSD 9.2-STABLE
# zpool get version rpool
NAME PROPERTY VALUE SOURCE
rpool version 28 local

>>398
SolarisとLinuxの違いでしょうか。
少なくともfuseが残ってるわけではなさそうですが…。
mint ~ # find / -name zfs
/lib/modules/3.8.0-19-generic/extra/zfs
/lib/modules/3.8.0-19-generic/extra/zfs/zfs
/etc/bash_completion.d/zfs
/etc/sudoers.d/zfs
/etc/default/zfs
/etc/zfs
/var/lib/dkms/zfs
/var/lib/dkms/zfs/0.6.2/build/cmd/zfs
/var/lib/dkms/zfs/0.6.2/build/module/zfs
/var/lib/dkms/zfs/0.6.2/build/etc/zfs
/sbin/zfs
/sys/devices/virtual/misc/zfs
/sys/class/misc/zfs
/sys/module/spl/holders/zfs
/sys/module/zfs
/sys/module/zavl/holders/zfs
/sys/module/zunicode/holders/zfs
/sys/module/zcommon/holders/zfs
/sys/module/znvpair/holders/zfs
/usr/src/zfs-0.6.2/cmd/zfs
/usr/src/zfs-0.6.2/module/zfs
/usr/src/zfs-0.6.2/etc/zfs
/proc/spl/kstat/zfs
/dev/zfs
/dev/disk/by-partlabel/zfs

>>395
いや、それはVALUEのところが - ってことだから正しい。
28までやSolarisでは>>398みたくバージョン数が表示されるけど、
feature flags導入以降のZFSでは - になる。
- ってことはZFS on Linuxがちゃんと動いてるはずなんだけどなぁ・・・わからん。

まさかとは思うけど、# zfs mount -a

>>401
マウントもされてます。
とりあえずテストで仮想環境に入れたから何かイレギュラーなことになってるのかなぁ。

mint ~ # zfs mount -a
mint ~ # zfs list
NAME USED AVAIL REFER MOUNTPOINT
data 342K 58.6G 31K /data
data/archive 30K 58.6G 30K /data/archive
mint ~ # ls -la /data/archive/
total 3
drwxr-xr-x 2 root mint 2 10月 15 22:39 .
drwxrwxr-x 3 root mint 3 10月 15 22:54 ..

単品HDDのzfsを拡張したいのですがRAIDは怖いし、小回りがきかないので避けたいです。
ストライプをオフにしてプールを拡張することはできないでしょうか。
(片肺だけ接続すればディレクトリ構成と残ったほうのファイルだけ表示されるイメージ)

できない場合はmhddfsとかaufsが妥当な方法に思えますが、
mhddfs、aufs、unionfsといくつか種類があり違いがわからないためおすすめを教えてください。

日本語で前提とやりたいことを明確に書け

>>403
それ、zfs な単体ディスクを２台マウントするのとなんの違いがあるの？

>>402
ZFS on Linux界隈の話はよく知らんのだが、
.zfs/snapshotディレクトリのautomountが動いて無いんじゃないか？

ちょっと古い情報だが
http://askubuntu.com/questions/103369/ubuntu-how-to-mount-zfs-snapshot

これでマウント出来るようなら、どこかがおかしい。

>>403
その目的（単純なディレクトリ結合）ならmhddfsだろうけど。
unionfs/aufsは光学ディスクとRAMディスクみたいな性質の違うメディアをくっつけることが主目的だし。
ただ目的とその動機がマトモとは思わんけどね。どうせ飛んだディスクに一番大事なデータが乗ってて泣くんだろう。

>>405
sambaで共有するときには2台のHDD(ディレクトリ)を束ねた状態で表示したいのです。
ようはWindowsのほうでドライブレターを分けたくない

>>407
mhddfsで束ねようと思います。ありがとうございます。

バックアップ自体は容量が中途半端な古いHDDを束ねてcopies=2指定で構築した
zfsファイルサーバがあるのでそちらにsendしています。
そのマシン自体は古く、音も煩いので押入れに配置しており、
回線も無線で飛ばしているような状態なのでメインで使うつもりはありません。

シンボリックリンクで解決できるだろ

>>408
>sambaで共有するときには2台のHDD(ディレクトリ)を束ねた状態で表示したい
普通にシンボリックシンク張ればいいだけじゃないの？

>>409,410
/zfs/fs/dirA/
/zfs/fs/dirB/
/zfs/fs/dirC/
上のような構成だとdirA、B、C以下でディレクトリ分けをせずにファイルを直接配置しています。

また、dirAとdirBは容量がほとんどなく、
dirCの直下に大量の大容量ファイルが存在するような形なので、
dirC自体を2つに割りたい状態です。

3TBのHDDを購入すればシンボリックリンクでも解決できますが
シンボリックリンクではなくmhddfsを使うと何かデメリットがあるのでしょうか。

こいつが何をしたいのかさっぱり分からん

/zfs/fs/dirC/dirA_s ←dirAのシンボリックリンク
/zfs/fs/dirC/dirB_s ←dirBのシンボリックリンク
/zfs/fs/dirCをsambaで共有

いまいち分からんけどこれでだめなの？

ろくに説明もできないバカにかまうな

あ、言葉足らずでした。
共有しているのは以下のディレクトリです。
/zfs/fs

で、新しくプールを追加して下の配置にするとzfs2の容量がしんどくなる。
/zfs/fs/dirA
/zfs/fs/dirB
/zfs/fs/dirC_s <- シンボリックリンク
/zfs2/fs/dirC

win側のバッチでもろもろ処理をしているためfs以下のフォルダ構成は変えたくない状態です

なんでディスクを追加すると容量が減るのか、さっぱり理解不能

＞で、新しくプールを追加して下の配置にするとzfs2の容量がしんどくなる。
だからこんなこと書いても他人が見ても分かるわけないでしょ？

>>416,417
dirCが容量の大半を食っているので
2TBのzfsプールと同サイズのzfs2ではすぐに限界が来てしまいます。
3TBを購入すればしばらくはもつと思いますがそれもいつまでもつかわかりません。
mhddfsで簡単にdirCを重ねられるならそれに越したことはないかなと思いました。

自分しか知らないことを他人も知っている前提で話すのはアスペ

ノートpcにSSD入れたいんだけど
SSDに最適化されているというF2FSを使ってる人いる？

>>420
いる。少なくとも開発者は使ってんだろ。

>>419
何回かにレスを分けてたので自分でもどこまで話したかわからなくなっていました。

結局dirCをzfsプールとzfs2プールにわけようと思うとmhddfsを使うほかないですよね？

そもそもmhddfsではなくシンボリックリンクが勧められる理由は何なのでしょうか。
手軽なのは確かにそうなのですが、ファイルパスが変わるとすべてのリンクを作りなおす必要があったり、
リンクファイルをコピーする際に、アプリによってリンク先の実体をコピーするものと
リンクファイル自体をコピーするものでまちまちなためmhddfsのほうが便利だと思っていたんですが

簡単にいうとそんな貧乏くさいことは普通はしない
ストレージの大事さを理解してればコストは惜しまないと思うよ

後付けの条件をどんどん出してくる馬鹿には氏ねじゃなくて死ねとしか言いようがない。

イマイチ何がポイントになってるのか分からない俺がいる
何でmhddfsからいきなりシンボリックリンクの話に飛ぶんだろうか

>>403 mhddfsとaufsとunionfsどれがいい？
>>407 その目的ならmhddfsがいい
>>408 じゃmhddfs使います

まとめるとこういう事
他はノイズ

そもそも、こいつのお大事なバッチとやらを書き換えれば、何の問題も無いんだろ？
あと、mhddfsとやらが実際の所どの程度信用できるかは知らんが、少なくとも、
・性能が低下する
・元のディスクが一杯になるまで追加したディスクには書き込まない
んだろ？
もしかしてこいつの中では「片方のディスクが壊れても、半分のファイルは生き残る」
事になってるのかも知れんが、それは両方が一杯になった時だけで、元のディスク
の方が古い＝壊れるのも先なんだから、今の所殆ど全てのファイルを失う可能性の方が
高いだろ。その時にはバックアップがある！ってのなら、そもそもzfsでもいい話で

貧乏性でどうしても古いディクも使いたいってなら、
　4TBと2TBか3TBと1TBのディスクとJBOD出来るカードを買うなりなんなりで入手
→ 新しいディスクの大きい方で zpool create して autoexpand=true
→ zpool attach → 古いディスクを detach → 新しいディスクの小さい方と古い
ディスクで JBOD組む → attach とかするかな？

つか、自分なら2TBx4とかでraid-z2するだろうけど

おっと、

×そもそもzfsでもいい話
○そもそもzfsでストライプすりゃいい話

>>427
おまえこの前の高飛車勘違い君だろ。

>そもそも、こいつのお大事なバッチとやらを書き換えれば、何の問題も無いんだろ？
それがしたくないからって質問してるのにお門違いもいいとこ

>あと、mhddfsとやらが実際の所どの程度信用できるかは知らんが
知らんならえらそうに話すな。
性能測定まではしてないが次のディスクに書き込み始めるまでの容量は決めれる

>もしかしてこいつの中では「片方のディスクが壊れても、半分のファイルは生き残る」
>事になってるのかも知れんが、それは両方が一杯になった時だけ
もう無茶苦茶。片方のディスクが壊れても当然生きてる方に書き込まれたデータは生き残る。
両方じゃなくて片方と言いたいんだろうが次ディスクに書き込む容量は変えられるからそれも間違ってる。

>古い＝壊れるのも先なんだから、今の所殆ど全てのファイルを失う可能性の方が
>高いだろ。その時にはバックアップがある！ってのなら、そもそもzfsでもいい話
まず古いHDDが壊れたら殆ど全てのファイﾙを失うっていう前提が意味不明。
どういうファイルを管理してるかは知らんが新しいデータが生きてることは大きいだろ。

>つか、自分なら2TBx4とかでraid-z2するだろうけど
>>単品HDDのzfsを拡張したいのですがRAIDは怖いし、小回りがきかないので避けたいです。
こう言ってるやつにRAIDを勧める意味がわからない。
将来また足すかもとか言ってるやつが一回RAIDZ2なんて組んだらディスク1本だけ足すとかができないだろうに。

まともに質問もできない日本語のおかしなゴミクズ質問者はスルーすべし
デキる自分を主張したくてクズでもかまいたがるゴミクズ回答者はくたばれ

ストライピングがイヤだという部分だけは同意する。
俺のディスクは全てRAID1。

zfs使ってるような人は元々趣味でRAID組んでるような人が多いから意見が偏ってるんだよなぁ。

企業と違って個人ではファイルサーバが一時的に停止しても問題ないし
コスト度外視で考えてもそこまでRAIDが必要ってわけでもないと思うんだけどな。

確かにzfsの機能をフル活用するならガンガンHDD繋ぐほうがいいんだろうけど
・仮に死んだときにデータが全て飛ぶ上に復旧も絶望的
・HDDをちょっと別PCに繋ぎたいときもHDD4個も5個も運ばないといけない。
・RAIDZならHDDを1個追加みたいなことができない。
・RAID1の場合も増設時は同容量のHDDを2つ用意する必要がある
(HDDだけならともかくsata端子が足りなくなってきてポートマルチプライヤ買うはめになったりする)

スナップショット、cow、圧縮、チェックサムが便利だからzfs使ってるけど
raid嫌いな人のためにもストライプ切れるようにならないもんかね。
というかマイナーなところ探せばそういうFSもありそうだけど人柱怖い

>>432
＞zfs使ってるような人は元々趣味でRAID組んでるような人が多いから意見が偏ってるんだよなぁ。
それを偏見って言うんだよ。
そんな事言う奴の話なんて、誰も聞かねーよ。

みんな、使える道具の中で運用考えてんだよ。
RAID嫌いな奴はそもそも、そういう運用前提で、
ちゃんとHDDを使い分けてるだけだろ？

>>432
btrfsが安定したらご期待にそえるんじゃないの？
たしか、一応現時点でも冗長化止めたりストライピングしたり変更できたはずでは。

安定してから言ってくれ

これからのファイルシステムに欲しい機能は、データの保護の強化、データの圧縮に
よるメディアの有効利用、SSD+HDDの連携と思っています。

今使えるファイルシステムとしては、ZFS（Native Linux）しかLinuxでの
選択肢はありませんが、今後の開発の可能性も含めて、ZFS以外で良さげなものが
あれば、是非教えて下さい。

>432

RAID0 とか concat-disk が嫌いという人がいてもいいと思う

でもそれなら「HDD追加して容量拡張したい」みたいなことは
死んでもいうなよってことじゃないのかな

# アスペっぽい書き込みはスルーして読んでないんだがｗ

趣味だの偏ってるだので他人を罵ってる奴が、「嫌い」とか、キ印としか思えん

>>406
マウントはできるようなのでやはりどこかがおかしいみたいです…。

mint ~ # mkdir /home/archive
mint ~ # zfs list
NAME USED AVAIL REFER MOUNTPOINT
data 230K 58.6G 31K /data
data/archive 59K 58.6G 31K /data/archive
data/archive@test 28K - 31K -
mint ~ # mount -t zfs data/archive@test /home/archive
mint ~ # ls -la /home/archive
total 8
drwxr-xr-x 3 root mint 4 10月 16 20:12 .
drwxr-xr-x 5 root root 4096 10月 17 16:10 ..
-rw-r--r-- 1 root root 0 10月 16 20:12 a
drwxr-xr-x 2 root root 2 10月 16 20:12 test

よもやID:av8klvMNよりヤバイのが来るとはな。

てか、単発多すぎだろ。
>>403以降アスペのアンチRAIDと過剰反応RAID信者の二人が自演合戦してるんじゃないかとすら思えてくる

そんな１日に何回もレスするようなスレじゃないんで
結果的に単発IDになる。

リカバリーレコードみたいな少し容量は増えるけど数%の破損なら補修できるような
都合のいい機能を標準装備したファイルシステムってないですか？

もしくはツールでそういうことが可能なら教えてください。
ツールの場合は圧縮ファイルのような形式ではなく
rrファイルを外部出力してどんなファイルにも使えるようなものが理想です。

ファイルシステムではないけどrrの代わりなら
一応par2ってのがある
計算にめっちゃ時間かかるけどpar2bbならマルチコア対応してる

zfsってプールの破損でなくファイルの破損ならcopiesなんかで冗長設定してなくても
チェックサムをもとにある程度回復できると思ってたんだけど違ったっけ？
探してみたけど書いてたページが見つからない。
普通に考えたらチェックサムをもとに回復って無理な気がしてきた。

>>445
チェックサムでは回復は無理っすよ

>>446
やっぱそうなのか。
他のFSに比べてzfsは接続不良なんかでのファイル破損がほとんどないとか、
1ブロックの破損なら自前で復旧できるみたいなのを見て安心した記憶があったんだが。
リカバリレコードなんかなくてもzfsでよくね？って思って見てたけど全然大丈夫じゃなかったんだな

むしろチェックサムによって明確に壊れてることがわかるので見かけ上他のFSよりバンバンエラーが出る気がするｗ
>>443を見て思ったんだけど、単体HDDのパーティションを8分割くらいしてRAIDZ組むとか頭の悪いことしたらチェックサムエラー修復できるんだろうか。

checksumで修復できるのはビット化けみたいなものでしょ?
セクタ・ブロックが死ぬようなのは「大規模」なデータ損失で
それは RAID-Z なりのバックアップデータがなきゃ無理でしょ

>>449
逆に言うとビット化け程度なら冗長設定してなくてもチェックサムだけで修復できるってこと？
HDDでビット化けってあんまり聞かない気がするけど

ハミングコード

HDD自体がECC使ってるしエラー検出とエラー訂正は同じじゃない

zfsのファイルシステムの作成ですが以下のようなことをしたいのですが方法はあるでしょうか。

�@ディレクトリをまたいでファイルシステムの作成
zpool create zpool
zfs create zpool/a
mkdir /zpool/a/b
zfs create zpool/a/b/c <- bのファイルシステムは不要だがcのスナップショットを取りたい

�A再帰的なロールバック
zpool create zpool
zfs create zpool/a
zfs create zpool/b
zfs snapshot -r zpool@1
zfs rollback zpool@1 <- a、bも含めて再帰的にロールバックしたい

2つめの場合は/zpool/a、/zpool/bをディレクトリにしてしまえば特に問題ないのですが、
ファイルシステムを作成せずにプールだけで運用ってあまり聞きませんが何か問題ありますか？
問題あるならファイルシステムをひとつ余計に作ってマウントポイントだけ変えようと思います。

>>453
�@
できないしできる必要がわからん。
bが本当に要らんならまずディレクトリとして要らない（zpool/cで良い）しそうじゃないならファイルシステムじゃダメな理由もわからん。
bのスナップショットが要らないにしても-r無しでaとcそれぞれで取ればいいだけだし。
�A
できないんだよなぁ・・・rollback -rが別のオプション（最新より前のスナップショットにロールバック）になっちゃってるから。
多分手動かスクリプト書くかする必要があるんじゃ？

＞ファイルシステムを作成せずにプールだけで運用ってあまり聞きませんが何か問題ありますか？
send/recvが若干めんどくさくなるからプールのルートには何も置きたくはないね。
書いてるとおりルートはmountpoint=noneにして1個余計に作った方が楽かもね。

>450
> HDDでビット化けってあんまり聞かない気がするけど

だって貴方は化けてても気づかないでしょ?

>>455
心のビットなら分かるさ。Trueだろ？

False!

Null

>>454
�@具体的に言うと下のような構成になっていて
backupやwin、macの下にはファイルがない状態です。

zpool/bakup/win/sys
zpool/bakup/win/data
zpool/bakup/mac/sys
zpool/bakup/mac/data
zpool/doc/〜〜〜
zpool/share/〜〜〜

特にファイルシステムであっても問題ないですがzfs listしたときに邪魔なのでもし方法があればと思っていました。
こういう場合みなさん特に気にせずファイルシステムを作ってるんでしょうか。
それとも下みたいな感じで最低限のファイルシステムを作ってマウントポイントを変更してるんでしょうか。
zfs set mountpoint=/zpool/bakup/win/sys zpool/win_sys
zfs set mountpoint=/zpool/bakup/win/data zpool/win_data
〜省略〜

将来的にファイルシステムが増え過ぎるのが面倒なのか、
zfsの構成とファイル構成が違ってくるほうが面倒なのか判断に迷うところです。

組み込みでFRomにjffs2ファイルシステムが乗ってるって話の場合
アプリは普通にファイルを作って書いたり読んだり消したり出来ると
思っていいですか？

vxfs最強

それ全角２５６文字のファイル名つけられるの？

全角をどんなエンコードで書き込むかによって違ってくる。

皆様の知恵を拝借致します。

# ls -al /var/
drwxr-xr-x. 29 root root 100737024 Nov 2 10:38 log/

/var/log にlsをすると暫くたってからリストが表示されるのですがこれをシンプルに
縮退させる方法はありますでしょうか？

FSシステムはext3。肥大の原因となったファイル群は整理済みです。

こいつはてーへんだ！

縮退の意味が分からん
var/logの中のファイルを削除して整理したいのか
lsの表示を早くしたいだけなのか
前者ならlogrotateとか使えと思うし後者ならls -fで頑張れとしか

でかくなったディレクトリを小さくしたいという意味では?
ディレクトリってtruncateできるのかね?

dir_index使ってなきゃe2fsck -Dで縮むが

最悪、
mkdir /a; mv /var/* /a; rmdir /var; mkdir /var; mv /a/* /var; rmdir /a
くらいで縮むと思うけど、副作用があっても知らん

あぁ、/var じゃなく /var/log か

いつもはディレクトリ作り直しているが /var/log
は CD ブートしないと出来ないよな。

シングルユーザーで立ち上げてもできなかったっけ？

結論
・停止可能
　シングルユーザモードで起動するか別デバイスから起動し
　　e2fsck -D
　　or ディレクトリ再作成
・停止不可
　修正不可

/var/logを一時的にtmpfsにしてディレクトリ作り直したら？

皆様の温かいご意見に感謝申し上げます。
なくなくシングルユーザーモードで再起動して、e2fsck -D /dev/sda5 を実行して見ました。
⇒　縮退せず
ファイルシステムの再作成となりました。UUIDなどみのがしたので、デバイスエントリをマウントするように
変更して再起動したところ万事うまく行ったようです。

ご協力に感謝致します。

dir_index使ってたら縮まないんじゃないか。もっとも使ってたら遅くならないけど。

昔から言われちゃいるがなんでやらんのだろな
http://pc8.2ch.net/test/read.cgi/linux/1101495293/759n-
ttp://linux.derkeiler.com/Mailing-Lists/Kernel/2009-05/threads.html#06569

>>476
>>464

こういうの「縮退」って言うもんなん?

言わないと思う

なんていうの？

縮小でいいんじゃね

計算機分野での縮退はフェイルソフトの意味で使われてるのが普通じゃね？
だもんで資源割当の最適化を指して使うには不適切じゃないかと

一般的にはshrinkでいいだろうから縮めるとか縮小あたりか
e2fsckの-Dオプションはディレクトリの最適化と称してる

「フェイルソフト」って何？

障害部分を切り離してシステム全体は軟着陸させること

>>483
ぐぐればすぐ出てくるよ。

いわゆるガーベージコレクションではないか。

zfsってどの程度安定してるっぽい？
Linux系じゃなくてUnix系使った方が良いのかな？
突然データ吹っ飛んだりしない？

データ保管庫としてどの程度使えるのか聞きたい。

>>487
重複排除しなければ安定してる

だれかbtrfs常用してる?

してるよ

緑3TBの20台でVMの共有ストレージに
してるけど、何ら問題ないよー

UPSと箱と電源に拘ってみては？

まぁ、緑の真の恐怖は、１台イカれると周り中を道連れにして死ぬ点に有るんだがな

どうやって道連れにすんの？

さてなぁ。リビルド時の高負荷で死ぬんだと思うが

アホじゃねーの

和露多

まぁ試してみればいいよ
安物NASメーカーのユーザーフォーラムとか読めば、それなりに一般的な現象だと分かると思うけど

あー、リビルド時に電圧が揺れて、それで死ぬHDDとかありそうかも

>498

ナニソレ… 詰んでるじゃん

>>498
ダメな電源使ってるとあり得るかもね

安物NAS -> ダメ電源 -> リビルド時にHDD大量死

すじが通ってるっていうか、確かにありそう…

HDD 一括購入で RAID → 同ロット品を同じ条件で酷使 → 大体同じ時期に死亡
ってのは考えにくいんだろか？

それはよく聞く話だね信憑性があるかどうか分からんけど
ユーザーフォーラムをみれば〜と言ってるけどちゃんとしたデータでもあるの？

蛸足状態で、電圧足りないだけだったりして。

RAIDがリビルド中に死ぬ主な理由は、patrol readあるいはdata scrubbingを適切に行っていないから。
そのせいでリビルド中にエラーが見つかってmultiple faultで死ぬ。

ハードウェアRAIDなら、RAIDカードの設定でauto verifyはonにするのが必須

mdでそういう設定みたいのある？

>>507
raid-checkとか？
ただSMART値を監視するのと大差はないと思う。

>>507
echo check > /sys/block/mdX/md/sync_actionをcronで定期実行

mdadmに定期同期チェックする機能なかったっけ？

でも RAID1, RAID5 だとHDDのセクタエラーみたいな
「エラー出た」とハッキリしているものは修復できるけど
黙って化けられたら，どちらが正解か判断できないよね?

RAID6 なら多数決作戦もいけそうだけど．

結局 ZFS みたいな checksum をどこかに持ってないと
サイレントエラーには勝てないんじゃない?

ZFS の開発がホットだった頃と違って、今の HDD は誤り訂正符号で
データを書き込むから、サイレントエラーはあんまり考えなくても良い気がする。

ZFSって2004年からじゃん。
訂正符号はSNが良くなるのと同じだからね。
製品の目標BERって変わってないと思うよ。故障率も
CRCみたいなチェックコードは別についてる。昔から。
だからHDD以外方が怪しいんじゃ?

ZFSは2001年開発開始だがそれよりずっと前から誤り訂正は使われてる
>>512はドヤ顔でウソを語るクソ野郎

WindowsでZFSが使える日が来たら僕は

Zenzen tsukaenai File System for Windows

>514
そうそう．昔から HDD 自体もエラー訂正はそれなりに
かけているわけだが，実際にたまに化けるわけだ

それこそ電源不良でとかそういう理由もあるんだろう

ZFSで scrub かけてるとほとんどは何もなかった，
だけどたまーに実際に「修復したよ」って言ってくるのは
なにかしら化けていたと言うことなんだと思う．
ZFS使ってなかったらそのエラーに気づくこともなかったんだろう

その化けてるのは、ディスクで化けたのでなくて、メモリとかネットワークの上じゃないかな。特にメモリ。

各々のディスクは渡されたデータを正しく保持してるが、渡すところで腐ったので全体では不整合、という状態。

>>512
今も昔もHDDは最初っから、セクタ単位でCRC使ってますが、なにか。
逆に今時の、記録密度が高いプラッタの方が、データが化ける可能性が高いんですが。
AFTだって、ただ容量効率だけを上げようってだけで作られた訳じゃないぞ？
記録密度が上がったおかげで、データが化ける可能性が高くなってしまった。
今までのCRCじゃ強度が足りず、エラーの発見率が落ちる。
それじゃ、エラーの発見率を担保するために、強力なCRC付けりゃ良いかというと、
512byte単位じゃ、CRCデータの方が大きくなって、結果、容量効率が落ちる。

だから、4kセクタにして、それに対して強度の高いCRCを付ける事で、
容量効率とエラーの発見率を担保してるんだが。

>>518
ディスクだってプロセッサやメモリを持ったコンピュータなんだぜｗ

>>519
リードソロモン符号とか昔から使ってるよね

>>519
CRCじゃなくてECCじゃない?

MFM の構造自体に CRC が含まれている。

>>514
それはスマンカッタ。
後学のために教えて欲しいんだが、CRC じゃなくて ECC が ATA や SATA で CRC が
実装されたのって何時ごろ？

内部的には超大昔から使ってるでしょ?

じゃないと使い物にならないし，
「セクタエラー」とかどうやって判断するのさ

んなもんオープンリールの頃から付いてるだろ

CRCと言えばKURE 5-56

CRCはエラー検出しかできないけどECCはエラー訂正できるんじゃなかったっけ。

>>524
日本語変なままレスしちまってた...
古い PATA の HDD も CRC だけじゃなくて ECC も搭載されていたってこと？
セクタエラーは CRC だけで判断だろうけど...
最近では SATA にも ECC が搭載されるようになったからサイレントエラー減ったって考えてるんだが。

たとえばFireball ATには160bit RSのエラー訂正がついてたわけだが
知ったかぶりには最近付いたものに見えるのか

>>529
もう少し情報欲しいなぁ。 １つだけ持ってこられてもちょっとわからない。
2000年代前半の頃の ATA/SATA で各社 ECC ついてたかどうか。

>>527
そう。
ただし、CRC は誤り検出の一つの実装で、ECC は誤り検出訂正自体のことなので、対になる用語ではないよ。

無い反証を探すことで思い知らされたくない>>530ｗ

いつごろから実装されてた？
→Fireball AT の頃にはあっただろ
→一つじゃわからない

余程の馬鹿か、さもなきゃキチガイだろ

エラー訂正なんて大昔の情報の授業でも
基本知識として出てくるのに
なんで「最近ついた」って思ったんだろ

たとえばCDのCIRC(Cross Interleave Reed-Solomon Code)みたいに
民生品でもずいぶんと前から使われてるからなあ

40年前の汎用機のディスクパックでもエラー訂正は使われてたんだし

個人的には誤り検出と誤り訂正は分けて議論したい

>>532
馬鹿にしてもらって結構。 ソースを探したがうまく探すことが出来なかったのでしょうがない。
ようやく先ほど http://engawa.2ch.net/test/read.cgi/linux/1002445806/
(必ずしもよい情報源かどうかは不明だが)を見つけて、ECCbytes の変遷を確認して納得しました。

>>534
なんでってのに回答すると、HDDの「CRC Error」ってのみて、
「ECC 付いてないのかよ」って思ったんだわ。

>>537
再送要求を出せばいいだけ

IDEのHDDはECCナシ、SCSI3のはアリ
というのがIDE時代の俺の認識

>>539
なんで次々とバカが涌くのか

当時の身近そうな製品例：
ttp://www.wdc.com/en/products/legacy/Legacy.asp?r=3
Specifications for the WD Caviar AC140
Formatted Capacity: 42 MB
Interface: 40-pin EIDE
ECC: 56-bit

俺の場合は雑誌の記事の受け売り

それは転送時の話じゃないのか

そもそも、ECCを実装するのは歩留まりをあげる方法でもある
実装しないで製品化されていると考えるほうがバカ

ECC については知らんが、
CRC についてはそもそも MFM の構造に含まれているのだから、
日本で販売された PC98 用及び PC/AT 互換機用で
CRC が無い物なんか存在しない。

1980年代前半の初期のPC用のハードディスクは2バイトのCRCだったりしたけど、
末期には全部ECCだったはずだよ。

>>543
それはたぶんセクタインデックスの話で、確かにCRCなんだけど、
最近のハードディスクはセクタインデックス自体ないからCRCはないよ。

>>544
セクタとセクタの間にあるセクタID等を記録した領域。
今ないのか？

まさかそんな日が来るとは。

>>545
ごめん。
最近のハードディスクはNo-IDフォーマットだからセクタIDはないって、
なんかの本で読んだんだけど、調べてみたらIBMの特許だった。
http://www.google.com.au/patents/US6185058
少なくともIBMとHGSTはNo-IDフォーマットなんだけど、ほかはわからない。
あと、セクタインデックスじゃなくてセクタIDだったね。

そんなのがあるなんて知らなかったよ。
ありがとう。

Chris MasonがFusion-ioからFacebookに行くのか。

btrfsとflashcacheが統合されてzfsを超える日が遂に来るのか。

俺の動向も書いてくれな。

zfsってnativeてcreateしたものをzfs-fuseでインポートできないのか…。
レスキューのときとかに面倒だなぁ

ZFSのいいところは沢山ある中から選べることだ（キリ

あまったパーツでｚｆｓファイルサーバを組もうかと思ってるんだけど
compress=on、dedup=offの場合は下の構成でいける？

CPU=C2D E7200
電源=570W
メモリ=DDR3 8GB(4GB)
HDD=3GB+4GBの計7GB
マザーは未定

もしくは最近メモリ高いし4GBでもいいかなぁって気もしてるんだけどやめたほうがいい？

それっぽっちの容量でファイルサーバを作る理由は無い。
ルータにUSBメモリでも挿しておけ。

7Gは7Tの間違いと思うけどねぇ

7Gのファイルサーバならraspberry にUSB 2本挿して、RAID0相当あるいは
RAID1相当のシステムは出来そう。

ごめん、7TBの間違い

何のデータ扱うか知らんけど
圧縮効くデータをメインに扱うとかじゃないなら意味無いよ

>>553
ZILとL2ARC用にSSD追加するといいよ

>>557
最近のZFSだとL2ARCにも圧縮効く
ttp://wiki.illumos.org/display/illumos/L2ARC+Compression

>>558
扱うデータが圧縮の効かないような物でもL2ARCに効く圧縮は効果あるの？

lzjbで圧縮率平均1.52だったわ。
ファイルサイズが小さくなるのは期待せずに、シーケンシャルライトがちょっとでも早くなればなあ　というレベルで使ってるわ。

ｽﾍﾟｯｺは
CPU: Intel Core i7 920
ﾒﾓﾘ: DDR3-1333 8x3=24GB
HDD: raidz(3T+3T+3T)+4T

SSDはなし。中身はいろいろ。動画とかすでに圧縮されたデータは容量比2割くらい。

lzjbではこの環境だとCPUが足を引っ張ったりはしないけど、
gzip-9だと話にならないほど遅い。 電気食いなのが悩みorz

今時はlzjbは捨ててlz4使った方が良かった気がする。
lzjbは大して縮まない割に速度はlz4に大きく劣るし、圧縮重視ならgzipでいいし、みたいな。
あとgzip-9は超遅いくせにgzip-6とかより劇的に縮まるわけではないからこっちもあんま意味無かった記憶が。

>>551
version=23でcreateしてもダメなんだっけ？

>>561
version=23指定でcreateすると指定なしに比べて何かデメリットとか
使用できない機能ってありますか？

ggrks

>>561
zfs-fuseでimportする際のエラー文は変わるけど
どっちの場合でもimportはできないっぽい

version=23でcreateした場合は
no such pool available

デフォルトでcreateした場合は
using newer ZFS version

>>562
デメリットなかったらバージョン変わってるわけないだろ。ちょっとは頭使おうよ・・・

>>564
-O version=4でも付け忘れたんだろ。プールのバージョンだけ下げてファイルシステムのバージョン下げてない。
ちょっとは（ｒｙ

>>565
試してみればわかるけど
zpoolをversion=23で作成して、zfsはversion=4で作成してもzfs-fuseではやっぱりimportできない。
no such pool availableでエラーが出る。

>>545
> セクタとセクタの間にあるセクタID等を記録した領域。
> 今ないのか？
それフロッピーと同じ時代の話しじゃね？
フォーマットの生データで遊べた時代は楽しかったな。ノスタルジーな感

GAPだね。何かディスクドライブの速度を調整してプロテクト再現とかしてたよね。

GAP3 に自分の名前を入れたりすんだよ。

クリスマスイブの夜に職場のトイレでフロッピーを想いながらしみじみ。

イヴの夜は、たぶんディスケットと過ごすのね♪

クリスマス以降書き込みないとか意地っ張りばっかりだなｗｗｗ

Read Diagnostic かぁ何もかもが懐かしい。

>>572
あけおめ

あけましておめでとう2015

よいお年を

さようならフロッピー、あけましておめでとうSSD

JFS (Journaled File System) って評判をあまり見かけないけれど、
スペックをざっと見た感じでは、運用感覚としてext3のタイムスタンプを64ビット化
した様な感じでシンプルなジャーナリングファイルシステムとして
運用出来そうに見えるんだけども、どうでしょうか？

開発コミュニティがしぼんでるから避けてる人が多いんじゃない
使ってる人が少ないとそれだけ原因不明のクラッシュに出会う可能性もあがるし

出自は悪くないし、昔試したときは普通に使えたよ
負荷試験とかそういうのはやってないのでコメントできん

ZFS関係が結構きてるな

FreeBSD 10.0-RELEASE Release Noteshttp://www.freebsd.org/releases/10.0R/relnotes.html

>>578
LinuxでJFS 5年くらい使ってる素人だけど、ファイル削除が遅いなあと思うくらいで特に問題起こらないし普通だよ。
unmountせずに強制終了したりすると、ジャーナル再生してあげないとmountできないのが気になるくらいかなあ。

Linuxで使うならスケジューラdeadlineにするのｵﾇﾇﾒ。

JFSを使った感想…
可もなく不可も無かった。電源が突然切れてfsckが走ったがファイルが消される事も無く、そこそこ早く終了した。
ただ、8GB程度のファイルを扱うと(tarなんかで固めた場合)異常にCPUが使われた。それ以外は不満は無かった。

ちなみにSSDで使用しようとして「discard」オプションを付けても『何それ？美味しいの？』と言われます。

おまえのカーネル古いぞ

http://kernelnewbies.org/Linux_3.7#head-1fd57e16fc824eafd1bab789c5e1281bb5a0ccd5

>>583
3.7からTRIMサポートされているのは知っているが、debian & Ubuntu 12.04 LTS使いなんでねぇ。。。
(安定志向で使っているので、無理して最新カーネルは追わない事にしている)

安定志向なら FreeBSD 2.1.7 がいい。

>>585
でも“FreeBSD 2.1.7”ではZFSが使えないよ〜
と、茶レンジャー的な発言をしてみる

緑レンジャーのおいらには関係なかった

discardオプションはSSDのときに効果を発揮する とあるけど
これSSDだけじゃなくてSDでも効果あるよね？

>>588
SD って、SD カードのこと?

>>589
そう、SDカード

どっちもフラッシュメモリだから
その辺は同じじゃね。

その前にSDカードのコントローラーがTRIMサポートしてないと意味が無いけどね
(かの有名なJMF602もTRIMはサポートしていません)

FreeBSD の10.0 とか大丈夫なのかなあ?

>>593
もしかしてTRIMの話？
だとすると9.1からサポートされているみたい

zfsでファイルサーバを運用しています。
スナップショット未取得のファイルを誤ってrmしてしまったのですが、
何か復元する方法はないでしょうか。

>>595
�_

まだ上書きされてなければ不可能ではない。
ただしかなりのZFSハッカーでないとムリ。

某業者に頼めばやってくれるよ

「某」と伏せる意味が分からない

ZFSを復旧できたことを自慢げにしてる業者だっけか

スナップショットを1分毎に自動取得させてる俺最強

そこまでやるならNILFS使った方がいいと思うが

NILFSはRAIDZ持ってないからなぁ

ZVOLの上でnilfs使うんだ

https://access.redhat.com/site/documentation//en-US/Red_Hat_Enterprise_Linux/7-Beta/html/7.0_Release_Notes/chap-file-systems.html

赤帽はXFSがデフォになるのか……

btrfs…

UPS前提なら、それほど悪くないってことなのかな？

16TB超でディスクフォーマットが変わるext4に不安なんじゃね

一度、fsckがメモリー不足でこけた経験があり、
いまひとつXFSは信用していない。

たしか数10Gバイトのディスクを512Mバイトぐらいの
メモリを載せたマシンでチェックしたんだっけかな？...

SGIのIrix(だったか？)板のXFSは良かったらしいが、Linux板はイマイチって聞いたことあるなぁ。
JSFは悪くないっぽいのにマイナー過ぎるし。

>>610
そりゃかなり昔の話

いまどきfsck使うFSは無しでしょwww

トラディショナルは良い事だ。

最近の製品だとnasneがXFSらしいね。

https://www.cseas.kyoto-u.ac.jp/info/2013/03/4864

> NAS（ファイルサーバ）で最も使われているファイルフォーマットの１つとして、XFSがあります。

えっ

XFSはパーティション1TBにつきメモリ1GB強は用意しておかないと
xfs_repairやxfs_checkでしんどい。

>>615
間違てはいないな。最も使われている”うちの”ひとつなのだから。

HDDレコーダーはほとんどXFSじゃないかな

LinuxでWindows8と似た機能をもった、複数のHDDを結合した領域プールって作れない？
ちょっとどれが可能なのか、イマイチよくわからないんだが。

RAID0でググると幸せになれます

>>618
LVM の話?

mhddfsのことかも

618じゃないけど

LVMだけだと、全体を大きな一つの領域として扱うことは出来るけど
そこから切り出してRAID1やRAID5に相当するものを作ったり
シン・プロビジョニングで仮想的に物理ディスクより多い領域に見せかけたりってのは
出来ないんじゃないかな
http://www.atmarkit.co.jp/ait/articles/1301/10/news103.html

よく知らないんだけど、Win8の記憶域プールの機能に相当するものは
ZFSとかbtrfsとかのほうが近いような気が

いつのLVMの話さね
https://access.redhat.com/site/documentation/ja-JP/Red_Hat_Enterprise_Linux/6/html/Logical_Volume_Manager_Administration/thinly_provisioned_volume_creation.html
https://access.redhat.com/site/documentation/ja-JP/Red_Hat_Enterprise_Linux/6/html/Logical_Volume_Manager_Administration/raid_volumes.html

うーむ。なかなか同じようなのはないみたいですね。
やはり、メモリ消費量といい、使いやすさ、設定しやすさ、まったくNTFSってやつは。

>>624
？？？

>>624
MS馬鹿にする人多いけど、技術力は相当だからな。

てゆーか今時LVM 有効にしてるヤツおるん？

>>627
どういうこと?
そりゃいるんじゃない?

Centって「なーにも考えずに」インストールしたらLVMで領域確保されたような。。。

スナップショット機能はあらかじめ容量確保しておかないといけない時点で
お世辞にもお手軽とは言えないし

RAID0として使うのにもmhddfsやZFS-RAIDに比べて柔軟性はないし
そもそも小さい容量のHDD繋げてRAID0したいって時代でもないし

手軽にLV作れるって言ってもそんなに使う機能じゃないし
俺はLVM使わなくなって久しいな

pvcreateとvgcreateを別々にしたのがめんどくささの元凶

LVMはfsと統合しないとめんどくさくてしょうがない。
まあ、その結果fsが肥大化しちゃうんだけど。

>>605
今までubuntuでxfs使ってたけど次のはext4にするかーとか思ってたらktkr
upstartもsystemdに変わるみたいだしまたxfsで行ってみっかな

http://www.phoronix.com/scan.php?page=news_item&px=MTYzNjA

> openSUSE 13.2 To Use Btrfs By Default, Major Changes

ｷﾀ━━━━(ﾟ∀ﾟ)━━━━!!

まじか

えーメモリ大量消費する大型FSが標準なんてヤダー

Btrfsってデフォで使えるほど安定してたのか

suseはんはチャレンジャーやなー

だってReiserFSをデフォルトにしていたSuSEだぜ

btrfsはメモリ消費量よりたくさん書き込むと時々止まるのが気になるな
止まる時は btrfs-endio-wri ってのがCPU食ってるから
ガーベジコレクトかバッファの書き出しっぽいことでもしてるんだろうか

ZFSでもbtrfsでもそうだが、低スペックマシンで使うものじゃない
文句たれてる暇があるならまともなスペックにしよう

WDのAFTなHDDを使うときに関して質問です．

WEB を検索すると，物理セクタサイズ4096にアラインさせるために
いろいろやっているのをよく見かけま．しかし，そもそもパーティション
切らずに丸ごと ext4 なりでフォーマットすれば良いような気がしているのですが
これは何か間違っているでしょうか？

具体的には
% parted /dev/sda
% 略
% mkfs.ext4 /dev/sda1
ではなく
% mkfs.ext4 /dev/sda
みたいなことを想定しています．WD40EZRX に対して後者でフォーマットし
bonnie++ を走らせたところ Block Write 137877KB/s, Read 181978KB/s
でたので問題ないように見えます．

>>642
ディスク全部使いたいならパーティションなしでもいいけど… 自分はしたくないなあ。

今のバージョンのfdiskなりpartedはいわゆるAFTなディスクに対応してて自動的に4096単位にするから気にしなくて大丈夫。

そもそもgptfdiskを使うべきだろ

>>642 俺もデータディスクはパー切ってない

>>643
そうだったんですね．AFTで検索するとやや古いページばかりなので，
ちょっと気にはなってました．

>>645
同じ考えの人がいてよかった．システムは切って使いますが，
データ置く大容量ディスクを切る意味がよく分からなくて．．．

そういう時はgparted使いなよ
勝手にやってくれるから

そういや最近使ってないけどfdiskって相変わらず2TBまで？

規格に制限があるのをその規格しか扱わないソフトウェアでどうしろと

ls -l　の結果で出てくるTってなに？

man読もう、な！

人殺しが作ったファイシステムってなんだけ（名前忘れた）

>>651
どのman読めばいいの？
lsのmanには書いてないしね

>>653
書いてあるよ

>>652
Hans Reiserが作ったReiserFSの事ですか？

>>654
ほんと昔から疑問なんだけど
lsやtopやpsって誰もが当たり前に使ってるけど
見方がマニュアルのどこにも載ってないよね
あれほんと不思議だわ

いや、>>650 は書いてあるよ。

>>656
日本語も不自由なのか？ 書いてあるとみんなが言っているのだけど……

あ、違った。
http://linuxjm.sourceforge.jp/html/GNU_fileutils/man1/ls.1.html
には書いてないな。
http://linuxjm.sourceforge.jp/html/gnumaniak/man1/ls.1.html
の方だと書いてある。

>>658
みんなが言ってれば載ってるものでもないよね

>>659
そこにもパイプはpでファイルは-でとかが書いてないんよ
不思議だよね

質問増やすなよｗ

でもTがなにかはわかったのでありがとう

GNU は man から info に移行する方針じゃなかったっけ。
info ls には >>660 も載ってる。

info 見ろって man ls にも書いてあるな。

まずはGNU infoの使い方をmanで調べることになるからGNU infoやめて欲しい

ググって出てくるmanページは古かったりsolarisのだったりするから
あんましオススメしない
手元のmanとかinfoで確認すること

ググる話はしてないよ。

記念カキコ

http://kernelnewbies.org/Linux_3.14
Incompatible format change

Windows XP 用の更新プログラム (KB955704)
http://www.microsoft.com/ja-jp/download/details.aspx?id=19364

この更新プログラムをインストールすると、exFAT ファイル システム形式のサポートが追加されます。


サポート切れたら落とせなくなるから今のうちに落としとけてめーら

>>670
え、新規パッチが提供されないだけで、リリース済みのは落とせるんじゃないの？

>>670
板違い。

office2000のサポート終わったときはMicrosoftUpdateが使えなくなって
手動でパッチを検索ダウンロードインストールした覚えがある。

俺がxfsからext4に移行しようかってタイミングでこれか……

>>609
単に1TiBにつき1GiBの「仮想」メモリが必要ってだけだよ

つうかスペック酷すぎｗ

一時と比較するとこのレスが静かと言う事は「余程不幸な事態が発生」しない限り、どのファイルシステムを使っても
ファイルを消失する心配は無いのかな？

二重化していてバックアップとってりゃたいていなんとかなる

日本語ファイル名256文字扱えるようになりましたか？

扱えるよ

>>678
677だが、嘘はよせ。ｗ
出来ていたら喜んでWindowsを消しまくるだがな。。。。

ファイル名長の話しなら最大255byteだと思う
ReiserFSはbsを変えると最大8kbyteだけどKernel側の制限でやっぱ255byteになってしまったはず
ちなみにこれまで255byteで制限にかかった覚えはないが
eCryptFSを使ってファイル名も暗号化するとファイル名長が144byteまでになってしまうのだけどこれには引っかかったことがある
この場合はファイル名の暗号化を諦めるかファイル名を買えるしか無いと思う

>>680
677です。ReiserFS、eCryptFSの情報ありがとう。

UTF-8で濁点などの文字から255/3=日本語で最小85文字かな。
全て濁点になるはずもないので最大127文字くらいですよね。

UTF-8だと漢字や仮名は基本3バイトだよね
濁点とかどゆこと？

>>682
681の意図はわからないが、今のMac OSのファイルシステムは濁点や半濁点を別の1文字にしてしまう

濁点のことを考えないとダメなのはHFS+だよ。

�b

Unicode ってば、あらゆる文字列を無限長に出来た気がしないでもない

>>686
どういうことだ？

ユニコード爆弾ですか。

>>684
MacのGUIからファイル生成するとHFS+だろうがFATだろうがsambaだろうがnetatalkだろうがNFDっぽく分解される。

>>686
UTF-8のことなら、最短表現以外の表現は規格上違反になってるよ。

>>689
>MacのGUIからファイル生成するとHFS+だろうがFATだろうがsambaだろうがnetatalkだろうがNFDっぽく分解される。

FATとかSMBの場合はMac側が分解してアプリケーションに渡して、
アプリケーションから渡されたファイル名は合成してから保存。
HFS+やAFPの場合は常に分解されたまま。

LVMで大容量のLVを作るとき、障害発生時に影響範囲を限定する観点から細かく切ったパーティションをPVに使うことって、効果ある？

Unicodeの正規化って、マジで害しかないわ……誰か得してる奴いるのか？
コードの外でやってくれよ、と思う。

>>691
プラッタが１枚だけダメになった HDD で「１枚だけで助かった」って聞かないし、無いんじゃね？

>>692
曖昧検索のためには便利でしょう。
それをファイルシステムに採用したやつの脳は腐ってると思うが。

>>693
レスありがとう
不具合発生PVには触れないようにすれば、正常なPVを解放して別のLVに回せると考えてたんだけど、そもそも爆弾を抱えたHDDを延命させようってのが危ないか

>>694
あいまい検索の時にでも、正規化の形が複数あったら保存するときに適用しても仕方がない
検索の時のパターン展開に使うべきだろ？
ファイルシステムとUnicode、銀の弾丸はないのかね

珍しい現象に遭遇しました。
バックアップ先に使っているbtrfsに対して書き込めないとcron様からお怒りのメールが届いた。
アンマウントしようとしたが出来なかったので、再起動しようとしたがこれも出来ず、仕方なしに電源ボタン長押しした。
パーティションを割りまくり、色々なファイルシステムを導入しているマシンなので何が原因で事象が発生したのか謎な状態です

ちなみに割っている/var(SSD ext4)や/home(HDD jfs)は問題なく書き込めたので、再起動も出来なかったしカーネルを巻き込んだbtrfsの問題？

>>697
情報が少なすぎて誰にも回答できないと思う。

cronのメールには具体的にどのようなメッセージが書いてあったのか
/var/log/messagesに何かログは残っていないのか
カーネルのバージョンはいくつなのか
そのほかbtrfsのパーティションやRAIDの構成などはどうなっているのか

ごめん。半分チラシの裏であり、日記のつもりだった ww
(まさかマジレスが付くとは思っていなかった…)

>cronのメールには具体的にどのようなメッセージが書いてあったのか
この時はバックアップにcpやddを使ってコピーしているのですが、ターゲットファイルに対して「アクセス中: 入力/出力エラーです」のメッセージ

>/var/log/messagesに何かログは残っていないのか
それらしきメッセージが残っていたので。。。

btrfs csum failed ino 46290331 off 40960 csum 1154198546 private 1810494407
btrfs: sdc2 checksum verify failed on 510836736 wanted FAAFCEBE found 728E553E level 0
btrfs read error corrected: ino 1 off 510836736 (dev /dev/sdc2 sector 1014112)
(レスされて改めて確認するとbtrfs以外にもカーネルが吐いているエラーも多数あり)

>カーネルのバージョンはいくつなのか
>そのほかbtrfsのパーティションやRAIDの構成などはどうなっているのか
debian7のbtrfsを普通に使っています(後学の為に…btrfsのバージョンどうやって確認するの？)
パーティションは構成はRAIDも何もなく、750GBのHDDを(スワップにも使っていますが)普通にパーティションを割ってbtrfsを使っています

まぁ、今回は対応を真剣にしていないのは
1.他の領域のファイルシステムは問題なく読み書きできていた(/homeはsambaでアクセスしていたが問題なかった)
2.再起動がちゃんと行えなかった(問題発生後、カーネルのアップデートを行った気がする。。。)
3.頻繁に発生する事象でもない感じ.。o○
てな事も相まって本気で調べる気が orz

追記。。。
この障害が出る以前は/homeもbtrfsを使っていたのですが、fsckが無い事を知ってjfsに変更しました。まだbtrfsは枯れていないのねぇ〜

>btrfs csum failed ino 46290331 off 40960 csum 1154198546 private 1810494407
>btrfs: sdc2 checksum verify failed on 510836736 wanted FAAFCEBE found 728E553E level 0
>btrfs read error corrected: ino 1 off 510836736 (dev /dev/sdc2 sector 1014112)
>(レスされて改めて確認するとbtrfs以外にもカーネルが吐いているエラーも多数あり)
ディスク壊れてるんじゃないの？

>>700
再起動してからはご機嫌なんですよね.。o○
(messagesにも再起動後、ディスクに関するメッセージは吐いていないし・・・)
再起動前にバックアップファイルの削除を行ったのですが、時間は普段より掛ったものの一応行えました。
で、アンマウントしようとしたら応答が無く、仕方なくrestartコマンド投入しても応答が無かったので強制的に再起動しました

btrfsにfsckが無いからどこまで壊れていたのか状況を掴みかねています

とりあえず、HDDのSMART見たほうがよさげ

S.M.A.R.Tの値が生の値なんで良く判んねぇ〜(笑)

Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE
1 Raw_Read_Error_Rate 0x002f 200 200 051 Pre-fail Always - 0
3 Spin_Up_Time 0x0027 204 203 021 Pre-fail Always - 800
4 Start_Stop_Count 0x0032 089 089 000 Old_age Always - 11251
5 Reallocated_Sector_Ct 0x0033 200 200 140 Pre-fail Always - 0
7 Seek_Error_Rate 0x002e 200 200 000 Old_age Always - 0
9 Power_On_Hours 0x0032 067 067 000 Old_age Always - 24638
10 Spin_Retry_Count 0x0032 100 100 000 Old_age Always - 0
11 Calibration_Retry_Count 0x0032 100 100 000 Old_age Always - 0
12 Power_Cycle_Count 0x0032 100 100 000 Old_age Always - 103
191 G-Sense_Error_Rate 0x0032 001 001 000 Old_age Always - 10951
192 Power-Off_Retract_Count 0x0032 200 200 000 Old_age Always - 52
193 Load_Cycle_Count 0x0032 152 152 000 Old_age Always - 146898
194 Temperature_Celsius 0x0022 111 092 000 Old_age Always - 36
196 Reallocated_Event_Count 0x0032 200 200 000 Old_age Always - 0
197 Current_Pending_Sector 0x0032 200 200 000 Old_age Always - 0
198 Offline_Uncorrectable 0x0030 100 253 000 Old_age Offline - 0
199 UDMA_CRC_Error_Count 0x0032 200 200 000 Old_age Always - 0
200 Multi_Zone_Error_Rate 0x0008 100 253 000 Old_age Offline - 0

うーん…Raw_Read_Error_RateやUDMA_CRC_Error_CountやMulti_Zone_Error_Rateの値を見ると正常な気がする。。。

>>697
umountできなくてshutdownまでいけなかっただけじゃない。

>>697
次回からは電源長押しの前にマジックSysRqの発行を試みるといいかも
効いたらブチ切りよりかなり被害減ると思う

SMART 見る限り HDD ではなさそうだね。 マザボかメモリかって感じなんで、memtest しときたい。

>>706
とも言い切らないのよね。btrfsだけが書き込み不可で/var(SSD ext4)や/home(HDD jfs)は問題なく読み書きできているから

>>707
jessieでこんな感じになった
pkgのlibssl0.9.8をlibssl1.0.0に変えたら行けるんじゃないかね?
しかし署名とか見当たらなかったんだけど無いのかな?怖いから仮想環境で試したよ
% sha1sum cav-linux_1.1.268025-1_amd64.deb
533dd3b4adc57a43937e6795399a7df4bf88fd5a cav-linux_1.1.268025-1_amd64.deb
% sudo dpkg -i cav-linux_1.1.268025-1_amd64.deb
以前に未選択のパッケージ cav-linux を選択しています。
(データベースを読み込んでいます ... 現在 64485 個のファイルとディレクトリがインストールされています。)
Preparing to unpack cav-linux_1.1.268025-1_amd64.deb ...
Unpacking cav-linux (1.1.268025-1) ...
dpkg: 依存関係の問題により cav-linux の設定ができません:
cav-linux は以下に依存 (depends) します: libssl0.9.8 (>= 0.9.8m-1) ...しかし:
パッケージ libssl0.9.8 はまだインストールされていません。

dpkg: error processing package cav-linux (--install):
依存関係の問題 - 設定を見送ります
処理中にエラーが発生しました:
cav-linux

誤爆orz

>>707
メモリって一部だけ壊れる事が多いもの(サーバなど ECC つきメモリでは ECC エラーが出始めると
保守期間内ならメーカが交換してくれる)なので btrfs だけダメだったからメモリではないというのは
切り分け間違ってるんじゃないかな。

>>706
memtestは24時間稼働のメール＆NASサーバとして使っているので運用面でムリポ。。。
メモリーは購入して３年以上経つので交換も。。。

それに貧乏人だからECC付のメモリーなんて購入できないよ。
でもDDR3-1333が定価なんだが安かったから1600で動作のメモリは積んでいる

btrfsはおかしな現象はよく起こるよ。まだまだ安定度は低いってこと。

>>711
バックアップ系なくて24時間運用って

>バックアップ系なくて24時間運用って
おうちで個人使いでもバックアップ系が必要なんですか？

個人使いでなかったら
/…XFS
/var…ext4
/home…JFS
バックアップ先…btrfs
なんてファイルシステム百花繚乱な構成は許されないであろう…

必要かどうかは人によるんじゃね。

>>714
不要なら止めてもいいじゃない。

バックアップにbtrfsとかバックアップする気ないだろ

btrfsはまだまだ常用できるレベルじゃないし、似たようなことしたければZFS on Linuxでいいんじゃ？

24時間動かすなら、ECCメモリといい電源も必須だけど、SATAケーブルとかもいいのおごったほうがいい。
一時期fsあたりのエラーがパラパラ出てたときは、SATAケーブルが腐ってた。

最近はこんな感じで運用して見てる
/home ext4 -> 日に一回rsyncでFileServerに同期
FileServer xfs -> 日に一回rsyncでbackupに同期&Amazon glacierへxz+gpgで投げる
backup nilfs2 -> 日に一回スナップショット，月一のスナップショットを残して1月以前のスナップショット削除

>>717
以前はext4だったのだが、普通にシャットダウンしたにも拘らず起動時にマウントしようとするとfsckが走り出す始末。。。
だったらまぁbtrfsでも良いか!!って結論に。。。

>>720
fsckしないように設定すればええやん

>>720
「tune2fs -c0 -i0」の設定したにも拘らず、かつ正常にシャットダウン(再起動)を行ったにもかかわらず、起動時に
「うむ？不正なシャットダウンしたんとちゃうの？」とシステムが判断してマウント時にfsckが走るんだよ〜

>>722
ディスクコントローラ周りのハード不良か設定ミスを疑うべき。

FreeBSD8.0で運用してたZFS RAID-Z2って
LinuxのZFSで普通に読み込めるんだな
いや他のファイルシステムなら別に当然だけど
ZFSのしかもRAID-Zだから複雑なことやってそうだし無理かと思ってた

>>724
当然OpenIndianaでも読めるし、それどころかMac OS Xでも読める（本家Solarisはダメだが）。
と言いたいところだが、OS毎に実装済みのfeature flagsの差異によって
読み書きできる/読めるけど書けない/読めないが分かれたりするので注意が必要。
FreeBSD8.0で実装済みのfeature flagsなら他の現行OSで読み書きできるとは思うけどね。

OpenZFSのサイトに互換性表があるよ
ttp://open-zfs.org/wiki/Features

FreeBSD 8.0だと、feature flagsまだ未実装じゃなかったっけ？
relase時点で、pool version 15とかその辺だった様な・・・
stableはしらんけど、releaseなら、たぶんsolarisでもなんでも行ける。

まぁ、zpool get version/zfs get versionしろって事ではあるが。

今オススメの圧縮ファイルシステムってなに？

Hans Reiserの出所まであと10年か

x86_64のカーネルスタックが16KBになるようだ

xfsでスタック食いつぶしてうんぬんだっけ
Redhatの力か

ZFS on Linux 0.6.3 来た
ttps://groups.google.com/a/zfsonlinux.org/forum/#!topic/zfs-announce/Lj7xHtRVOM4

0.6.3と申されましてもｗ

http://www.phoronix.com/scan.php?page=news_item&px=MTcyNDE

> Reiser4 File-System SSD "Discard" Support Gets Revised

Ninaをdiscardした癖にFSの方はまだだったのか。

>>732

CentOS 6.5でアップデートかけたらzfs-dkmsがパッケージ
依存でエラーになってしまった。

zfs-dkms-0.6.3-1.el6.noarch (zfs)をインストールするには
バージョン2.2.0.3-20以上のdkmsが必要だが、今入っている
dkmsはdkms-2.2.0.3-14.zfs1.el6.noarch (@zfs)である。

って、dkmsはzfsのレポジトリにあるので、これの枝番が
14から20に上がらないとアップデートできない。

Cent6で入れてる人はEPELからdkmsの.src.rpm持ってきてるみたいね

以下の条件だとどのようなファイルシステムがおすすめでしょうか
・用途はファイルのバックアップ(コールドスタンバイ)
・基本的に落雷やヒューマンエラーによる全滅を防ぐために使用
・500GB〜1TB程度の中途半端な容量のHDDを次々と足して束ねていく
・古いHDDを使用するため1台死ぬのは日常茶飯事な使い方
(HDDが1台死んでも他のファイルは生きており、syncで破損ファイルをバックアップしなおす)

個人的にはmhddfsになるのかなぁと考えています。
btrfsのraid0でストライプを切れるという話を聞いたので、
それが本当にできるならその方が便利かもしれないとも思っています

ZFSでRAID-Z

＞・500GB〜1TB程度の中途半端な容量のHDDを次々と足して束ねていく
この時点でzfsはないだろ

ていうかそのやり方でどうやって冗長性確保するんだよ

バックアップだから死んでも大丈夫と思ってたら
再バックアップ前にメインも死ぬの法則

ZFSでRAIDZ使わずにditto blocks

3TBのディスク一本にまとめてゴミは捨てろ
電気代考えたらコストはかわらんだろ

って、常時火をいれるわけじゃないのか、すまんかった
ゴミは捨てろって気持ちは変わらないけど

>>743
> 電気代考えたらコストはかわらんだろ
24時間稼働とかしてたらすぐに電気代でペイできるよね
以前5本を2本にまとめたら電気代が月当たり2000円近く下がってびっくりしたことがある

さすがにHDD以外の要因もあったのでは

外付けだと常時フルアクセスで月300円
普通の使い方で月100円って所なんじゃないの
内蔵だとその1/3ぐらい

障害時の復旧が死ねるlvmは今時無いとして俺ならaufs
mhddfsもaufsも先頭デバイスから埋めていくのでそれがイヤならmadamでraid
未来に期待ならbtrfs

レスありがとうございます。

運用方法自体への指摘が多いようですが、
運用方法はあくまで>>737の方法でやりたいと思っていますので、
>>737でのおすすめファイルシステムを教えてください。

以下指摘へのレスというか補足です。
・用途はあくまで余っているHDDを非常時のバックアップとして再利用することです。
・バックアップ元はzfs raid1なのである程度の信頼性はすでにありますが、
落雷での全滅や、スナップショット未取得時の誤操作に対する対策をしたいです。
・冗長性についてはzfs raid0 copies=2も考えましたが、
容量を半分にするほどのメリットを感じなかったので採用しませんでした。

落雷での全滅が怖いならAmazonのcloudかアメリカのデータセンタに
定期的にバックアップするしかないんじゃなかろうか

>>750
>>737の運用方法が穴だらけなのは十分承知していますし、
費用度外視で理想の方法をあげればきりがないのもわかります。

ですが、今回はあくまで「余っているHDDの再利用」+「非常時のための
コールドスタンバイでのバックアップ」が目的でそれ以上は求めていません。

聴く耳を持たない人程くどくど聞いてくるんだよね
これは後々自分は悪くない、悪いのは教えた方ってゆー典型
せっかくレス貰っても振り出しに戻ってるしな
自分で考えた最強の方法にしとけ

＞500GB〜1TB程度の中途半端な容量のHDDを次々と足して束ねていく
＞HDDが1台死んでも他のファイルは生きており、syncで破損ファイルをバックアップしなおす
よくわからんけどこの2つを満たすFSってあるの？
ていうか実現できるの？無理じゃね？

WindowsでVVAULTでも使ってればいんじゃねって感じ

ファイルシステムにする必要がないだろ
単にコピーすりゃいい

とりあえず mhddfs で運用してみるのが良いんじゃないかな。
ファイルベースストライプはこれ以外は grusterfs ぐらいしか知らん。
HDD はほっとくとデータ消える事があるらしい(だからRAID装置はスクラブする)ので、
そこを運用でどう検知するかが問題かな。

個人的にはどーでもいい気分になってるけどmhddfsじゃ冗長性は確保できないんじゃない

ただの、普段は使わないバックアップにしておくだけでしょ
HDDが壊れたら、オリジナルから再度バックアップするってだけで
冗長性なんか要求してないと思うよ

壊れた部分の切り離しのしやすさとかそういうのを求めてるんじゃないの
知らないけど

単体ディスクに順番にコピーしてきゃいいだろ

予算ゼロで古いHDDが余っているなかでのベストを検討するって話で、
手間がかかる割に効果が薄くても構わないんじゃないか。
結果が伴わなくても、それ自体が予算増額へのステップアップになりえるし。

>>759
単体ディスクに順番にコピーしてくれるのを助けてくれるのが mhddfs なわけだが。

ありがとうございます。
とりあえずmhddfsで運用して様子を見てみようと思います。

>>756
ほっとくとデータが消えるというのは初めて知りました。
データ内容はそこまで大きく変わらないため、
syncのログはまめにチェックするようにします

>>761
rsync のログに出た時にはもうアウトなので、SMART でエラーが出ていないか確認かな。
リカバリー可能エラーはOSには報告されないので。
本当は定期的にフルバックアップしてスクラブ相当を実施したうえで SMART の確認が良いけど、
石橋をたたいて壊すことになり兼ねないので、痛し痒しだな。

zfs diff で差分取ったら日本語が文字化けするんだけど、
zfs createの時点で文字コードのオプションを指定してなかったせい？

化け方としては「\304\344\355」みたいな感じで表示されてる