KuriKumaChan’s diary

Kuri ちゃんと Kuma ちゃんの飼い主の独り言

自宅 NAS 交換 (8) QNAP の PCIe接続拡張カード (10GbE + キャッシュ) Write 400MB/超 (+ 10GbE スイッチも)

以下の記事は "Blackmagic Disk Speed Test" を用いた測定を行っていますが、改めて "AmorphousDiskMark" を用いたテストも行いましたのでこちら(近日掲載予定)も参照ください。


SSD キャッシュ有効化の効果 (Write 400MB/s 超え❗️)

装着してもなかなか有効化できなかったキャッシュをオンにして、早速効果測定結果です。Read は安定して 600MB/s 超え(キャッシュオンでもほとんど変わらず‥)でしたが、肝心の Wrire は 400MB/s を軽く超える結果です。 以前に自宅 NAS 交換 (6)で書いたように、Lightroom のメイン環境であった Windows/Endeavor はそのデータ保存用ローカル HDD で Read/Write とも 150MB/s 超、起動ドライブの SSD でも Read/Wrire とも 250MB/s 超なので、Read の 600MB/s 超えはともかく Write の 400MB/s 超えも圧倒的なパフォーマンス改善となります。やはり 10年ほど前のアーキテクチャの Endeavor 5300 ではいくらローカル接続であっても、リモート接続だとしても最新の最新の M.2 SSD、10GbE (+ Thunderbolt 3) の威力には歯が立ちません。

alt属性
M.2 SSD キャッシュをオンにして Write も軽く 400MB/s をクリア

なぜ SSD キャッシュは Read パフォーマンスに貢献しないのか?

ところで、この NAS の交換にあたっては、Read パフォーマンスに対するキャッシュの効果を数字で確認することはできませんでした。今までのご紹介記事の中では一部端折っていますが、10GbE を搭載して「ジャンボフレームを設定しない」状態では Read は 500MB/s であったのですが、ジャンボフレームを設定してからは Cat.7 ケーブル直結でも間に Cat. 5e ケーブルを入れても、そして今回の NAS にキャッシュを搭載&オンにしても一向に 600Mb/s 超から目立つような変化はありません。何故なのでしょうか??? 雑に想定するに、

A)すでに HDD 自体の Read パフォーマンスの上限となっている、
B)10GbE 自体の実効的な上限になっている、
C)HDD 自体のキャッシュを使った上限となっている(Disk Speed Test 自体が既存のファイルを read するのではなく、テストで write したものを read back してるから?)、

などと考えます。600MB/s ≒ 4.8GB/s と考えると、オーバーヘッドも想定しても 10GB/s まではまだ余裕がありそうですので B) では無さそうなので、HDD 単体のパフォーマンスを測定したりすればその理由がより明確になると思いますが、ほろ酔いで始めるたチャレンジには少々そろそろお腹いっぱいに感じられ、このままのパフォーマンスだけ見て満足することにしようと思います。

Lightroom のカタログ(ファイル)の扱い (NAS 上に置けるか?)

話は変わりますが、Lightroom の実運用上忘れてはならないのが Lightroom の「カタログ」と呼ばれる ".lrcat” の拡張子がつくファイルです。Lightroom は写真ファイル(.jpeg といったデジカメが出力したファイル)自体には一切変更を加えないので、「現像」と呼ばれる各種加工(明暗、コントラスト、彩度、各種色情報の変更など)はパラメータとしてカタログに保存されます。後はタグやフラグなどユーザーが写真管理上設定するデータもカタログに管理されています。ですので万一カタログ情報を失うと、「素の」写真ファイルしか残らないことになりますので、とても重要なデータです。このカタログ実態は、SQLight と呼ばれる組み込み型のデータベース化のデータファイルの様です。このデータベースファイルであるカタログファイルは、以前から NAS 上に置くことはできず、今回も調べてみましたがやはりローカルドライブに置く必要がある、というのが Adobe の仕様で変更はありませんでした。

実際に NAS 上のフォルダにあるカタログファイルを開こうとするとエラーが表示される
実際に NAS 上のフォルダにあるカタログファイルを開こうとするとエラーが表示される
Lightroom Classic カタログ FAQ より
Lightroom Classic カタログ FAQ より

helpx.adobe.com

実際には、NAS 上の通常の共有ドライブを利用するのではなく、iSCSI というプロトコル で利用すれば NAS 上にカタログファイルを置くこともできるそうです(Studio9 さん情報)。QNAP の OS である QTS のコントロールパネルにも iSCAI の項目はあるので、設定可能だと思います。がまぁ、ほろ酔いも覚めてきたので、今回は見送ってカタログ自体は最速の Macbook の最速ローカルドライブにおいて適宜バックアップすることにしました。

MacBook Pro 16 (2019) の内臓 SSD は爆速です!
MacBook Pro 16 (2019) の内臓 SSD は爆速です!

AWS (Amazon) Glacier の設定

今回、TS-453Be に直接写真ファイルを保存する運用としたので、私の家の中には RAID1 構成とはいえ NAS 上のデータしか残さない、ということになります。それでは大災害に見舞われた時など家が被災すれば NAS 上のデータも失われてしまいますので、既に TS-431 の頃から運用していた Amazon Glacier (比較的低コストのバックアップ専用のクラウドストレージ)に NAS の重要データをさらにバックアップする設定も行いました。詳細はまた機会があればご紹介しようと思いますが、Amazon (日本のショッピングの amazon.co.jp ではなく、US の amazon.com) のアカウントと今まで利用していた Glacier の設定情報を幾つか HSB3 (Hybrid Backup Sync 3)に 登録するだけで、今までと同じクラウドバックアップ先に新しい TS-453Be からも簡単にバックアップ実行をすることができました。

バックアップ先としての Amazon Glacier の設定
バックアップ先としての Amazon Glacier の設定

<2021/04/27追記>実はこの TS-453Be からのクラウドバックアップはジョブ開始後に以上終了していたことに後日気がつき、2014年になって新たなバックアップ取得を行なっています。その顛末等はこちらの記事で紹介しています。
blog0.kurikumachan.com

やっぱり LAN ケーブル二本差しは鬱陶しい‥

ところでしばらくは直結ケーブル 10GbE の速さに惚れ惚れしながら楽しんでいたのですが、以前にも説明したように Mackbook にはもともとの GB ケーブルと今回の 10GbE の日本のケーブルが刺さっています。こがなぜかと言うと、NAS への直結ケーブルにはインターネットへの出口がないからです。インターネットや家の中の他の機器を接続するためには既存の GB ケーブルも同時に接続されていなければいけません。
机の上の接続を正確に説明するとそれらの LAN ケーブルは Macbook に直接刺さっている訳ではなく、GB ケーブルは USB-C ハブ経由、10GbE ケーブルは solo 10G 経由 Thunderbolt 3 で Macbook に接続されていますので、具体的に以前と変わったのは Macbook に新たに刺さる Thunderbolt 3 ケーブルだけです。しかし、物理的にケーブルが増えた!ということだけではなく、再起動後などは二本の LAN に接続されていることを確認しなくてはならないなど気分的に手元が複雑になった感じが拭えません。
となると、やっぱり 10GbE のネットワークにルーターも含む既存のネットワークを接続しなければならないので、一旦は考えるのをやめていた 10GbE 対応のスイッチングハブを導入するしかありません。エントリーモデルの 10GbE 対応のスイッチングハブはまだまだ機種も少なく一番安価なモデルとしては NETGEAR の GS110MX とバッファローの LXW-10G2/2G4 くらいで、いずれも 10GbE のポートは2つしかありません。もう一年くらい待てばより安価なモデルが出てくると思われるのでだいぶ葛藤がありましたが、ほろ酔いの決断で筐体の小さなバッファローに来てもらうことになりました。
と言うことで、下図のようにメデタク Mackbook を 10GbE のネットワークだけで全てに接続できるように配線し直して(小さな)鬱陶しさを吹き飛ばすことができました。実際の設置状況は以前写真を掲載していますので下記の記事を参考にしてください。

やっぱり Macbook に LAN ケーブル 2本はジャマ!
やっぱり Macbook に LAN ケーブル 2本はジャマ!

blog0.kurikumachan.com

10GbE スイッチ導入後のパフォーマンスですが、精密な測定を行っていませんがし、NAS の状況?(負荷の状況?キャッシュの状況?)で日によってパフォーマンス測定結果にばらつきがあるのですが、数字的にはやや直結接続よりスイッチ接続の方が若干(数%)数字が良いことが見受けられます。「スイッチ接続にして常に数%良い」と言う訳ではなく、直結と同じ程度の数字の日もたまにあります。その中で Write が 550MB/s 超えという時もありましたので画面を貼り付けておきます。 Read は安定して 600Mb/s 「ちょっと上」というのがなんとも‥

alt属性
Write が 550MB/s 超え!!!

今後の NAS まわり

ということで、こんなに何回にも分けて書くつもりはなかったのですが、だいぶ長々と書いてしまいました。その反動(?)で今回はちょっと浅い感じですがご容赦いただきたいと思います。
本当は会社勤めの生活を終えたので、今までやりたくても出来なかった過去のフィルム写真のデジタル化などさっさと始めたいところだったのですが、最近やったことである程度四苦八苦したネタとして TS-453Be への移行の話がありましたので、なんとか直近の結末まで描き終えました。とはいえ、ほろ酔いでなければ(アル中ではありませんが)試してみたい NAS 周りの気になるポイントもまだまだあります。これらの中にはお金がまたかかる物もありますのでおいそれとは手が出せなかったりしますが、いずれ他の趣味に飽きてきたらまた NAS 関連のチャレンジもしてみようかと思います。

  • TS-453Be のさらなるチューニング/測定 (特に Read)

  • Lightroom カタログファイルのバックアップ もしくは iSCSI 設定

  • M.2 SSD の RAID 1 化 (2枚目の SSD 装着)

  • Qtire 試してみる(何か自分に役立つ使い方は無いか?)

  • Amazon Glacier (クラウド側保存データの整理、ダウンロード&リストアのテスト)


ということで、次からは別のお題にて。(ニンテンドーの方の Switch がようやくうちにも来て、睡眠時間が減っています‥)

残念な続きを書きました...

blog0.kurikumachan.com