我現在有機會用更大、更好、而且都是相同型號的8TB硬碟重新組建我的系統,還可以另外加兩條8GB或16GB的記憶體(DIMM)。我需要決定該不該用RAID,以及是要用thick還是Ext4和thin。因為我是453D,不能安裝QuTS,也有人告訴我這台效能本來就不太夠。
我考慮用四顆8TB做Ext4獨立磁區的原因是,沒用RAID代表開銷較小(less overhead),而且儲存空間實際上會比較多(理論上32TB,少掉預期v. 24TB),再來就是如果兩顆硬碟同時壞掉—或是一顆壞了,重建時間太久又拖垮另一顆—至少不會全部資料一次都沒了,這正是聽說RAID-5可能遇到的狀況,而我其實不需要容錯的redundancy。我也不需要pool空間彈性,因為會直接設定到最大,快照(snapshot)也是事先設好,不需要之後再調整。(不過很歡迎大家分享想法)
我的目標:儲存我的私人照片和影片,用QuMagie作為Google Photos的替代品。我不需要為了開機時間(uptime)去做硬碟的容錯。我會幫每張照片建立crc32 hash檔,有考慮用par32來封存資料夾做備份,也方便重建。我會有其他備份硬碟存放一樣的資料,可以備份新檔案,也可以針對有發現損毀的圖檔和資料夾,用par來重建。
有一個疑慮:我預計大約會有十萬張照片,不確定性能會不會出現嚴重問題,不管RAM再加多少。雖然QuMagie可能是唯一會跑的app,不知道這樣究竟差別大不大。
謝謝大家提供任何經驗或建議!
slinky:
Ext4 > RAID-5?
不太確定你的問題是什麼,因為一個是 RAID 陣列型態,另一個是檔案系統(而且你也不能自己選內部檔案系統)。
如果你想要快照(snapshots),建議選 thin,只要不要做過度配置就好。
其實——我想你之前已經幫我回答過這個問題了。快照(snapshots)應該就是透過定期執行來解決這個問題。但一開始我設定 NAS 用的是 RAID-5,因為當時這是「推薦」的設定。坦白說,除了理論上可以用來重建硬碟(可能會花很長時間,也許一天),我不知道還有什麼好處,跟定期備份相比。備份對於像我這樣不常新增檔案的人來說也是可行的。所以現在我在考慮,是要用搭配快照的 Ext 4 檔案系統,還是 RAID-5。
再說一次,ext 是檔案系統……所有 QTS NAS 都是用 ext4。
RAID 級別和這個沒有任何關聯。
你可以在單顆硬碟、跨區 JBOD 或 RAID0、1、5、6、10 上執行快照(這些在 QTS 上全都是用 ext4)。
我剛剛更深入了解每種做法的運作原理,現在終於明白了。RAID-5 只是根據它的同位元(parity)磁碟比對資料,並不會像我所期望的那樣,在檔案系統層級採用校驗和(checksumming)來確保資料完整性。它只是讓硬碟和同位元磁碟保持一致,這樣壞掉的硬碟才能被還原。但是並沒有辦法真的檢查還原的硬碟與原本完全一致;如果同位元磁碟本身出現錯誤,檔案會被重建,但並不會一模一樣,也沒辦法與校驗和比對確認。
所以雖然重灌很麻煩,但反正現在裡面也沒存太多東西。我其實可以改用 ext4,這樣就不用太擔心重建失敗會資料全丟。我還可以使用快照、並像過去一樣做 crc32 校驗和,來管控 NAS 和備份的檔案完整性(我都會保留三份資料備份)。
資料量方面沒什麼問題,因為不會超過 4 顆 8TB 硬碟(更何況現在的價格)。感謝你願意再討論這個話題。
RAID5 為你的硬碟提供硬體層級的冗餘保護。RAID5 的主要目的,就是將單顆硬碟故障的風險分散到多顆硬碟之間。所以如果有一顆硬碟壞了,你可以換上一顆新的,資料也不會因此遺失。若沒有 RAID5 配置,一旦硬碟壞掉,資料基本上就全沒了。
RAID 陣列同時也有速度上的優勢。另外 RAID 讓你擁有比單顆硬碟大得多的儲存空間。但 RAID0(基本上就是把硬碟容量加起來)風險很高,雖然儲存空間很大,但如果任何一顆硬碟壞掉,所有硬碟裡的資料都會一併損失。哪個動作會比較花時間?還原備份,還是重建 RAID 並且你還能同時存取資料?
QTS 確實有磁碟檢查(scrubbing)的選項,所以你可以定期執行這個動作。
怎麼配置系統,取決於你自己的風險承受度。
但千萬不要把 RAID 當成「備份」。它不是備份。
快照(Snapshots)很好用,但嚴格來說不算是備份,除非你把快照存到其他硬碟上。如果快照就存在故障的硬碟上,那也派不上用場。快照最有用的地方是針對單一檔案的還原。比如你不小心刪除了檔案,或修改成你不想要的樣子,那就能用快照回到過去,還原成先前的版本。
如果你不介意的話,我們很樂意聽聽你最終的設定,以及你對 QuMagie 的任何想法或建議。謝謝!
我決定設置4顆單獨硬碟,不用RAID。這只是用來存放照片並在頂層展示,會有兩層備份。照片(RAW+JPG)和影片會偶爾上傳。我不是專業攝影師,所以大約每3個月才會從手機或相機傳一次資料。我的相機有雲端備份,但因為圖片量大需要移除,不然資料會混亂—所以照片會存到這裡並再備份。
我設了4顆單碟。據我了解,RAID-5的優點是(1)可用性/風險容忍度;(2)可以有更大的儲存池。對我來說,第一點用8TB硬碟並沒有好處(因為聽說重建可能要花好幾天,這中間出錯風險高)。我寧可用三層備份,再用crc32檢查資料完整性。甚至我有16TB檔案的話,一半放2顆硬碟,另一半手動複製到另外2顆也沒問題。
每顆硬碟我都會建3個資料夾—photo、video、raw。我不會讓Qumagie(智慧照片管理程式)去看或索引RAW檔,因為照片都已經有JPG,索引RAW只會徒增系統負擔。
目前每年都有一個年份資料夾(2025、2026),裡面分季(Q1、2、3、4),還沒對應到Qumagie資料夾。如果照片多起來,也許會分成12個月—一般照片這樣歸檔,如果有出遊,會單獨新建一個資料夾,用月份開頭再加說明,這樣排序比較清楚。最佳方式還沒想好,因為之後要分類整理出去旅遊的照片很麻煩又花時間。如果旅行很長或內容多,我會分開放,其他照片就放到一個大的月份資料夾裡。
每個月份資料夾底下我會標註是用哪個拍攝媒介(手機或相機型號)。
像從SMS、聊天APP等抓下來的媒體照片,我還沒決定怎麼處理。這部分比較麻煩,但我會慢慢整理。暫時這些照片不會讓Qumagie管理,等我想好再說。
未來如果可行,會利用Qumagie的內部資料夾分派功能。希望這樣說明有幫助,我們再看看後續如何發展。
RAID5 降低了你的風險並保證可用性,所以除了分散式同位在容量上「損失」一顆硬碟以外,基本上沒有什麼缺點(當然這不能代替備份)。
說得好——但缺點是,一旦修復失敗,除了損失一整個 8TB 卷,還會損失全部三顆硬碟(21TB)的資料。另外,這樣對硬碟的耗損也更小。現在的硬碟價格跟黃金一樣貴……如果只是存大量的照片和影片,而且又不是做生意,我寧願放棄可用性,選擇備份。
沒什麼風險……這就是為什麼你要有備份,RAID 加上備份……輕輕鬆鬆。
你如果手動在硬碟間複製資料,不但會浪費空間,而且如果 NAS 掛了……你準備好外部備份了嗎?(你沒辦法直接把 NAS 裡的硬碟拆下來,隨便放到其他地方讀取)
只是根據多年和其他用戶打交道的經驗來說,很多人都忽略了這些建議,最後不是花錢救資料(資料救援服務),就是掉眼淚(資料全沒)。
沒錯,使用 4 顆獨立硬碟真的是個糟糕的主意,而且會很慢。
RAID(磁碟陣列)是業界針對需要資料完整性(data integrity)的儲存空間的標準做法,這是最佳實踐。而且你還能獲得更大的空間等好處。
dolbyman:
沒風險……這就是為什麼你要做備份,RAID加上備份……輕輕鬆鬆。
如果你手動將資料複製到多顆硬碟之間,只會浪費儲存空間,而且如果NAS掛了,你有外部備份嗎?(你沒辦法輕易把NAS裡的硬碟拆下來,在NAS外讀取)
我這是多年使用經驗談,見過不少用戶,他們無視建議,最後不是花大錢請資料救援公司,就是資料直接沒了,哭也沒用。
我非常認同這個留言。不過我的理解是,這種情況只會發生在你使用RAID的時候。一旦做了條帶(striping),那些硬碟只能在NAS裡讀,無法直接在外部存取——但如果硬碟是格式化成Single(單一磁碟),它們應該是用ext4格式(依我理解)。可以參考下面這篇文章。我也看到過一些教學,說明怎麼把這些硬碟裝到USB外接硬碟盒裡,然後有機會自行把資料救回來。如果是在外接硬碟盒上做RAID(像是4Bay的RAID機種),那問題跟NAS一樣。如果其中一顆硬碟壞掉,手邊又沒有一模一樣的硬碟盒可以替代,資料就全都沒了。很多案例都指出,即便是同型號同品牌的硬碟盒,也不能保證RAID條帶的硬碟能用。因此使用Single + ext4應該會是比較妥當的作法。即便是條帶 + ext4,我也不覺得這樣雖犧牲儲存空間(8TB)還能帶來其他明顯的好處。如果我有6Bay以上的NAS或使用較小容量的硬碟,可能會考慮RAID-5或RAID-6(更好)。希望這段有說清楚。
https://www.qnap.com/zh-tw/how-to/faq/article/how-do-i-recover-data-from-the-drives-of-a-non-functioning-qnap-nas
我覺得用8TB以上的硬碟做RAID-5不是我能安心的方案,因為只要有一顆硬碟壞掉,所有3顆硬碟就要不停運轉好幾天才能重建失效的硬碟,風險很大。而且我也不了解到底有什麼方法可以確保資料的完整性,因為好像沒有任何檔案層級上的保護機制來確保這件事。
假設我4顆硬碟裡,2顆當Single用、2顆作備份。如果某檔案出現劣化,我可以馬上用checksum檢查出哪個檔案才是完整的,然後用原始的檔案去覆蓋掉損壞的那個。當然,這也不是說我的資料只會只放在NAS做備份——絕對不會。我一定會另外再準備至少1到2份所有資料備份,方式和NAS裡一樣。
我不是這方面的專家,所以我非常感謝比我更有經驗的大家發表意見,也很願意接受大家指出我的邏輯或理解哪裡可能有錯誤或太過片面,真的很感激。
根據我的理解,RAID 的主要目的是提升可用性,同時維持一定程度的資料完整性。至於資料完整性,最好還是交給檔案系統層級來管理(像 ZFS 這種)。我記得當初想用 RAID-1 鏡像時,就有人提醒我:這確實能保證兩個硬碟內的檔案一樣。不過,RAID 並不知道哪個檔案才是真正正確的版本,因為它沒有 checksum(校驗碼)來比對。這也就是 ZFS 這類檔案系統,或某些競品比較高階機種(像 Btrfs——有些廠牌會用,但我沒用過)的賣點所在。現在市面上的 NAS,如果有 QuTS 這類系統就有這功能,但我的 TS-453D(16GB RAM,非官方可擴充到 32GB)並不支援,所以只能用這種做法。
對,用 4 顆獨立硬碟只會讓情況變糟,也很慢。
對於這個架構來說,我倒沒那麼在意速度。這台 NAS 偶爾才會用,用來存取相片和影片備份。如果這是攝影師那種容量很大的素材庫、天天要即時存取多個資料夾的檔案,我可能會有不同看法。但這台 NAS 了不起兩週用一次,頂多就是丟新的照片或影片進去備份,然後偶爾需要查找或回顧才會開來看。大部分時間我還是用 Google Photos 在翻過去這一年拍的照片。
@slinky ,我覺得你真的想太多了。是的,在 RAID5 的配置下,如果你在重建陣列的時候又有一顆新硬碟掛掉,那確實有一次性全毀的風險。沒錯,這就是風險。但這就是為什麼大家都說要備份啊!
你說:
這樣所有三顆硬碟都要連續運轉好幾天
它們本來就在運轉啊!硬碟只要開機了基本就沒在停過。所以重建的時候你做的,也都在他們設計範圍內,沒什麼特別的。
我也不會這麼肯定說,QNAP 用 EXT4 格式化後的硬碟,其他系統就能直接讀。我如果是你,會仔細再確認一次沒問題。
還有,那些你「看過」關於硬碟死了卻找不到一模一樣型號替換的說法是唬爛。換硬碟不用非得一模一樣型號。而且你還可以直接把 RAID5 從一台 QNAP 換到另一台(只要兩台型號相容)。我自己就做過。我的 RAID5 從 TS451 直接換到 TS873A,沒半點問題。只是把硬碟拿出來再插進去就好了。
不過你就照你喜歡的做法走吧。看起來你比那些開發 RAID5、RAID6 概念的產業專家都厲害多了。你就是很懂嘛!去用你的單碟吧……反正資料又不是我的XD
NA9D:
反正它們一直都在轉啊!硬碟只要開機就不會停止旋轉。因此,在重建時你也不是讓硬碟做了他們不被設計做的事。
但我不太確定一顆在 QNAP 上格式化為 EXT4 的硬碟能否被其他系統讀取。如果我是你,我會再三確認。
另外,你聽說的那些「硬碟會掛掉且沒有完全相同型號無法替換」的說法都是鬼扯。硬碟不用型號完全一樣。而且你可以把 RAID5 陣列從一台 QNAP 機種搬到另一台(只要都是相容的機種)。我自己就這麼做過,把我的 RAID5 從 TS451 搬到 TS873A 完全沒問題。直接把硬碟從舊的抽出來,插到新的就好了。
謝謝你的詳細回覆!RAID-5 的挑戰在這裡解釋得很清楚:
至於 EXT4 的使用,上面說明了 RAID-5 不在考慮範圍。RAID-6 我是有想過,不過會損失兩顆硬碟容量,值不值得?對我來說,16TB 空間應該已經足夠用很久。我可以用兩顆硬碟存放常用資料,另外兩顆做備份。哪一顆壞了都容易換新,只要從備份複製回來,再做 hash 檢查確保沒損壞。如果有錯,再從外接硬碟的備份還原。
至於相容性,我說的是不同 NAS 廠商或型號之間。我還記得 Drobo 出包那次,讓大家都很恐慌,即使同家廠商換新機也常失敗。當然如果像你說的用 RAID,可以直接換 QNAP 新型號——這很不錯!但對我目前的使用來說,不用 RAID 還能多出 8TB 空間,其實更划算。
我非常尊重這些專家和你的建議。但我的需求就是不是那麼典型的企業場景啊。即使大家都推 RAID,用在 8TB 以上硬碟我確實只會考慮 RAID6。實際上我的用途可能跟一般 NAS 使用族群很不一樣——他們大多用 5400RPM 的大容量慢速碟做冷備,我現在使用 NAS,純粹就是因為 QuMagie,想拿來取代 Google Photos。希望這樣的說明你能理解。
我不想再跟你沒完沒了地討論到底要不要用 RAID。只因為某技術雜誌上某一個作者的一篇文章,並不代表 RAID5 就失效了,真的不是那麼回事。
沒錯,重建大型陣列確實要花很久,我自己也做過。當然在這過程中硬碟有可能壞掉,但這就是為什麼我們要有多重備份,不論是本地還是雲端。多數情況下,陣列都能順利重建。但萬一哪裡出岔子,你有備份可以恢復。
至於你不在意,那也沒關係。聽起來你是把資料做一份份完全一樣的備份在每個硬碟上,其實你等於自己手動搞了一個 RAID1。對你來說如果這樣方便就好,盡管去做吧,開心就好。
對我來說,我在那台 NAS 和其他地方備份了超過 10 TB 的資料。我最近 MacMini 出了點狀況、可能已經掛了(不管怎麼搞都沒法重新格式化硬碟和安裝系統),但我很安心,因為那台機器過去一年多的備份,都放在多個地方,只要能把它修好或是買新機,隨時都能恢復工作。如果我的 RAID 今晚壞掉也沒問題,因為有線上和本地的備份。過去我信任過單顆硬碟和單一備份,已經失去過太多資料,絕不再冒這種風險了。