Pilih RAID-5 atau EXT4, Thick atau Thin dengan QuMagie

English Penyimpanan
,
1

Saya punya kesempatan untuk mengatur ulang sistem saya dengan hard disk 8TB baru yang lebih besar dan lebih baik, semuanya identik, dan juga menambahkan dua DIMM ekstra masing-masing 8GB atau 16GB untuk kebutuhan RAM. Saya harus memutuskan apakah menggunakan RAID dan thick, atau Ext4 dan thin. Karena menggunakan 453D, saya tidak bisa memasang QuTS dan juga diinformasikan performanya memang tidak cukup kuat. Alasan saya memilih empat volume Ext4 8TB adalah karena overhead-nya lebih sedikit (tanpa RAID), storagenya lebih banyak (32TB secara teori dibandingkan 24TB), dan tidak kehilangan semua data jika 2 disk gagal — atau 1 HDD gagal dan waktu rebuild yang sangat lama justru menyebabkan kerusakan disk lain seperti yang kadang terjadi di RAID-5 — yang juga tidak saya butuhkan demi redundancy. Saya juga tidak perlu fleksibilitas ruang pool karena dari awal sistem akan diset ke maksimal dan snapshot akan sudah diatur tanpa perlu saya ubah-ubah. (Tapi saya tetap terbuka dengan saran lain.)

Tujuan saya: Menyimpan foto dan video digital pribadi dan memakai QuMagie sebagai alternatif Google Photos. Saya tidak butuh redundancy untuk ketersediaan uptime. Saya akan menyimpan file hash crc32 untuk setiap foto dan mempertimbangkan membuat archive par32 per folder untuk backup dan rebuilding kalau diperlukan. Saya juga punya backup drive lain dengan data serupa, dan bisa saja melakukan backup file baru sekaligus par untuk recover file atau folder tertentu jika saya menemukan gambar yang korup.

Satu kekhawatiran: Saya memperkirakan akan ada sekitar 100.000 foto, dan saya khawatir performa sistem akan jadi masalah serius terlepas dari berapa banyak RAM yang dipasang. Saya juga belum yakin apakah RAM akan banyak berpengaruh karena QuMagie kemungkinan besar satu-satunya aplikasi yang akan saya jalankan.

Terima kasih sebelumnya untuk setiap masukan yang bisa diberikan.

2

Saya kurang yakin maksud pertanyaannya apa, yang satu adalah tipe array RAID sedangkan yang lainnya adalah sistem file (kamu juga tidak bisa memilih sistem file internal sembarangan)

Kalau kamu ingin menggunakan snapshot, tipe thin paling bagus, asalkan jangan terlalu overprovision.

3

Sebenarnya—saya rasa Anda sudah membantu menjawab pertanyaan ini sebelumnya. Snapshot seharusnya bisa mengatasi masalah ini dengan menjalankannya secara berkala. Tapi awalnya saya mengatur NAS dengan RAID-5 karena itu adalah pengaturan yang ‘direkomendasikan’ saat saya mulai. Terus terang, saya tidak yakin apa manfaatnya selain, secara teori, bisa membangun ulang drive (yang kemungkinan akan memakan waktu lama, mungkin sehari) dibandingkan dengan melakukan backup berkala. Yang terakhir bisa berhasil jika Anda tidak sering menambah file, seperti saya. Jadi sekarang saya sedang mempertimbangkan ulang antara menggunakan Ext 4 dengan snapshot versus RAID-5.

4

Sekali lagi, ext adalah sistem file… semua NAS QTS menggunakan ext4

Tingkat RAID tidak ada hubungannya dengan itu.

Kamu bisa menjalankan snapshot di Single disk, Spanning JBOD, atau RAID0,1,5,6,10 (dan semuanya akan berjalan di ext4 pada QTS)

5

Saya baru saja melakukan penelusuran lebih dalam untuk memahami fungsi masing-masing dan sekarang saya mengerti. RAID-5 memeriksa data terhadap drive paritasnya dan TIDAK benar-benar menggunakan sistem checksumming di tingkat sistem file, seperti yang saya inginkan untuk memastikan integritas data. RAID-5 hanya membandingkan disk dengan drive paritas lalu menyinkronkannya agar drive yang gagal bisa dipulihkan. Namun, tidak ada pemeriksaan nyata untuk memastikan bahwa disk yang dipulihkan benar-benar identik seperti sebelumnya. Jika drive paritas mengalami error, file akan direkonstruksi tetapi tidak identik dan tidak bisa benar-benar dicek melalui checksum.

Jadi ini akan sedikit merepotkan untuk instal ulang, tetapi untungnya saya tidak punya banyak data di sana. Saya bisa saja menginstal ext4 dan tidak khawatir kehilangan semua data jika saya tidak bisa membangun ulang. Saya bisa memakai snapshot dan juga mengambil checksum crc32 seperti yang biasa saya lakukan untuk pengecekan integritas file di NAS dan backup. (Saya berusaha mempertahankan 3 salinan data.)

Skema thin tidak masalah karena kumpulan data ini tidak akan bertambah melebihi 4x8TB (dan pasti tidak dengan harga sekarang). Terima kasih sudah mengajak diskusi lagi.

6

RAID5 memberikan redundansi perangkat keras untuk hard drive Anda. Inti dari RAID5 adalah menyebarkan risiko kegagalan satu drive ke beberapa drive. Jadi jika satu drive gagal, Anda bisa menggantinya dengan yang baru tanpa kehilangan data Anda. Tanpa konfigurasi RAID5, jika sebuah drive gagal, pada dasarnya Anda kehilangan data Anda.

Ada juga keuntungan kecepatan pada array RAID. RAID juga memberi Anda ruang penyimpanan yang jauh lebih besar dibandingkan satu hard drive saja. Tapi RAID0 (pada dasarnya hanya menggabungkan drive) sangat berisiko karena ya, Anda mendapatkan banyak ruang penyimpanan, tetapi jika satu drive rusak, Anda kehilangan semua data di semua drive. Mana yang lebih lama? Memulihkan dari backup atau membangun ulang RAID saat Anda masih bisa mengakses data Anda.

QTS memang memiliki opsi scrubbing. Jadi Anda bisa melakukan itu secara berkala.

Bagaimana Anda ingin mengonfigurasi semuanya, itu tergantung pada Anda dan toleransi risiko Anda.

Tapi jangan pernah mengandalkan RAID sebagai “cadangan”. RAID bukanlah backup.

Snapshot memang bagus, tapi mereka juga tidak benar-benar backup kecuali disimpan di drive lain. Snapshot akan jadi tidak berguna jika disimpan di drive yang sama dan drive tersebut gagal. Kegunaannya untuk pemulihan file individual. Misalnya Anda tidak sengaja menghapus atau mengubah file dengan cara yang tidak Anda inginkan. Dengan snapshot, Anda bisa kembali ke waktu sebelumnya dan mengembalikan versi lama file tersebut.

7

Jika Anda berkenan, kami sangat ingin mendengar tentang pengaturan akhir Anda, atau pemikiran dan saran apa pun yang Anda miliki terkait QuMagie. Terima kasih!

8

Saya memutuskan untuk membuat 4 drive tunggal, tanpa RAID. Ini hanya untuk penyimpanan dan tampilan foto di level atas, dengan 2 lapis backup. Foto (RAW + JPG) dan Video akan diunggah sesekali saja. Saya bukan fotografer profesional, jadi mungkin hanya setiap 3 bulan sekali dari ponsel atau mungkin kamera. Saya punya backup cloud untuk kamera, tapi foto-foto harus dihapus atau nantinya jadi terlalu besar dan tidak praktis—jadi foto-foto itu akan disimpan di sini dan juga di backup.

Saya membuat 4 drive tunggal. Dari pemahaman saya, RAID-5 itu (1) untuk toleransi risiko/availability; dan (2) untuk pool penyimpanan yang lebih besar. #1 sepertinya bukan keuntungan bagi saya, apalagi memakai hard disk 8TB yang katanya proses rebuild-nya bisa berhari-hari yang, menurut saya, justru menambah risiko kerusakan. Saya lebih memilih punya 3 lapis backup dengan file crc32 untuk memastikan integritas data. Saya mungkin bahkan cukup dengan 16TB file di 2 HDD dan menyalinnya secara manual ke 2 HDD lainnya.

Saya membuat 3 folder di setiap drive—photo, video, raw. Saya tidak akan menggunakan Qumagie untuk melihat atau mengindeks file raw karena foto sudah ada versi JPG dan pengindeksan raw jauh lebih memberatkan sistem.

Untuk saat ini, saya punya folder tahun (2025, 2026) dan masing-masing terdiri dari kuartal (Q1, 2, 3, 4) tapi saya belum mengatur folder-folder ini untuk Qumagie. Saya mungkin akan membaginya lagi menjadi 12 bulan untuk foto-foto umum dan kalau ada foto perjalanan, saya akan bikin folder terpisah per trip dengan nama depan bulan supaya urutannya tetap terjaga, baru deskripsi setelahnya. Saya juga belum yakin mana cara terbaik, karena memilah-milah foto untuk memisahkan trip tertentu itu cukup lama dan ribet. Kalau tripnya besar, baru saya pisahkan, sisanya akan dimasukkan ke satu folder bulan saja.

Di setiap folder bulan, saya menambahkan media source-nya (ponsel atau model kamera).

Saya juga belum memutuskan akan diapakan foto-foto media yang dikumpulkan dari aplikasi seperti sms, chat apps, dll. Ini tricky juga tapi nanti akan saya pikirkan. Untuk sekarang, foto-foto dari aplikasi itu dipisah dulu dari Qumagie sampai saya tahu tata cara terbaiknya.

Ke depannya mungkin akan saya pakai penugasan folder internal di Qumagie, kalau memang memungkinkan. Semoga ini masuk akal dan nanti kita lihat perkembangannya.

9

RAID5 menurunkan risiko dan menjamin ketersediaan, jadi selain “kehilangan” kapasitas setara satu disk untuk parity terdistribusi, sebenarnya tidak ada kekurangan lain (tentu saja, ini bukan pengganti backup).

10

Poin yang bagus – tapi kekurangannya adalah Anda bisa kehilangan satu volume penuh 8TB selain kehilangan data di ketiga disk (21TB) jika proses recovery gagal. Selain itu, aus pada drive juga lebih sedikit. Sekarang harga HDD mahal banget… Untuk koleksi foto dan video besar yang bukan untuk bisnis, saya lebih memilih itu daripada ketersediaan dan tetap rutin backup.

11

Tidak ada risiko… itulah gunanya kamu punya backup, RAID + backup… gampang banget.

Dengan menggandakan data secara manual antar disk, kamu cuma menambah penyimpanan yang terbuang sia-sia. Kalau NAS-nya rusak, apa kamu sudah siap dengan backup eksternal? (soalnya kamu nggak bisa sembarangan cabut harddisk NAS dan langsung baca datanya di luar NAS)

Ngomong ini dari pengalaman bertahun-tahun berdiskusi sama pengguna lain—banyak yang cuek sama saran ini dan akhirnya harus keluar duit buat jasa recovery, atau malah kehilangan data sampai sedih banget.

12

Ya, menggunakan 4 drive terpisah itu memang ide yang buruk. Dan juga lambat.

RAID adalah standar industri untuk volume penyimpanan jika kamu menginginkan integritas data. Itu praktik terbaik. Selain itu, kamu juga mendapatkan lebih banyak ruang, dan lain-lain.

13

Saya benar-benar mengapresiasi komentar ini. Tapi pemahaman saya, ini hanya berlaku jika kamu menggunakan RAID. Begitu disk di-striping, disk itu hanya bisa dibaca di dalam NAS, tidak bisa di luar NAS — tetapi tidak berlaku untuk drive yang diformat sebagai Single (yang menurut saya memakai ext4). Cek juga artikel di bawah ini. Saya juga pernah melihat instruksi kalau drive-drive itu masih bisa dimasukkan ke dalam USB enclosure dan data masih mungkin dipulihkan seperti itu. Penggunaan RAID di USB enclosure (seperti pada enclosure 4-bay untuk RAID) menimbulkan masalah yang sama seperti di NAS. Kalau salah satu drive-nya mati dan kamu tidak punya enclosure pengganti yang sama persis, data semuanya hilang. Dalam banyak kasus yang saya baca, bahkan merek dan model sama pun tidak jamin drive RAID striped itu bisa dipakai lagi. Karena itu, memakai Single + ext4 rasanya lebih tepat. Bahkan kalaupun striped + ext4, saya juga belum yakin apa manfaat lain yang didapat dengan harus kehilangan space yang besar (8TB). Kalau saya punya slot 6+ drive dan memakai harddisk kecil, saya mungkin pertimbangkan RAID-5 atau RAID-6 (lebih baik). Semoga ini masuk akal.

https://www.qnap.com/en-us/how-to/faq/article/how-do-i-recover-data-from-the-drives-of-a-non-functioning-qnap-nas

Saya tidak merasa nyaman memakai RAID-5 dengan harddisk 8TB+ kalau salah satu drive-nya rusak, karena proses rebuild akan memutar ketiga disk selama berhari-hari untuk menggantikan disk yang rusak. Risikonya besar sekali. Selain itu, setahu saya tidak ada cara pasti untuk tahu jika ada masalah integritas data, karena tidak ada pengecekan level file untuk memastikan hal itu.

Katakanlah saya pakai 2 drive sebagai single dan 2 lainnya untuk backup dari empat yang saya punya. Jika terjadi kerusakan file, saya bisa langsung tahu file mana yang utuh karena saya punya checksum. File yang rusak tinggal saya ganti dengan file asli. Ini pun bukan berarti saya HANYA akan backup di NAS — tentu saja tidak. Saya akan punya minimal 1 kalau tidak 2 copy backup untuk setiap file di NAS dengan cara yang sama.

14

Saya bukan ahlinya di sini jadi saya sangat menghargai semua dari Anda yang memiliki pengetahuan lebih untuk memberikan komentar dan menjelaskan mengapa logika serta pemahaman saya mungkin keliru atau sempit. Sangat saya apresiasi.

Dari yang saya pahami, RAID itu ideal untuk ketersediaan dengan beberapa tingkat integritas yang dipertahankan. Integritas paling baik dikelola di level sistem file (seperti ZFS). Saya ingat pernah mempertimbangkan menggunakan RAID-1 mirroring dan muncul pendapat bahwa ini akan benar-benar menjaga file identik di antara drive. Tapi RAID tidak tahu file mana sebenarnya yang harus dipertahankan karena tidak ada checksum untuk mencocokkan file tersebut. Inilah yang saya pahami tentang sistem file seperti ZFS dan apa yang pesaing lain tawarkan di drive kelas atas mereka (seperti Btrfs dari produsen lain yang tidak saya gunakan). Di sini itu tersedia di NAS yang menawarkan QuTS, yang pada TS-453D saya (dengan RAM 16GB dan bisa diupgrade tidak resmi hingga 32GB) tidak tersedia. Jadi saya terpaksa memakai pendekatan ini.

Ya, menggunakan 4 drive individual adalah ide yang buruk. Dan juga lambat.

Saya tidak terlalu mempermasalahkan kecepatan untuk setup ini. Ini hanya akan dipakai sesekali untuk melihat foto dan video dari arsip. Akan berbeda kalau ini adalah perpustakaan besar yang sering saya akses, seperti fotografer yang mungkin perlu NAS menyala setiap hari dan mengakses file di berbagai folder. Paling baik saya akan memakai NAS ini sekali setiap dua minggu. Saat digunakan, itu hanya untuk menyalin dan menyimpan media baru dari ponsel/kamera, serta mencari, melihat/mengambilnya pada waktu tertentu saat saya ingin mengaksesnya. Sebagian besar waktu saya lebih sering melihat Google Photos untuk melihat foto-foto yang saya ambil selama setahun terakhir.

15

@slinky, menurutku kamu terlalu memikirkan hal ini. Ya, pada konfigurasi RAID5 memang ada risiko kehilangan semuanya jika ada drive baru yang rusak saat kamu sedang melakukan rebuild setelah kegagalan. Memang itu risikonya. Tapi makanya kita selalu bilang, punya backup itu wajib! :man_facepalming:

Kamu bilang:

itu akan membuat ketiga drive harus terus berputar selama berhari-hari

Padahal mereka memang sudah terus berputar! Hard drive nggak pernah benar-benar berhenti setelah kamu nyalakan. Jadi rebuild itu bukan melakukan sesuatu yang tidak didesain untuk drive tersebut.

Aku juga nggak yakin drive yang diformat EXT4 di QNAP bakal bisa dibaca langsung di sistem lain. Kalau aku jadi kamu, aku bakal cek lagi hal itu.

Lalu soal yang kamu “baca” tentang drive rusak dan harus cari pengganti persis sama, itu omong kosong. Drive-nya nggak harus model yang persis sama. Dan kamu bisa mindahin RAID5 dari satu model QNAP ke model QNAP lain, selama masih kompatibel. Aku sudah pernah ngelakuin. Aku pindahin RAID5 dari TS451 ke TS873A tanpa masalah. Tinggal copot-copot, langsung jalan.

Tapi ya terserah kamu deh. Kamu sepertinya lebih pintar dari semua pakar industri yang menciptakan dan mengembangkan konsep RAID5, RAID6, dsb. Kayaknya kamu memang lebih jago dari mereka. Jadi silakan aja kalau mau pakai single disk…Bukan data aku juga yang disimpan…

16

Terima kasih atas penjelasannya yang lengkap! Tantangan dengan RAID-5 dijelaskan lebih baik di sini.

Soal penggunaan EXT4, RAID-5 sudah tidak saya pertimbangkan karena alasan di atas. RAID-6 mungkin akan saya pertimbangkan, tapi saya akan kehilangan 2 drive—dengan biaya yang tidak murah? Untuk kebutuhan saya, 16TB penyimpanan sepertinya sudah sangat cukup untuk waktu yang lama. Saya bisa punya 2 drive untuk data aktif dan 2 drive sebagai backup. Kalau salah satu drive gagal, proses penggantian mudah—tinggal salin ulang file dari backup, hash check untuk pastikan tidak ada data corrupt. Data yang rusak bisa dipulihkan dari backup di HDD eksternal.

Mengenai kompatibilitas, yang saya maksud adalah antara produsen dan model NAS berbeda. Saya ingat kasus Drobo yang gagal total dan bikin panik, bahkan saat coba pindah ke pengganti dari produsen yang sama. Kalau saya tetap dengan QNAP NAS seperti yang kamu bilang pakai RAID—itu bagus! Tapi saya tetap merasa lebih baik tanpa RAID dan dapat tambahan 8TB ruang ekstra untuk penggunaan saya.

Saya menghargai semua para ahli dan apa yang kamu sampaikan. Tapi, apa ini cocok untuk kebutuhan saya? Saya rasa tidak. Setelah mendengar keunggulan RAID dan semua kegunaannya, memang RAID6 kelihatannya menjadi pilihan kalau menggunakan drive 8TB ke atas. Kenyataannya, penggunaan saya bukan seperti yang kebanyakan orang lakukan dengan NAS—mereka pakai drive khusus arsip 5400RPM, besar, lambat, dan memang didesain untuk akses sesekali. Tapi, buat saya, satu-satunya alasan pakai NAS—QuMagie sebagai pengganti Google Photos saya. Semoga ini masuk akal.

17

Saya nggak mau terus-terusan berdebat soal pakai RAID atau nggak pakai RAID. Tapi pendapat satu penulis di satu artikel di satu media teknologi nggak langsung bikin RAID5 jadi nggak valid. Nggak seperti itu.

Ya, memang butuh waktu lama buat rebuild array yang besar. Saya sudah pernah melakukannya. Dan memang ada kemungkinan kecil hard disk lain rusak selama proses itu. Tapi itulah kenapa kita punya backup ganda, baik di lokasi (on-site) maupun di cloud. Kemungkinannya array akan ter-rebuild dengan baik. Tapi kalau memang terjadi hal yang nggak diinginkan, ya ada backup.

Dalam kasus kamu ya kamu nggak peduli. Baiklah. Sepertinya kamu bikin backup identik ke setiap hard disk. Intinya kamu bikin RAID1 versimu sendiri. Kalau itu berhasil buat kamu, ya bagus, silakan saja dan nikmati.

Kalau saya, saya punya lebih dari 10 TB data yang dibackup di NAS itu dan di beberapa tempat lain. Baru saja MacMini saya error parah dan mungkin sudah mati (saya nggak bisa format ulang hard disk dan install sistem operasi walau sudah coba segala cara), tapi saya tenang soalnya punya backup lebih dari setahun data mesin itu di beberapa tempat. Kalau nanti saya bisa memperbaikinya atau beli mesin baru, saya tinggal restore dari backup. Kalau RAID saya rusak malam ini pun nggak masalah, karena saya juga punya backup online dan di rumah. Saya sudah cukup sering kehilangan data gara-gara hanya mengandalkan satu hard disk dan satu backup. Nggak mau lagi deh.