Masalah kecepatan ZFS?

English Penyimpanan
1

Hai,

Saya butuh bantuan untuk memahami bagaimana cara kerja ZFS di QNAP karena sepertinya saya melewatkan beberapa informasi penting (maaf kalau ini sudah pengetahuan umum tapi saya belum tahu), jadi mohon maklum ya.

Berikut ini yang saya lakukan dengan QNAP TS-h2477AUX NAS saya.

Awalnya saya hanya punya 6 × 18TB drive (Toshiba MG09), jadi saya buat pool/volume dengan 6 drive tersebut sebagai RAID 6 (4+2 untuk parity, karena saya butuh banyak ruang jadi saya tidak bisa pakai RAID 10, terlalu banyak “ruang terbuang” dengan harga TB/$ yang sudah sangat mahal saat ini) dan mulai menyalin file dari Synology saya karena saya punya banyak data (dan banyak file kecil/gambar yang biasanya memakan waktu lama untuk transfer), lalu saya mulai beberapa hari lalu.

Setelah beberapa hari saya mendapat 3 drive lagi (sama-sama Toshiba MG09 18TB) supaya saya bisa menutupi volume 108TB yang sama seperti di Synology NAS saya saat ini.
Lalu saya memperluas pool ZFS saya dengan menambahkan 3 HDD baru sekaligus (proses ini memakan waktu sekitar 15 jam untuk menghitung/memperluas tapi selesai semalaman dan besoknya sudah siap digunakan), dan saya “mendapat” tambahan ruang sekitar 40TB, sesuai dugaan :).

Jadi sekarang pool/volume saya berisi 7+2 (RAID 6), dan semuanya tampak berjalan baik sampai saya mencoba menguji kecepatan dan kaget dengan lambatnya kecepatan transfer.

Saya pakai Black Magic Design Disk speed tool buat cek seberapa cepat saya bisa tarik data dari NAS karena saya EDIT video 4K dari NAS di Davinci Resolve, dan ternyata kecepatan QNAP (saya sudah colokkan kedua LAN 10Gbit ke switch 10Gbit dan SMB multichannel Auto/ON) hanya sekitar 290MB Read dan 450MB Write?

Saya sebenarnya berharap kecepatannya jauh lebih tinggi (karena Synology saya dengan 8 drive (418TB + 422TB dalam SHR-2 — basically Synology RAID 6 dengan ukuran drive campuran) bisa kasih saya 850MB Read dan 900MB Write di komputer/switch yang sama, yang juga terhubung dengan QNAP).

Jadi saya bertanya-tanya, kenapa QNAP jauh lebih lambat padahal CPU-nya 8 kali lebih kuat, RAM lebih banyak, dan File System-nya katanya jauh lebih bagus (ZFS vs BTRFS)?

Apa yang salah dengan konfigurasi saya?
Mungkin ada yang keliru di setup saya, tapi ini benar-benar terlalu lambat.

Saya sudah cari-cari online dan di antara segala “omongan AI” yang diberikan Google sekarang ini, mungkin ada juga yang benar. Katanya RAID 6 dengan jumlah drive ganjil (9) bisa jadi masalah di sini, jadi sebaiknya diganti ke 8 drive atau sekalian beli drive ke-10 supaya bisa dapet kecepatan normal lagi?

Ada benarnya nggak sih soal itu?

Ada juga yang bilang, saya bahkan harus hapus volume dan bikin ulang dari awal dengan semua disk di dalamnya karena ada “quirk” di cara kerja ZFS, tapi itu nggak masuk akal menurut saya. Kalau mau expand pool harus selalu rebuild volume dari nol, ya gunanya POOL expansion buat apa? Seharusnya nggak seperti itu, kan?

Mohon masukkan/saran..

Terima kasih

2

menambahkan disk ke vdev ZFS adalah fitur yang relatif baru

apakah kamu sempat melakukan speedtest sebelum melakukan ekspansi?

3

Sayangnya, saya baru melakukannya minggu lalu saat saya menguji dengan 5x*8TB drive dan saya mendapat hasil sekitar 450/500 di RAID 6, yang menurut saya cukup/normal karena hanya setup 3+2 (2 untuk parity). Saya senang dengan 3 drive yang bisa mencapai 500mb dan berharap lebih tinggi lagi saat saya menambah lebih banyak disk. Itu sebelum 18TB saya datang yang sekarang saya gunakan

volume 1 - 2xNVMe 2TB drive untuk Sistem/Aplikasi
volume 2 - 9x18TB MG09 Toshiba untuk data/video/foto
volume 2 - 2x*8TB dalam RAID Mirror khusus untuk Surveilance.

Jadi sayangnya saya tidak punya tes untuk volume 2 sebelum ekspansi (waktu masih 6 disk), tapi kecepatannya sekarang sangat rendah :confused:

4

Halo,

Di postingan lain kamu bilang “over-provisioning … tidak diperlukan untuk HDD.”
Apakah kamu sudah mengubahnya?
Storage pool over-provisioning | QuTS hero h6.0.x

Lalu, bagaimana pengaturan ARC-RAM kamu?
Storage global settings | QuTS hero h6.0.x

5

Hey @Becker2020 - itu ide yang bagus, nanti aku coba lihat apakah mengembalikan “over-provisioning” bisa membantu masalah itu. Tapi menurut semua info yang sudah aku baca, itu hanya membantu kalau space terisi di atas 90% — yang bukan kasusku karena saat ini masih ada lebih dari 50% free space di pool aku, tapi tetap akan aku coba.

Untuk ARC-RAM, aku belum pernah utak-atik, settingannya masih default:

ini tangkapan layarnya

ARC_Ram
ARC_Ram1147×754 78 KB

Dan ngomong-ngomong ini hasil tes kecepatan Synology aku:

Synology_BRTFS_speed
Synology_BRTFS_speed883×779 124 KB

6

Kalau begitu, NAS kamu punya masalah lain.

7

Kami akan menjalankan beberapa tes performa secara internal pada setup serupa untuk mengecek kecepatan baca/tulis setelah memperluas pool ZFS, dan saya akan memberikan kabar di sini setelah kami mendapat hasilnya. Terima kasih!

8

Saya mengerti kamu sudah memperluas pool-mu, tapi apakah mungkin array RAID-mu masih dalam proses membangun? Itu kapasitas yang sangat besar yang kamu punya dan tambahkan. Kamu bisa saja punya pool yang sudah aktif, tapi sistem masih membangun array dan mengatur semuanya di latar belakang. Menurut saya, membangun sistem 108TB dan membuat array benar-benar siap tidak bisa selesai hanya dalam semalam.

9

Nah, drive saya nggak penuh waktu saya melakukannya, jadi saya nggak yakin berapa lama seharusnya proses itu berlangsung (katanya ZFS memang lebih baik soal itu dibanding beberapa filesystem lain), tapi saya nggak bisa expand pool sampai proses itu selesai (sekitar 15-16 jam, waktu saya mulai persentasenya ngitung 0,01%, 0,2%, 0,5%, 1,05% dan seterusnya, sampai akhirnya 100% di hari berikutnya …).
Jadi ekspansi cuma bisa dilakukan setelah counter itu selesai dan sekarang sih nggak ada tanda-tanda rebuild lagi, penggunaan CPU cuma 1-5% yang pasti terlalu rendah kalau rebuild masih berjalan, kan?

Saya tahu fitur expand di ZFS ini memang masih baru (seingat saya baru ditambahkan tahun lalu?), jadi semoga tim QNAP bisa cek secara internal (seperti yang Steve sarankan) dan mungkin menemukan BUG yang menyebabkan ini dan bisa diperbaiki lewat update software.

Sekarang saya masih nunggu proses copy tambahan data lebih dari 25TB selesai (sudah lebih dari 20 jam) dan karena kecepatan 10Gbit di Filestation tetap lambat banget, estimasinya masih sekitar 1 hari lagi sampai benar-benar selesai.

Nanti saya coba reboot NAS deh, siapa tahu setelah itu kecepatannya balik normal lagi.

cheers

10

OK. Sepengetahuan saya, Raid Rebuild berbeda dengan pembuatan pool. Raid Rebuild/Sinkronisasi adalah proses sinkronisasi data tingkat rendah bit demi bit di seluruh array. Proses yang berjalan sektor demi sektor pada drive fisik memakan waktu lama. Tapi kalau penggunaan CPU kamu rendah, mungkin prosesnya selesai lebih cepat…

11

Oke teman-teman, ini updatenya:

Setelah semua data selesai disalin, saya reboot NAS dan sekarang saya bisa lihat kecepatan baca 400-550 MB/s dan tulis 450-600 MB/s. Itu pada percobaan pertama (menulis file 5 GB). Pada percobaan kedua turun menjadi sekitar 300/500 atau sekitar itu dan terus turun sedikit demi sedikit pada setiap percobaan berikutnya :(.

Saya sudah “ngobrol” dengan AI dan menjelaskan masalahnya, membaca banyak postingan forum/reddit dan semua opsi yang bisa saya temukan. Dan seperti kesimpulan AI, mungkin penyebabnya adalah cara QNAP mengimplementasikan ZFS atau ada fitur yang tidak ada (yang dimiliki Synology) yaitu pengaturan ukuran blok maksimum hingga 1MB, sedangkan di Qnap maksimalnya hanya 128k agar kecepatan transfer file besar bisa lebih bagus.

Ini hanya tangkapan layar (di bawah postingan) dari ringkasan terakhir menurut AI (Gemini) soal apa kemungkinan masalahnya. Dan karena QNAP QuTS hero memang tidak punya pengaturan untuk melewati 128k (itu batas maksimumnya), bisa jadi memang ini alasan kenapa RAID 6 di QNAP terasa lambat :/.

Sekarang saya bisa saja hapus semua volume (dan kehilangan 5 hari proses salin file :/) lalu berpindah ke QTS EXT4 biasa (alih-alih QuTS hero ZFS) tapi saya bakal kehilangan fungsionalitas Snapshots dan beberapa fitur lain yang nggak ada di EXT4 tapi dimiliki QuTS hero/ZFS juga Synology BRTFS, selain itu juga bakal membatasi ukuran pool maksimal sampai 250TB (ini salah satu alasan kenapa saya mau pindah dari Synology, selain pembatasan drive terbesar/lockout) yang cuma sampai 108TB di banyak NAS, dan 200TB pada NAS yang lebih besar yang sekarang sudah gampang sekali dicapai dengan kapasitas HDD saat ini…

Jadi intinya transisi saya ke QNAP nggak semudah yang saya bayangkan dan sepertinya saya nggak bakal bisa edit file 4K 60fps (tanpa hambatan) langsung dari NAS :confused: :(.

Mungkin developer QNAP bisa tambahkan dukungan ukuran block lebih besar di rilis QuTS hero 6.1 nanti?

cheers

Tangkapan layar AI memaparkan alasannya:

QNAP_vs_Synology
QNAP_vs_Synology1494×2302 494 KB

12

Jangan cuma mengandalkan AI… AI kadang kasih info ngaco, QTS juga mendukung pool dengan snapshot

Coba aja ngobrol sama @Bob, dia spesialis mesin editing video, banyak yang pakai QNAP juga

13

Memang benar, AI seringkali menyesatkan, tapi saya sering membetulkan dia (atau dia?), dan lama-lama AI bisa kasih info yang benar dengan link yang pas ke topik dan bukan cuma “nebak-nebak” :slight_smile:.

Soal QTS dengan EXT4, saya salah ngomong sebelumnya, harusnya saya bilang EXT nggak punya Fitur Deduplication/Compression dan Self Healing, maaf ya salah saya/kurang tepat.

Tapi pada dasarnya, kalau NAS saya pakai 24 bay, ZFS memang selalu direkomendasikan, bahkan sama QNAP sendiri (saya sudah nonton banyak video QNAP UK, itu sumber info yang bagus banget :)).

Saya cuma bingung aja, kok nambah drive malah bikin transfer makin lambat, jadi saya mikir, apakah kartu add-on 25Gbit yang QNAP jual itu (saya kira saya bakal butuh itu setelah lewat 14 disk) beneran kepake? (RAID 0 sama sekali nggak disarankan buat produksi :)), soalnya NAS saya aja belum bisa penuh 10Gbit dengan 9 drive, jadi kayanya saya nggak bakal perlu 25Gbit add-in card :/…

14

Hai Lewis -

Saya tahu tentang postinganmu hanya karena Dolby menyebut nama saya, dan saya mendapat email yang mengatakan bahwa seseorang menyebut nama saya di forum ini. Kamu seharusnya menuliskan sesuatu seperti “video editing” di postinganmu, jadi saya pasti sudah melihat postinganmu, bukan hanya tentang ZFS Speed Problems.

Sebelum kita lanjut lebih jauh - saya melihat kamu berada di Kroasia. Kalau kamu bisa memasukkan saya ke band Dino Jelusick di Kroasia, saya akan terbang ke sana dan memperbaiki masalahmu secara langsung secara gratis.

Saya benar-benar memahami betapa mahalnya harga drive SATA di tahun 2026, tapi semua orang memang menghadapi hal itu. Kamu punya TS-h2477AXU-RP, itu produk yang hebat. Kalau kamu ingin performa kecepatan tinggi dan kamu tidak memakai setidaknya 12-16 drive di produk ini, maka kamu tidak akan pernah mendapatkan kecepatan yang kamu inginkan untuk video editing profesional seperti AVID Media Composer, Davinci Resolve, Adobe Premiere, atau bahkan Apple FCP X. Dengan hanya 6 drive di konfigurasi RAID 6, performanya akan JELEK.

Begini cara membangun TS-h2477AXU-RP. Beli dua drive M.2 NVMe (Samsung 990 EVO 1TB) dan pasang di logic board TS-h2477AXU-RP. Ini akan jadi Storage Pool 1 untuk sistem operasi ZFS (QuTS) kamu, dan sistem drive info. Buat RAID 1 untuk ini. Oh - datamu sudah ada di 6 drive itu - ya SUDAHLAH !!! Beli saja 2 drive M.2, ganti OS-mu ke QuTS (ZFS), pasang di 2 drive M.2 di Storage Pool 1 RAID 1, dan sekarang kamu bisa mulai.

Sekarang kamu butuh minimal DUA BELAS drive SATA 7200 RPM yang sama (Toshiba enterprise yang kamu pakai itu oke) - lalu buat Storage Pool 2 RAID 6 dengan drive-drive itu. Tidak mampu beli 12 drive? Maka kamu TIDAK AKAN PERNAH punya sistem yang bisa performa 1000-1100 MB/dtk untuk beberapa user di aplikasi video editing kamu. Harusnya pakai 16 atau bahkan 24 drive dan semuanya ukuran sama, tapi minmalnya 12 drive ya.

Setelah itu, kamu bakal lihat di AJA System Test atau Blackmagic Speed Test performa 1000-1100 MB/dtk seperti yang kamu harapkan, bukan cuma 500-600 MB/dtk seperti sekarang. Dan pastikan juga kamu pakai switch 10G yang bagus, serta adapter ethernet 10G di komputer-komputermu. Sistem 10G kecil? QNAP QSW-M3216R-8S8T sudah cukup. Jangan pakai switch TP Link 8 port yang nggak di-manage, itu parah. Dan aktifkan jumbo frames di semua port 10G kamu, baik di QNAP maupun komputer.

Mau kecepatan 25G? Maka kamu perlu kartu 25G buat QNAP, switch profesional seperti QNAP QSW-M5216 atau QSW-M7230, dan adapter 25G di komputer seperti Sonnet Twin 25G T5. Lalu kamu bisa dapat 2200 MB/dtk, bukan lagi 1100 MB/dtk.

Kalau tetap pakai QTS dengan 6 drive RAID 6 di TS-h2477AXU-RP kamu, hasilnya?

Nggak ada apa-apa! Performanya akan sama seperti sekarang. Dan kamu bakal terus merasa kecewa. Harga hard disk naik karena AI — dan itu nggak bakal berubah dalam waktu dekat.

Bob Zelin

15

Ada yang nggak beres kalau kamu cuma dapat 290 MB/s Read dan 450 MB/s Write. Khususnya kecepatan Read-nya itu jauh banget kurangnya.

Aku pakai TVS-673XT ku yang sederhana (meski pakai i7) langsung terhubung ke MacMini lewat Thunderbolt. Pakai aplikasi AJA Lite untuk tes file video 4K, aku dapat kecepatan write 437 MB/s dan read 2094 MB/s.

image
image719×481 70.5 KB

Jadi 437 MB/s = 3,5 Gbps dan 2094 MB/s = 16,7 Gbps. Menurutku angka-angka itu udah oke.

Saat dites ke TVS-873A-ku yang koneksinya lewat virtual switch dari TVS-673XT lewat jaringan 10 Gbit, hasilnya:

image
image721×480 68.2 KB

Dan meski aku nggak dapat kecepatan 10 Gbps di sini, menurutku masih lumayan lah, apalagi TS-873A dengan prosesor V1500B itu bukan NAS yang powerful dan aku harus melewati NAS kedua dulu buat koneksinya.

Tapi bahkan di 873A, aku masih bisa dapat kecepatan read 3x lipat dari yang kamu dapatkan.

Oh ya, aku juga baca/tulisnya ke hard disk, bukan SSD.

16

Hai @Bob,

Terima kasih atas postingannya, saya sangat menghargai kamu langsung ikut nimbrung (sebelumnya saya nggak tahu gimana cara menarik kamu (atau siapa pun secara umum) ke postingan ini karena saya baru di forum, baru di QNAP tapi Dolby sudah bantu soal itu :)).

Soal Dino Band, nanti saya lihat deh gimana kalau band itu main lagi di kota saya :wink: :D.

Soal setup Drive.

  1. Ya, saya sudah punya 2*2TB NVMe di pool 1 Sistem saya dalam RAID 1 (saya dapat rekomendasi ini dari QNAP UK). Saya pakai Kingston KC3000 bukan Samsung, tapi itu bukan masalah karena Kingstons itu masuk daftar kompatibilitas NAS saya.

  2. Pool 2 - Ya, awalnya pakai 6 drive lalu tambah 3 lagi jadi total ada 9 drive di RAID 6 dan saya masih belum lihat performa/kecepatan yang oke :frowning:. Semalam saya coba tambah drive ke-10 (saya ambil satu lagi dari sistem Synology saya jadi NAS kedua saya sementara nggak bisa dipakai 'coz sekarang saya benar-benar desperate biar ini bisa jalan, dan sekarang perlu waktu lama buat expand pool itu karena datanya jauh lebih banyak daripada beberapa hari lalu. (progresnya lama banget).

  3. Soal switch, saya pakai UNIFI 24 Port Poe XG (10/25Gbit)
    dan Unifi PRO Aggregation (core switch 10/25 Gbit) jadi kecepatan 10Gbit (atau 25Gbit) seharusnya nggak jadi masalah, saya bisa konfirmasi pakai NAS Synology saya yang bisa perform maksimal di 10Gbit di jaringan yang sama).

Dan kamu bilang minimum 12 drive buat saturasi link 10Gbit agak bikin bingung (bukan karena saya nggak percaya, kamu jelas lebih berpengalaman soal QNAP daripada saya). Kenapa butuh banyak banget kalau satu drive saja bisa 260MB+? Kenapa ZFS di QNAP begitu sulit buat dapetin kecepatan maksimal dengan jumlah drive yang lebih sedikit :/? Apa mungkin karena block size 128k vs 1MB yang jadi bottleneck di QNAP QuTS hero?

Sebentar lagi saya akan punya 10 drive di RAID 6 (kalau pool sudah selesai extend/rebuild) dan seharusnya itu sudah cukup kalau sistem bekerja dengan benar.

Ngomong-ngomong, bisa nggak ya pool rebuild dihentikan (kalau nanti nggak pengaruh ke speed, saya mau hapus pool dan bikin ulang dari awal pakai 10 drive)?

Satu hal yang bikin khawatir setelah baca lebih lanjut soal ZFS, kayaknya saya nggak bakal dapat speed optimal bahkan kalau pakai 16+ drive APAKAH kalau datanya sudah ada di drive, misalnya: nambah drive dan expand pool nggak membantu kalau nggak bikin pool dari awal, soalnya ZFS nggak akan reallocate data yang sudah ditulis dll…?

Itu bener nggak?
Kalau emang begitu sangat sangat membatasi di QNAP/ZFS dan pada dasarnya “memaksa” user langsung penuh NAS-nya sejak awal, karena opsi lain terlalu membatasi, bikin NAS lemot atau malah harus hapus pool dan rebuild tiap kali mau extend pool atau expand Volume.

Terima kasih

@NA9D - Saya agak heran kok NAS kamu bisa baca sampai 16,7Gbit lewat switch 10Gbit? Jadi lebih kencang dari kapasitas switch sampai 60%? Gimana bisa? Mungkin itu bug atau hasil cache (SSD caching?) dari tes AJA itu ya? Bisa coba pakai Black Magic Disk Speed test? Selain itu, kamu pakai ZFS atau EXT4 di sistem tesnya?

Terima kasih.

17

Terkait masalah kecepatan, setelah mendiskusikannya dengan tim R&D kami, kami menyarankan untuk membuka tiket dukungan agar kami dapat membantu menyelidiki dan memastikan lebih lanjut. Terima kasih!

18

Hai Steve,

Saat ini saya sudah menghapus pool sepenuhnya (selamat tinggal 5 hari copy data saya dari Syno—>QNAP :)) dan mulai dari awal lagi dengan 10 harddisk 18TB (saya masih ingin pakai RAID 6). Kalau itu masih belum bisa memaksimalkan koneksi 10Gbit, saya akan buat tiket Support supaya kita bisa cari solusi bersama.

Terima kasih

19

Oke, berikut hasil yang saya dapatkan pada pool baru yang terdiri dari 10 hard disk Toshiba 18TB (7200rpm Enterprise) dalam konfigurasi RAID 6 dan disk KOSONG (lebih dari 120TB bebas).
Hasilnya lebih baik daripada sebelumnya, tapi masih jauh dari seharusnya dan saya agak ragu bahwa menambah 2 drive lagi akan bisa menaikkan performa sampai 1100/1000 MB/dtk karena yang saya dapat maksimal cuma 650/550 MB/dtk (terkadang turun naik dari 400/480 sampai 650/550 di setiap percobaan).

Jadi iya, saya akan buka tiket dukungan dengan harapan tim bisa menghubungi saya dan mungkin memeriksa kenapa kecepatannya lambat banget :/.

QNAP_10_Drives_speed
QNAP_10_Drives_speed686×706 105 KB

20

Kamu kurang menangkap apa yang aku maksud. :smiley:

TVS-672XT terhubung langsung ke Mac-ku lewat Thunderbolt. Tidak lewat switch 10 Gbit. Seingatku, kartu Thunderbolt dari TVS-672XT adalah kartu Thunderbolt 3 (waktu itu konektor USB-C mulai diperkenalkan) dan Thunderbolt 3 mampu sampai 40 Gbps. Jadi dapat 16 masih masuk akal.

Kalau kamu lihat tanda tangan saya, kedua unit NAS “besar” saya pakai QuTS Hero yang berarti ZFS. Tapi sekarang saya belum pakai versi Hero 6. Masih versi 5.9.