Salinan pertama snapshot QNAP memakan waktu lama

halo semua,

Saya mengalami kesulitan mereplikasi snapshot dengan 2 unit QNAP TS435XeU; proses sinkronisasi berjalan lebih dari sehari hanya untuk 5Tb data.

informasi dasar tentang lingkungan:

  • koneksi ethernet langsung antara kedua unit dengan kabel cat.6 baru sepanjang 1 meter, kedua unit melaporkan link 2,5gb (menggunakan switch 2,5g di antaranya menghasilkan hasil yang sama)
  • unit sumber memiliki 4x4Tb disk dalam konfigurasi RAID5
  • unit target memiliki satu disk 8Tb (volume yang akan disalin sebesar 5Tb, cukup di target)
  • semua disk adalah model WD NAS
  • kedua unit sudah menggunakan firmware terbaru yang tersedia
  • proses sinkronisasi tanpa batasan kecepatan, tanpa enkripsi, tanpa kompresi

secara matematika, 5Tb di 2,5gbps seharusnya sekitar 5 jam, jadi jika memperhitungkan overhead, error, wizard, kadal, dan dongeng, saya sudah cukup dengan transfer 10 jam tapi setelah sehari penuh progresnya baru 26,92% (tercatat 4Tb dalam 27 jam—itu bahkan bukan 25%…)

Saya lihat ini masalah yang sering terjadi…

apa ada hal jelas yang mungkin saya lewatkan dalam pengaturan proses ini?

Berapa penggunaan CPU selama proses berlangsung? Unit-unit ini memang terkenal kurang bertenaga. Model disk apa yang digunakan?

cpu sebagian besar dalam keadaan idle; ada lonjakan saat saya login untuk memeriksa status, tapi setelah beberapa detik kembali ke 10%-20% di perangkat sumber dan di bawah 10% di nas target.

semua disk adalah wd red:

  • 4x WD40EFPX-68C6CN0
  • 1x WD80EFPX-68C4ZN0

masalah yang menurut saya sangat aneh adalah transfer data di jaringan tidak stabil: ada lonjakan 500/700 mbps selama setengah jam, lalu berhenti total untuk beberapa waktu, lalu mulai lagi.

saya belum bisa memahami apakah ada logika dalam timingnya, berapa lama dibandingkan dengan kecepatan atau data yang ditransfer.

kelihatan seperti kedua perangkat sebagian besar waktu cuma diam saja dan saya nggak ngerti kenapa.

sebagai catatan tambahan, ketika saya menulis post kemarin, saya baru saja merestart snapshot replika dari nol (hapus volume di nas target, reboot kedua perangkat, restart job) dan setelah 20 jam progress baru di 17,56%: saat ini kecepatan transfer data di jaringan (koneksi langsung 2.5gbps, tanpa firewall, tanpa switch) cuma 33kbps.

benar-benar nggak masuk akal.

pembaruan harian: setelah hampir 48 jam, progresnya masih di bawah 50%

Dari pengalaman pribadi saya, Snapshot Replica pertama memang biasanya memakan waktu lebih lama, tapi yang berikutnya seharusnya jauh lebih cepat. Namun, kecepatan yang Anda sebutkan memang terasa tidak biasa, jadi saya akan meminta tim internal kami untuk menganalisis dan memeriksa apakah ada masalah. Terima kasih atas informasinya!

terima kasih.

Sebagai informasi, saya sudah membuka tiket dengan tim dukungan dan telah menautkan thread ini ke mereka.

Penggunaan CPU sebenarnya tidak terlalu berarti. Hal yang perlu kamu perhatikan adalah angka CPU load di TOP. Untuk mengaksesnya, masuklah ke NAS kamu menggunakan koneksi SSH. Lalu jalankan perintah “top”. Kamu akan melihat tampilan seperti ini:

Nilai “Load average” adalah yang harus kamu perhatikan. Angka ini kurang lebih menunjukkan berapa banyak thread yang sedang diproses CPU kamu selama 1, 5, dan 15 menit terakhir. NAS kamu punya CPU 4 core. Artinya, jika load average kamu lebih dari 4 (misal 8 atau 10), itu tandanya ada bottleneck dan kinerja akan mulai melambat. Proses-proses ini kadang hanya memakai sedikit sumber daya CPU tapi tetap berjalan dan akan membuat segalanya melambat. Setiap inti CPU hanya bisa menangani satu tugas dalam satu waktu. Jika terlalu banyak proses yang menunggu di antrian, semuanya jadi melambat.

Menjalankan snapshot awal kemungkinan besar menyedot cukup banyak sumber daya, apalagi kalau ada proses lain yang juga berjalan di NAS.

saya memang tidak sempat mengecek sebelum upgrade OS; sayangnya, saya sudah memperbarui perangkat dengan versi baru dari situs QNAP (di dalam QTS tidak ada pembaruan yang tersedia) dan sejauh ini beban di bawah 4.

ada lonjakan yang saya hubungkan dengan koneksi ke web interface: kalau saya buka QTS, beban naik tapi menurut saya itu memang wajar.

kalau sebelumnya ada masalah, semuanya sudah terselesaikan oleh rilis OS terbaru; sekarang proses sync berjalan lancar, tidak ada lagi kecepatan yang turun dari 150MB/s ke nol lalu macet.

…dan saya kembali lagi karena entah kenapa snapshot replica hanya berfungsi jika menggunakan koneksi kabel langsung…

ini bukanlah gangguan mendadak; sejak Mei saya sudah mencoba berbagai cara dan bahkan membuka tiket baru dengan qnap, tetapi situasi saat ini adalah snapshot replica hanya bekerja jika ada koneksi langsung antara 2 unit tersebut. Begitu saya memasang switch di tengah (switch managed, 2 port di vlan yang sama, 2 ip di subnet yang sama, tanpa router di antara), snapshot replica langsung gagal.

tujuan akhirnya adalah agar replikasi bisa berjalan lewat VPN, jadi saya juga sudah uji coba di situ, tapi lewat VPN snapshot replica tetap gagal.

yang membuat saya bingung, HBS3 activesync yang dijadwalkan per jam pada link yang sama justru berjalan lancar: perangkat sama, link sama, alamat ip sama, HBS3 jalan, snapshot replica gagal.

Orang mungkin akan bilang kalau HBS3 active sync menangani data jauh lebih sedikit: saya juga sedang melakukan beberapa tes lagi dengan ukuran data yang berbeda-beda.

Replikas saya berjalan di jaringan normal dan semuanya berfungsi dengan baik. Sepertinya ada yang tidak benar dengan pengaturan atau jaringan Anda.

Bisakah Anda memberikan detail lebih lanjut kepada kami?

Saya punya 2 perangkat QNAP ini dan ketika kabel cat6 menghubungkan keduanya, replikasi berjalan dengan baik.

Saya melepas kabel langsung, memasang switch dengan 2 kabel, masing-masing ke QNAP, replikasi gagal dengan error ‘remote disconnection’ (tidak ada perubahan konfigurasi jaringan, jadi kedua perangkat QNAP tetap berada di subnet IP yang sama seperti sebelumnya, tidak ada router/firewall/filtering yang ditambahkan di antara keduanya).

Saya sudah mencoba berbagai switch untuk menyingkirkan kemungkinan switch rusak (HPE 1930, BDCOM S2500) dan beberapa kabel.

Informasi yang saya dapat mengenai kegagalan:

  • Log QNAP sumber tidak ada catatan gangguan jaringan
  • Log QNAP tujuan juga tidak ada catatan gangguan jaringan
  • Pemantauan switch tidak mendeteksi gangguan jaringan
  • Grafik trafik MRTG sangat tidak biasa, hanya beberapa transfer puncak lalu datanya hampir datar/hampir tidak ada trafik untuk sebagian besar waktu.
  • Data sumber sekitar ~6Tb di kolam penyimpanan ~10Tb
  • Pool target lebih dari 15Tb, didedikasikan untuk tugas ini, tidak ada data lain di unit tersebut

Jadi, apakah kamu menggunakan nama domain untuk NAS yang lain atau alamat IP?

Apakah kedua alamat IP berada di subnet yang sama? Apakah kamu punya VLAN atau routing antara kedua unit NAS?

Akan bagus untuk mencoba koneksi iPerf antara kedua unit NAS. Kamu bisa menambahkan repository aplikasi MyQNAP.org ke App Center kamu. Unduh dan jalankan aplikasi iPerf3. Kamu harus melakukannya lewat command line.

Kelihatannya kamu cukup paham teknis di sini, jadi aku nggak akan kasih instruksi langkah demi langkah. Tapi kalau memang butuh, beri tahu saja ya.

Menjalankan iPerf antara kedua unit NAS harusnya bisa menunjukkan kecepatan maksimal yang bisa dicapai…

semua koneksi dibuat menggunakan alamat ip.
device berada di subnet ip yang sama: saya cabut kabel straight dan pasang switch, itu saja, tidak ada router/firewall di antara.
di switch, port berada di vlan khusus, hanya qnap yang ada di vlan itu.
iperf menunjukkan 1gbit:

langkah berikutnya adalah wipe bersih semuanya dan mulai ulang, tapi itu bakal ribet karena saya perlu menaruh backup di tempat lain selama wipe…

sepertinya tidak ada petunjuk di log tentang alasan kegagalan: error dari source adalah ‘remote disconnection’ tapi tidak ada apa-apa yang tercatat di sisi remote, koneksi fisik oke, log qnap tidak ada laporan diskoneksi.
ini adalah source-nya:

ini adalah target-nya (adapter 4 sudah dicabut untuk ganti switch, itu bukan penyebab replica gagal):

OK. Saya sarankan untuk membuka tiket dukungan ke QNAP. Jelas kamu mendapatkan kecepatan transfer yang bagus seperti yang ditunjukkan oleh iPerf.

Ada sesuatu yang tidak benar di suatu tempat, tapi saya belum tahu pasti apa masalahnya…

Dukungan qnap baru saja mengirimkan ringkasan yang dibuat oleh ia tentang perbedaan antara koneksi kabel langsung dan koneksi melalui switch dan akan menghubungi saya lagi untuk memeriksa routing…

Mereka akan menghubungi saya untuk memeriksa routing antara node 10.10.10.1/24 dan node 10.10.10.2/24

routing.

di subnet yang sama.

Pilihan terbaik saya masih melakukan wipe total dan berharap beruntung pada percobaan berikutnya.

Itu jawaban yang buruk! Bilang ke mereka tidak ada routing yang terjadi. Semuanya ada di VLAN dan subnet yang sama!