大家好,
我在用兩台 QNAP TS435XeU 複製快照時遇到困難;僅僅 5TB 資料同步已經跑了一天還沒結束。
環境的基本資訊如下:
- 兩台機器之間使用全新的 1 公尺長 cat.6 網線直連通訊,兩台皆顯示 2.5Gb 鏈路(更換成用 2.5G 交換器連接,狀況一樣)
- 原始端有 4 顆 4TB 硬碟組成 RAID5
- 目標端是單顆 8TB 硬碟(要複製的資料量 5TB,可放得下)
- 全部硬碟都是 WD NAS 系列
- 兩台設備皆為最新韌體
- 同步過程沒有設速度限制、不加密、不壓縮
以數學計算,5TB 通過 2.5Gbps 傳輸理應 5 小時內搞定,就算加點額外耗損、誤差、各種妖魔鬼怪亂入,10 小時應該差不多。但現在一天過去了進度卻只有 26.92%(系統顯示 27 小時傳了 4TB,這還不到 25%…)
看起來這是常見的問題…
我在設定流程時,有沒有明顯疏漏的地方?
在處理過程中 CPU 的使用率是多少?這些機型的效能一向不高。使用的是哪一款硬碟?
CPU大多數時間處於閒置狀態;當我登入檢查狀態時會出現短暫高峰,但幾秒後源端裝置恢復到10%-20%,目標NAS更低於10%。
所有硬碟都是WD Red:
- 4x WD40EFPX-68C6CN0
- 1x WD80EFPX-68C4ZN0
讓我覺得非常奇怪的問題是,網路上的資料傳輸並不穩定:會有500/700 Mbps的高峰持續半小時,然後又完全停止一段時間,之後再恢復傳輸。
我無法理解其中有沒有什麼規律,無論是時間、速度還是已傳輸的資料量。
看起來大部分時間兩台設備都閒置,我完全不明白為什麼。
順帶一提,昨天我發帖時,剛好是重新啟動快照複製作業(在目標NAS上刪除磁區,重新啟動兩台設備,再重新啟動任務),過了20小時目前狀態是17.56%。就在此時,網路上的資料傳輸速度(直連2.5Gbps、無防火牆、無交換器)只有33 Kbps。
真是瘋狂。
每日更新:經過將近 48 小時,進度仍然低於 50%
根據我個人的經驗,第一個快照副本(Snapshot Replica)確實通常會花比較久的時間,但之後的快照應該會快很多。不過,你提到的速度確實有點不尋常,所以我會請我們內部團隊進行分析並檢查是否有任何問題。感謝你的反饋!
謝謝你。
請注意,我已經有一個支援團隊的服務單,並且已經將這個討論串連結給他們了。
CPU 使用率其實沒有什麼意義。你真正需要關注的是 TOP 裡面的 CPU 負載(Load)數值。要查看這個數值,請用 SSH 連線登入你的 NAS,然後執行「top」指令。你會看到類似下面這個畫面:
你要看的其實就是「Load average」這個數值。它大致代表過去 1、5、15 分鐘內,CPU 正在同時處理的 thread(緒)數量。你的 NAS 裡有 4 核心 CPU,這代表如果這個負載數字大於 4(比如說到 8 或 10),那你的系統就出現了瓶頸,速度會開始變慢。這些 process(處理程序)可能每個本身 CPU 用量不高,但只要同時執行,還是會拖慢效能。每顆 CPU 核心一次只能處理一件事情,當有太多其他程序在排隊等候時,整台機器就會變慢。
執行初始化快照的時候,尤其是 NAS 上面同時還有其他東西在跑,通常會占用相當多的資源。
我在升級作業系統之前沒有檢查,不幸的是;我已經從 QNAP 官方網站下載了新版本進行更新(在 QTS 裡沒有發現更新),到目前為止系統負載都在 4 以下。
有一些負載尖峰,我發現那是連接到網頁介面時引起的:只要我開啟 QTS,負載就會上升,但我覺得這是正常現象。
如果之前有任何問題,最新的作業系統版本應該都已經解決了;現在同步作業運行非常穩定,不再發生速度從 150MB/s 掉到零然後卡住的情況了。
……我又回來了,因為某種原因快照複製只在直連線纜連接時才會運作……
這不是突然中斷的問題;從五月開始我就一直在嘗試,還另外開了一個 QNAP 的支援申請,不過目前的狀況是,只要兩台裝置之間有直連,快照複製就能正常運作,但只要中間加了一個交換器(是有管理功能的交換器,兩個埠在同一個 VLAN、兩個 IP 在同一個子網、沒有路由器),快照複製就會失敗。
我的目標是要讓複製在 VPN 上運作,所以我也有測試過 VPN,但在 VPN 上快照複製還是失敗。
讓我疑惑的是,同樣用 HBS3 的 activesync 任務設為每小時執行,在同樣的連線也是完全沒問題:裝置一樣、連線一樣、IP 一樣,HBS3 沒問題,快照複製卻行不通。
或許會有人說 HBS3 active sync 傳輸的資料量少很多:我打算再做一些不同資料量的測試。
我的副本在普通網路上運作,一切都很正常。你的設定或網路應該有哪裡不正確。
可以請你提供更多細節嗎?
我有兩台 QNAP 裝置,當用 Cat6 網線直接連接它們時,複製運作良好。
我拔掉直連網線,改用交換器,兩條網線分別連到每台 QNAP,複製就會失敗,出現「remote disconnection(遠端斷線)」錯誤(網路設定沒改,兩台 QNAP 都在同一個 IP 子網,就像之前一樣,中間也沒有加路由器/防火牆/過濾器)。
我換了不同交換器(HPE 1930,BDCOM S2500)跟多條網線,排除交換器故障。
我對故障掌握的資訊如下:
- 原始 QNAP 的記錄檔沒有網路中斷的紀錄
- 目標 QNAP 的記錄檔也沒有網路中斷的紀錄
- 交換器監控也偵測不到網路中斷
- MRTG 流量圖異常,只有零星幾次高峰傳輸,大部分時間都平到近乎零流量。
- 原始資料約 6TB,存在約 10TB 的儲存池上
- 目標儲存池超過 15TB,完全專供這個任務使用,裝置上沒有其他資料
那你是用網域名稱還是 IP 位址來連接另一台 NAS?
兩個 IP 位址是在同一個子網路嗎?你有設定任何 VLAN 或是在兩台 NAS 之間有路由嗎?
建議可以在兩台 NAS 之間使用 iPerf 進行連線測試。你可以把 MyQNAP.org 應用程式庫新增到你的應用程式中心。下載並執行 iPerf3 應用程式。不過你需要在命令列裡操作。
看起來你蠻懂技術,所以這裡我就不一步一步教你怎麼做了。如果你需要詳細操作步驟,跟我說一聲。
用 iPerf 在兩台 NAS 之間跑一下,應該就可以看到你的速度最大能到多少…
所有連線都是用 IP 位址建立的。
裝置都在同一個 IP 子網:我把直連線纜移除後換成一台交換器,就這樣,沒有路由器/防火牆在其中。
在交換器上,端口都設定在專屬 VLAN,只有 QNAPs 在這個 VLAN 內。
ipref 顯示 1gbit:
下一步會是全部清除重來,但那會很麻煩,因為在清除的過程中,我得把備份資料暫時放到其他地方……
從日誌看起來沒有失敗原因的線索:來源錯誤顯示為「遠端斷線」,但遠端那邊完全沒有記錄任何異常,物理連線也沒問題,QNAP 日誌裡也沒報告任何斷線。
這是來源端:
這是目標端(adapter 4 已經斷開,是換交換器的時候斷的,不是複製失敗的原因):
好的。我建議你向 QNAP 支援開一個工單。你在 iPerf 上確實有很好的傳輸速度。
某個地方肯定有問題,但我就是找不到原因……
qnap 支援剛剛傳給我一份 ia 整理的摘要,解釋直接連接與透過交換器連接的差異,並且會再跟我聯絡來檢查路由…
他們會聯絡我,檢查節點 10.10.10.1/24 和節點 10.10.10.2/24 之間的路由。
路由。
在同一個子網。
我最好的辦法還是全部重置一次,再碰碰運氣看看下一次能不能順利。
那是個很糟的回答!告訴他們沒有任何路由發生。一切都在同一個 VLAN 和子網上!