針對雲端主要用途的雲端→本地同步時間縮短研究實驗

關於使用雲端儲存時的資料備份

由於「可以從日本全國、世界各地輕鬆存取」等便利性,選擇雲端儲存作為主要儲存空間的客戶逐漸增加。

但同時,也有因「雲端儲存所需的月費膨脹」而回歸到本地端(on-premise)的案例,或是雲端與本地端併用(例如:「如果無法存取雲端儲存或資料遺失時的對策」、「僅將需要高速存取的檔案設為本地端快取」),因此與NAS併用的諮詢也非常多。

這次收到「雲端→本地NAS資料同步」相關的諮詢,詢問是否能縮短同步時間(特別是首次全量同步),因此進行了確認。

前提條件

・雖然「主要使用雲端儲存」,但在遷移到雲端儲存之前,原本使用的檔案伺服器仍保留部分資料

在這樣的條件下,若在NAS設定同步任務時,預先將資料以與雲端儲存相同的資料夾結構寫入同步目的地NAS的資料夾,是否能因省略下載而縮短初次同步所需時間?收到此類諮詢。

實驗 Step1. 雲端→本地端的正常同步(確認所需時間)

雖然包含一般辦公室檔案的資料夾較適合當作實驗對象,但手邊沒有合適的資料夾,因此以用於展示的影像素材資料夾進行實驗。

首先,正常進行雲端儲存→NAS的主動同步,觀察大約需要多少時間。

以鏡像設定,

設定同步以取得本地端相同的資料集

這個113GB的資料夾將進行同步。

記事のコンテンツ

113GB的資料

無排程,測量一次性同步完成所需時間。

設定為無排程的一次性同步

設定如上。開始同步。

同步任務摘要

同步以約10MB/s的速度進行,預計約3小時完成。

同步任務執行情況

從資源監控確認,網路流量約為10MB/s左右。

同步執行時的資源使用狀況

雖然顯示錯誤結束,但檔案已在本地端齊全,這次就以此狀態進行確認。

測試用資料集同步完成

資料夾內確實有112GB的檔案。

測試用同步資料大小為112GB

實驗 Step2. 雲端→本地端的PreSync同步(確認是否能縮短所需時間)

將Step1同步的資料夾以Presynced的方式明確準備(內容就是同步過的資料夾)。

本地端資料集準備完成

設定並執行從Step1使用的「/OneDrive/素材」資料夾到「/Public/OneDrive - Presynced」資料夾的同步任務。

將本地端資料集儲存位置設為同步目的地並建立同步任務

開始同步。

初次同步執行情況

檔案傳輸進度無變化,但「[本地]剩餘檔案數」會依序減少。推測是「比較OneDrive端持有的中繼資料內的checksum資訊與本地端的checksum資訊,若為相同檔案則不需傳輸」這樣的處理。

正在比較本地檔案與遠端檔案

由於未發生實際資料傳輸,約1小時就完成了。

實際同步時約為三分之一的時間完成任務

再次執行同步任務時,第一次已完成同步狀態確認且無變更,因此同步任務很快就完成。

第二次以後已不再確認已確認檔案的checksum

在雲端儲存端新增檔案時,也能確認只有新增的檔案會同步。

只要雲端儲存端新增新檔案,就會正確同步到本地端

小結

針對從雲端儲存同步資料到本地NAS時,若本地NAS內預先有與雲端儲存相同的資料,是否能縮短首次同步時間進行了確認。

結論如下:

  • 若雲端儲存端的中繼資料(推測)與本地端的checksum計算判定為同一檔案,則會跳過實際檔案傳輸,因而縮短所需時間。

結果如上。

可作為首次同步時縮短檔案傳輸時間的方法。

若有意遷移至雲端儲存,應該會先將資料上傳到雲端儲存並開始使用。不過,考量到資料備份,建議同時在本地端也保留一份資料集,為未來做準備。

希望對您有所幫助。