大數據時代,數據量迅速膨脹,據IDC統計,2012年全球數據總量已達到2.8ZB,而到2020年,預計將達到40ZB,相當于地球上所有海灘沙粒數量的57倍,地球上人均將擁有5247GB數據。海量數據讓全球面臨著數據存儲方面的嚴峻挑戰,這里面既有技術上的難題,也有來自成本方面的壓力。而硬盤作為數據中心存儲數據的核心部件之一,其返修率高、成本昂貴成為眾多挑戰中的主要難題。
據統計,在數據中心中,硬盤相關的故障占全部硬件故障的85%以上。隨著大數據時代的到來,服務器數量大幅度增長,更多的存儲需求、更低成本硬盤的使用,以及高溫、高存儲密度等技術的應用,硬盤故障及報廢規模呈明顯增加趨勢。這對業務穩定、存儲成本和運維效率都造成了嚴重的影響。如何降低返修率一直困擾業界。
因為存儲著上百PB數據,百度——這家全球最大的中文搜索引擎公司擁有著數百萬塊硬盤,解決返修率問題極其迫切。也正是在這樣的背景下,百度于三年前就自主創新,主導研發了系統工具hdoctor。
hdoctor工具能修復硬盤故障,減少硬盤更換頻率,為企業降低成功,同時提高數據中心的數據安全性,讓我們來見識一下hdoctor五個主導功能:
第一,硬盤故障檢測。hdoctor 通過日志增量監控,整合系統設置、報錯類型、硬盤運行狀態等檢查環節,可在10秒內監控99% 的故障,覆蓋全部的機型;經過多次驗證,準確度與硬盤廠商采用的硬件檢測分析方法(FA)相當。
第二,硬盤故障修復。能在60秒內修復SATA硬盤60%的故障,包括潛在故障扇區修復、文件系統壞塊屏蔽、硬盤及陣列狀態設置校正、硬盤狀態未就緒或超時的處理、數據/硬件故障排除、盤符前后漂移復位等常見的運維故障處理。而在未使用hdoctor的情況下,因業務穩定性要求,一旦出現報錯,業界的通常做法是更換硬盤,這使得維護代價十分高昂。
第三,硬盤故障預警。基于數十萬片硬盤近30個月的硬盤運行及故障大數據,使用機器學習技術,挖掘、分析海量數據,打造了可自動迭代的故障預測系統,支持全部廠商所有型號的 SATA 硬盤故障預測,準確率超過98%;同時與系統調度集成,能夠提前避免故障對業務造成不良影響,有效降低云存儲系統的平均故障修復時間(MTTR)。
第四,硬盤報廢擦除。終捍衛云端數據安全,集成三種國際認證的安全擦除方案,可在JBOD、RAID環境下,快速、高效、安全擦除包括SATA、SAS、SSD、Flash在內的各種存儲介質。
第五,自動運維支持。hdoctor提供所有類型硬盤的故障檢測、修復、上線、下線、報修、結單檢測等全方位的自動化運維API,同時定期維護和校正硬盤的狀態運行信息,而且工具本身的運行機制也是自反饋和自維護的。
據了解,hdoctor已歷經了三個年頭。基于每月積累的故障記錄,以及與硬盤相關的預警、負載、功耗、性能、溫度等數十億級別的大數據,該工具不斷地迭代升級,在降低故障率,提升運維效率和云存儲系統可靠性的同時,有效助力硬盤資源調度、功耗管理、存儲分級等軟硬件協同工作,大規模降低云存儲運營成本。
業內分析人士指出,百度hdoctor的創新成果具有極為重要的產業意義。它解決了大規模大容量SATA硬盤應用背景下的高故障率、低運維效率和存儲成本控制等難題,為業界實現更低成本、更高質量數據存儲起到示范與引領作用;更具未來發展意義的是,該工具的使用對未來將云盤、歸檔盤等低成本存儲介質引入數據中心奠定了基礎,能夠使云存儲購置成本大幅降低。
如果硬盤里面的數據丟失或者損壞了,需要數據修復,請聯系華軍行,我們有更加專業的數據恢復工程師為您服務!