IBM平臺計算公司的Rohit Valia,利用一天時間填補了我對一些優秀的技術計算和使用IBM平臺的Symphony和LSF產品生成的大數據基準測試結果的空白。 這些結果給人留下了深刻的印象。
·Terasort基準運行速度比使用BigInsights 1.3.0.1和Symphony 5.2快40倍。
·一個使用Symphony5.2的MapReduce測試比僅僅使用Apache的MapReduce的類似配置運行速度快63倍。
·Berkley SWIM 使用與Symphony結合的Hadoop1.0.1的測試運行速度比使用Hadoop1.0.1的測試快6倍。
快照技術分析
當人們向我展示他們的基準結果時,我通常想起了一個引用,“有三種謊言:謊言、該死的謊言和統計數據。”往往要歸因于Benjamin Disraeli或Mark Twain。據作者對他們的了解,基準肯定會被添加到列表中。
不管誰真正應該對這句話負責,供應商往往是使用和濫用基準,希望贏得潛在的客戶,即使在基準很少或沒有做客戶建議使用的系統。 供應商為什么這樣做呢? 這是因為直到在現實生活中安裝和使用具體的工作負荷,不然很難提前知道集群或網格計算解決方案事實上如何執行。
由于供應商不負責提供復雜的,昂貴的計算解決方案,提供業務,他們試圖證明可以在一個特定的配置上做有點類似的負載。IBM引用的基準設計主要是為了顯示某些集群或網格為基礎的計算解決方案的類型將如何執行。
客戶運行自己的應用程序時能否看到相同或相似的性能是一個關鍵問題。答案視情況而定,運行在非常類似的系統配置上的非常相似的工作負載可能會有非常相似的性能,這些配置是由具有非常相似的專業知識的IBM員工設置的。 工作負荷上運行的配置有很大的不同,且由不同專業水平的的人員配置,所以性能也不一樣。
吸引我注意的是當把IBM Symphony或LSF插入到某種特定的環境時,性能的巨大改進,在這種環境下,被測試的軟件和系統配置是相同的。 雖然我對結果并不是非常驚訝,因為我已經在平臺計算公司工作了近二十年,只是結果給人留下了深刻的印象。
IBM正試圖使用可以管理數以千計系統的努力的智能編排工具,目的是在性能上可以有很大的不同,基準測試結果可以很好的支持提高效率和降低成本。我感到好奇的是,通過使用其他的編排軟件是否可以產生類似的結果,如著名的Beowulf項目。由于這種類型的配置還沒有進行測試,我們不知道這個問題的答案。
如果您的組織參與技術計算,高性能計算或大數據,觀察IBM的做法,更多地了解如何提高您操作的性能和效率將是非常明智的。 此外,你很可能會發現,當低延時的編排工具(如Symphony)正優化資源的使用時,你可以使用一個更小的系統配置來完成同樣的事情。
本節將說明將SAN技術用于備份的三種方法,以及它們在解決網絡備份常見問題時的效率。 第...
固態硬盤是近1-2年內發展起來的,從最先應用到上網本硬盤到如今的固態移動硬盤。固態硬盤...
近日筆者昨天接到IBM老款硬盤,硬盤開機有吱吱的規律異響,有時能認到盤,也有可能不認。...
杭州某報業集團西數筆記本硬盤數據恢復成功。該集團的一臺電腦無法正常啟動系統,無法識...
愛國者移動存儲王拆解,供大家了解欣賞。
12月7日消息,據國外媒體報道,硬盤巨頭希捷和西部數據正在竭盡全力擺脫因泰國洪水造成的...
“南有華強北,北有中關村”,中國兩個最大規模的IT聚散地,遍地都是數據恢復公司,少說...