IBM平臺計算公司的Rohit Valia,利用一天時間填補了我對一些優秀的技術計算和使用IBM平臺的Symphony和LSF產品生成的大數據基準測試結果的空白。 這些結果給人留下了深刻的印象。
·Terasort基準運行速度比使用BigInsights 1.3.0.1和Symphony 5.2快40倍。
·一個使用Symphony5.2的MapReduce測試比僅僅使用Apache的MapReduce的類似配置運行速度快63倍。
·Berkley SWIM 使用與Symphony結合的Hadoop1.0.1的測試運行速度比使用Hadoop1.0.1的測試快6倍。
快照技術分析
當人們向我展示他們的基準結果時,我通常想起了一個引用,“有三種謊言:謊言、該死的謊言和統計數據。”往往要歸因于Benjamin Disraeli或Mark Twain。據作者對他們的了解,基準肯定會被添加到列表中。
不管誰真正應該對這句話負責,供應商往往是使用和濫用基準,希望贏得潛在的客戶,即使在基準很少或沒有做客戶建議使用的系統。 供應商為什么這樣做呢? 這是因為直到在現實生活中安裝和使用具體的工作負荷,不然很難提前知道集群或網格計算解決方案事實上如何執行。
由于供應商不負責提供復雜的,昂貴的計算解決方案,提供業務,他們試圖證明可以在一個特定的配置上做有點類似的負載。IBM引用的基準設計主要是為了顯示某些集群或網格為基礎的計算解決方案的類型將如何執行。
客戶運行自己的應用程序時能否看到相同或相似的性能是一個關鍵問題。答案視情況而定,運行在非常類似的系統配置上的非常相似的工作負載可能會有非常相似的性能,這些配置是由具有非常相似的專業知識的IBM員工設置的。 工作負荷上運行的配置有很大的不同,且由不同專業水平的的人員配置,所以性能也不一樣。
吸引我注意的是當把IBM Symphony或LSF插入到某種特定的環境時,性能的巨大改進,在這種環境下,被測試的軟件和系統配置是相同的。 雖然我對結果并不是非常驚訝,因為我已經在平臺計算公司工作了近二十年,只是結果給人留下了深刻的印象。
IBM正試圖使用可以管理數以千計系統的努力的智能編排工具,目的是在性能上可以有很大的不同,基準測試結果可以很好的支持提高效率和降低成本。我感到好奇的是,通過使用其他的編排軟件是否可以產生類似的結果,如著名的Beowulf項目。由于這種類型的配置還沒有進行測試,我們不知道這個問題的答案。
如果您的組織參與技術計算,高性能計算或大數據,觀察IBM的做法,更多地了解如何提高您操作的性能和效率將是非常明智的。 此外,你很可能會發現,當低延時的編排工具(如Symphony)正優化資源的使用時,你可以使用一個更小的系統配置來完成同樣的事情。
密鑰管理在最有利的情況下仍舊是繁重的挑戰。同時密鑰可以對數據進行訪問控制,糟糕的密...
隨著筆記本電腦普及率不斷提升,需要移動辦公的消費者越來越多,筆記本電腦的丟失事件也...
隨著計算機信息技術的迅速發展,計算機信息安全問題越來越受關注,而關于信息安全技術問...
企業級硬盤具有7*24小時不間斷作業能力,與普通級硬盤相比,企業級硬盤最重要的不同之處...
微軟現在是使出渾身解數主推WINDOWS 8窗口操作系統,但是,WINDOWS XP系統長青不衰,依...
旅游是大多數的白領會選擇的休閑方式,尤其是在長假期期間。華軍行數據恢復工程師建議,...
數據庫恢復專題之IBM DB2數據庫,數據庫恢復、數據庫修復問題一直是一項對技術和耐心都...