汽配人首頁 > 問答首頁

impala為什么比spark快

: 問提問者：網友 | 2018-08-25

最佳回答

應該不會，Impala是相當專注于傳統企業客戶和OLAP和數據倉庫工作負載。Shark支持傳統OLAP。比較：一、總體上 Shark擴展了Apache Hive，大大加快在內存和磁盤上的查詢。而Impala是企業級數據倉庫系統, 可以很好地使用Hive/ HDFS，從架構層來說，類似于傳統的并行數據庫。這兩個系統有著很多共同的目標，但也有很大差異。二、與現有系統的兼容性 Shark直接建立在Apache/Hive代碼庫上，所以它自然支持幾乎所有Hive特點。它支持現有的Hive SQL語言，Hive數據格式（SerDes），用戶自定義函數（UDF），調用外部腳本查詢。因為Impala使用自定義的C++運行，它不支持Hive UDF。這兩個系統將會與許多BI工具整合，這一直是Impala的主要目標。Shark正在被用于一些BI工具，如Tableau，不過這并沒有被探索更多。三、內存中的數據處理 Shark允許用戶顯式地加載在內存中的數據，以加快查詢處理，其內存使用有效率的，壓縮的面向列的格式。Impala還沒有提供在內存中的存儲。四、容錯 Shark被設計為支持短期和長時間運行的查詢。它可以從查詢故障恢復(感謝底層Spark引擎)。Impala目前是更側重于短查詢，不容錯（如果節點發生故障，查詢必須重新啟動，對短查詢來說這無疑是可以接受的）。五、性能做全面的比較太早了點。Shark和Impala都報告比Hive快10-100倍，但這都依賴具體情況和系統負載。兩個項目也都在未來6個月內會做重要優化。以我們的經驗來看，Sharkr當前版本，如果是內存的數據一般比Hive快100倍，如果是磁盤上的數據一般快5-10倍，這取決于查詢（帶關聯連接的查詢，能比Hive快很多）。: 回答者：網友

產品精選

我來回答