Spark SQL 作為 Spark 用來處理結(jié)構(gòu)化數(shù)據(jù)的一個基本模塊，已經(jīng)成為多數(shù)企業(yè)構(gòu)建大數(shù)據(jù)應(yīng)用的重要選擇。但是，在大規(guī)模連接（Join）、聚合（Aggregate）等工作負載下，Spark 性能會面臨穩(wěn)定性和性能方面的挑戰(zhàn)。
為了提升 Spark SQL 的性能，用戶可以選擇使用英特爾? 優(yōu)化分析包（Optimized Analytics Package，OAP）以及英特爾? 傲騰? 持久內(nèi)存和新一代英特爾? 至強? 處理器來改善典型 Spark SQL 工作負載的運行效率。
Spark SQL 面臨多場景性能瓶頸
IDC 報告顯示，全球數(shù)據(jù)規(guī)模將從2019年的45 ZB 增長到2025年的175 ZB ，2021年創(chuàng)建、捕獲和消耗的數(shù)據(jù)量估計過 59 ZB。在數(shù)據(jù)快速移動、迅猛增長的趨勢下，企業(yè)需要使用先進的分析技術(shù)來實時處理數(shù)據(jù)以獲得實時的業(yè)務(wù)洞察力。大數(shù)據(jù)分析技術(shù)的新發(fā)展與革命性新硬件的問世，顯著提高了大數(shù)據(jù)分析性能，使得數(shù)據(jù)科學(xué)家、分析師和業(yè)務(wù)用戶能夠獲得更深刻的業(yè)務(wù)洞察。
作為面向大規(guī)模數(shù)據(jù)處理而設(shè)計的快速通用的計算引擎，Spark 具有開源、經(jīng)濟、靈活等優(yōu)點，常用來構(gòu)建大型、低延遲的數(shù)據(jù)分析應(yīng)用程序。但是，Spark 在特定場景下依然會面臨性能挑戰(zhàn)，特別是當處理特大規(guī)模數(shù)據(jù)及交互式查詢時。例如，由于缺少高性能緩存方案，數(shù)據(jù) I/O 很容易成為瓶頸。此外，Spark Shuffle 也常常因為大量的較小隨機磁盤 IO、序列化、網(wǎng)絡(luò)數(shù)據(jù)傳輸成為性能瓶頸，導(dǎo)致作業(yè)延遲大幅增加，進而影響工作負載性能。
新興的硬件技術(shù)可以幫助解決這些挑戰(zhàn)。例如，高級矢量擴展（AVX）功能使 Spark 能夠利用 SIMD 同時處理更多的數(shù)據(jù)來加快執(zhí)行速度，而英特爾? 傲騰? 持久內(nèi)存可以利用其高性能，大容量和低延遲創(chuàng)新的突破性組合來提高 Spark SQL 性能。OAP（優(yōu)化分析包）是英特爾和社區(qū)開發(fā)的一個開源項目，旨在借助先進的英特爾處理器、內(nèi)存和存儲以及網(wǎng)絡(luò)技術(shù)，通過數(shù)據(jù)源緩存、SQL 索引、Native SQL 引擎、MLlib 優(yōu)化等創(chuàng)新軟件功能提高 Spark 性能，以解決 Spark 核心和相關(guān)組件面臨的計算和 I/O挑戰(zhàn)。
英特爾 Spark 優(yōu)化分析包（OAP）
英特爾? 優(yōu)化分析包（OAP）是英特爾和社區(qū)開發(fā)的開源項目，旨在提高 Spark 性能。她基于先進的英特爾硬件技術(shù)，提供了多種功能來改善 Spark 高速緩存、Shuffle、執(zhí)行和機器學(xué)習(xí)性能。如下圖1顯示了 OAP 架構(gòu)，她包括以下組件：OAP 數(shù)據(jù)源高速緩存、Native SQL 引擎、Arrow 數(shù)據(jù)源、OAP MLlib、RDD 高速緩存、RPMem Shuffle 和遠端 Shuffle。
（圖1）
OAP 數(shù)據(jù)源高速緩存
數(shù)據(jù)源高速緩存（SQL DataSource Cache）旨在利用用戶定義的索引和智能細粒度內(nèi)存數(shù)據(jù)高速緩存來提高 Spark SQL 性能（如圖2所示），主要目的是解決交互式查詢和批處理作業(yè)的性能問題。
（圖2）
大多數(shù)用戶使用 Spark SQL 作為批處理引擎。但作為一個統(tǒng)一處理引擎，很難與非批處理區(qū)分。交互式查詢需要在幾秒、甚至幾亞秒內(nèi)返回數(shù)據(jù)，而非批處理所需的幾分鐘、甚至幾小時。這對于當前的 Spark SQL 數(shù)據(jù)處理來說是一個很大的挑戰(zhàn)。交互式查詢通常處理較大的數(shù)據(jù)集，但在通過特定條件過濾后只返回一小部分數(shù)據(jù)。通過為關(guān)鍵列創(chuàng)建和存儲完整的 B+ 樹索引，并使用智能細粒度內(nèi)存數(shù)據(jù)高速緩存策略，Spark SQL 交互式查詢處理時間可以顯著縮短。
對于在數(shù)據(jù)倉儲中使用 Spark SQL 進行業(yè)務(wù)分析的用戶，OAP SQL 數(shù)據(jù)源高速緩存可以通過兩種可配置的高速緩存策略來加速批處理作業(yè)：
? 自動高速緩存熱數(shù)據(jù)。
? 專門高速緩存熱表。
SQL 索引和數(shù)據(jù)源高速緩存為不同列式存儲格式提供統(tǒng)一的高速緩存表示形式，并設(shè)計了針對 RowGroup 中單列的細粒度高速緩存單元。同時，她為兩種列存儲文件格式 Parquet 和 ORC 設(shè)計了兼容的適配器層，索引和高速緩存都構(gòu)建在統(tǒng)一表示形式和適配器之上。
OAP 數(shù)據(jù)源高速緩存架構(gòu)設(shè)計
數(shù)據(jù)源高速緩存可以高速緩存已解壓縮和已解碼的矢量化數(shù)據(jù)以及二進制原始數(shù)據(jù)。一般來說，DRAM 通常在 Spark 集群中用作高速緩存介質(zhì)，但在 OAP 數(shù)據(jù)源高速緩存中，英特爾? 傲騰?持久內(nèi)存也可以用作高速緩存介質(zhì)，以提供高性能、高成本效益的高速緩存解決方案。如下圖3顯示了英特爾? 傲騰? 持久內(nèi)存用作高速緩存介質(zhì)時的 OAP 數(shù)據(jù)源高速緩存的架構(gòu)設(shè)計。
（圖3）
OAP 數(shù)據(jù)源高速緩存提供以下主要功能：
OAP RPMem Shuffle
Spark 旨在為不同的工作負載（如即席查詢、實時流和機器學(xué)習(xí)）提供高吞吐量和低延遲的數(shù)據(jù)處理。但是，在某些工作負載（大規(guī)模數(shù)據(jù)連接/聚合）下，由于 Shuffle 需要在本地 Shuffle 磁盤讀取/寫入中間數(shù)據(jù)并將其通過網(wǎng)絡(luò)傳輸，Spark 可能會出現(xiàn)性能瓶頸。英特爾? 傲騰? 持久內(nèi)存是一種創(chuàng)新型內(nèi)存技術(shù)，相較于 DRAM，其在同等價位下一般可提供更大的容量，并且支持數(shù)據(jù)的持久性。同時，遠程直接內(nèi)存訪問（RDMA）技術(shù)支持在不同計算機之間進行獨立于操作系統(tǒng)的直接內(nèi)存訪問，從而提供高吞吐量、低延遲的網(wǎng)絡(luò)性能。使用高性能英特爾? 傲騰? 持久內(nèi)存和 RDMA 網(wǎng)絡(luò)可以幫助在一定程度上化解 Shuffle 挑戰(zhàn)。
OAP RPMem Shuffle 提供了一個名為 RPMem Shuffle 擴展的可插拔模塊，該模塊可通過修改配置文件覆蓋默認的 Spark Shuffle 管理器，無需更改 Spark 代碼即可使用。使用此擴展，Spark shuffle 可以充分利用英特爾? 傲騰? 持久內(nèi)存和 RDMA Shuffle 解決方案，相較于傳統(tǒng)的基于磁盤的 shuffle 方式，可以顯著提高 Shuffle 性能。
OAP RPMem Shuffle 架構(gòu)設(shè)計
如前文所述，Spark Shuffle 是一項成本高昂的操作，需要大量的小型隨機磁盤 IO、序列化、網(wǎng)絡(luò)數(shù)據(jù)傳輸?shù)炔襟E，因此會大幅增加作業(yè)延遲，并且很容易成為工作負載性能的瓶頸。通常，Spark Shuffle 將從底層存儲加載數(shù)據(jù)并作為 Mapper 的輸入，然后 Mapper 將根據(jù)某種規(guī)則處理數(shù)據(jù)，例如根據(jù)特定的 Key 將數(shù)據(jù)分組到不同的分區(qū)中。每個 Mapper 的輸出都會持久化到本地存儲中，即 Shuffle 寫操作。然后 Reducer 會嘗試讀取不同 Mapper 的輸出數(shù)據(jù)，即 Shuffle 讀操作，再將讀入的數(shù)據(jù)進行排序等聚合操作，并最終輸出結(jié)果。可以看到，一個經(jīng)典的 Shuffle 操作包括數(shù)據(jù)在磁盤的讀寫和在網(wǎng)絡(luò)的傳輸，而這二者在大數(shù)據(jù)集下都可能成為工作負載的性能瓶頸。
OAP RPMem Shuffle 旨在解決 Shuffle 瓶頸。如下圖4所示，OAP RPMem Shuffle 可以通過附加庫的形式覆蓋現(xiàn)有的 Spark Shuffle 實現(xiàn)。在底層，她使用英特爾? 傲騰? 持久內(nèi)存作為 Shuffle 介質(zhì)，并在用戶空間通過 libpmemobj 對英特爾? 傲騰?持久內(nèi)存進行訪問，作為 PMDK 的重要組件，libpmemobj 在英特爾? 傲騰? 持久內(nèi)存上提供了事務(wù)對象存儲。OAP RPMemShuffle 擴展使用 Java Native Interface 對 libpmemobj 進行封裝，并通過 Spark Shuffle Manager 以插件的方式接入Spark。
（圖4）
RDMA 網(wǎng)卡是 RPMem Shuffle 擴展的可選項，她可以增加網(wǎng)絡(luò)帶寬，降低網(wǎng)絡(luò)延遲和通信節(jié)點的 CPU 利用率。HPNL4 作為一款高性能網(wǎng)絡(luò)庫，支持各種網(wǎng)絡(luò)協(xié)議，如 TCP/IP、RoCE、iWRAP、OPA 等，她為 RPMem Shuffle 提供網(wǎng)絡(luò)通信支持。如下圖5顯示了 Vanilla Spark Shuffle 和 OAP RPMem Shuffle 的設(shè)計。
（圖5）
在 Vanilla Spark Shuffle 設(shè)計中，需要首先將數(shù)據(jù)序列化到堆外內(nèi)存，然后寫入機械硬盤或固態(tài)盤上的本地文件系統(tǒng)，并最終通過 TCP-IP 網(wǎng)絡(luò)傳輸數(shù)據(jù)。這一過程涉及大量上下文切換和文件系統(tǒng)開銷，因此如果不對現(xiàn)在的 Spark shuffle 實現(xiàn)進行更改，就無法充分利用英特爾? 傲騰? 持久內(nèi)存的能力。
OAP RPMem Shuffle 使用 libpmemobj 庫將數(shù)據(jù)直接寫入英特爾? 傲騰? 持久內(nèi)存，然后通過將 RDMA 內(nèi)存區(qū)域注冊在英特爾? 傲騰? 來傳輸數(shù)據(jù)。此實現(xiàn)方案減少了上下文切換開銷，消除了文件系統(tǒng)開銷，并可充分利用 RDMA 實現(xiàn)零拷貝來進一步降低延遲和 CPU 利用率。
原文鏈接：http://click.aliyun.com/m/1000290564/
本文為阿里云原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。
