在進(jìn)行大數(shù)據(jù)的面試過程中，經(jīng)常會被問到一些比較相近的屬性區(qū)別是什么，提前了解一下幫助你更好的應(yīng)對面試提問。

      1.repartition和coalesce的區(qū)別

      1.1. repartition只是coalesce接口中shuffle為true的實現(xiàn)

      1.2. 不經(jīng)過 shuffle，也就是coaleasce shuffle為false，是無法增加RDD的分區(qū)數(shù)的，比如你源RDD 100個分區(qū)，想要變成200個分區(qū)，只能使用repartition，也就是coaleasce shuffle為true。

      1.3. 如果上游為Partition個數(shù)為N，下游想要變成M個Partition

      N > M , 比如N=100 M=60, 可以使用coaleasce shuffle為false。但是如果N遠(yuǎn)大于M，比如N=100, M=1, 分區(qū)有一個激烈的變化時，此時如果用coalesce就只有一個task處理數(shù)據(jù)，資源利用不夠， Executor空跑，這時repartition是一個比較好的選擇，雖然有shuffle但是和只有1個Task處理任務(wù)比起來效率還是較高。

      N < M , coaleasce shuffle為false 不能增加分區(qū)，只能用repartition

      2.groupByKey 和 reduceBykey 區(qū)別

      reduceByKey 可以接收一個 func 函數(shù)作為參數(shù)，這個函數(shù)會作用到每個分區(qū)的數(shù)據(jù)上，即分區(qū)內(nèi)部的數(shù)據(jù)先進(jìn)行一輪計算，然后才進(jìn)行 shuffle 將數(shù)據(jù)寫入下游分區(qū)，再將這個函數(shù)作用到下游的分區(qū)上，這樣做的目的是減少 shuffle 的數(shù)據(jù)量，減輕負(fù)擔(dān)。

      groupByKey 不接收函數(shù)，Shuffle 過程所有的數(shù)據(jù)都會參加，從上游拉去全量數(shù)據(jù)根據(jù) Key 進(jìn)行分組寫入下游分區(qū)，這樣會消耗比較多的資源，數(shù)據(jù)傳輸會導(dǎo)致任務(wù)處理的延遲。

      如果我們想要進(jìn)行分組后進(jìn)行聚合操作，使用 reduceByKey 會更高效， 因為reduceByKey 會在map階段合并分區(qū)內(nèi)相同的key，而gourpByKey 則不會合并。

      3.Cache，Presist，CheckPoint的區(qū)別

      Persist 的 MEMORY_ONLY 級別的存儲等于 Cache，Persist 其他的配置只是存儲的方式不同，作用和原理是和 Cache 類似的，他們二者的區(qū)別如下：

      *Cache、Persist 是轉(zhuǎn)化類算子，和其他算子一樣，觸發(fā)的時機(jī)是在對應(yīng)分區(qū)的上游算子計算完成之后。

      *Cache、Persist 會把 RDD 緩存到指定位置，這個操作不會改變 Lineage 血緣的依賴關(guān)系，且 Job 執(zhí)行完成之后，緩存的數(shù)據(jù)會被清除。

      *Cache、Persist 一般應(yīng)用于需要訪問重復(fù)數(shù)據(jù)的應(yīng)用（如迭代型算法和交互式應(yīng)用）緩存可以運(yùn)行得更快。

      *CheckPoint 執(zhí)行完畢后，會產(chǎn)生 CheckPointRDD，此時 lineage 血緣關(guān)系已經(jīng)改變了，容錯會從CheckPointRDD 開始。

      *CheckPoint 將 RDD 持久化到 HDFS ，會被永久保存，可以給其他的 Driver 使用

      *雖然Presist 也可以持久化數(shù)據(jù)到磁盤，但是它有BlockManager管理，一旦Driver結(jié)束，BlockManager也會 stop，被 cache 到磁盤上的 RDD 也會被清空,而 checkpoint 將 RDD 持久化到HDFS或本地文件，如果不被手動 remove 掉，是一直存在的。

      最后歡迎大家添加我們的大數(shù)據(jù)分享交流qq群：857910996 加群找管理領(lǐng)取免費(fèi)的大數(shù)據(jù)學(xué)習(xí)資料，還可以交流學(xué)習(xí)心得，歡迎大家進(jìn)群~~~