設(shè)置正確的批容量

為了Spark Streaming應(yīng)用程序能夠在集群中穩(wěn)定運行，系統(tǒng)應(yīng)該能夠以足夠的速度處理接收的數(shù)據(jù)（即處理速度應(yīng)該大于或等于接收數(shù)據(jù)的速度）。這可以通過流的網(wǎng)絡(luò)UI觀察得到。批處理時間應(yīng)該小于批間隔時間。

根據(jù)流計算的性質(zhì)，批間隔時間可能顯著的影響數(shù)據(jù)處理速率，這個速率可以通過應(yīng)用程序維持。可以考慮WordCountNetwork這個例子，對于一個特定的數(shù)據(jù)處理速率，系統(tǒng)可能可以每2秒打印一次單詞計數(shù)（批間隔時間為2秒），但無法每500毫秒打印一次單詞計數(shù)。所以，為了在生產(chǎn)環(huán)境中維持期望的數(shù)據(jù)處理速率，就應(yīng)該設(shè)置合適的批間隔時間(即批數(shù)據(jù)的容量)。

找出正確的批容量的一個好的辦法是用一個保守的批間隔時間（5-10,秒）和低數(shù)據(jù)速率來測試你的應(yīng)用程序。為了驗證你的系統(tǒng)是否能滿足數(shù)據(jù)處理速率，你可以通過檢查端到端的延遲值來判斷（可以在Spark驅(qū)動程序的log4j日志中查看"Total delay"或者利用StreamingListener接口）。如果延遲維持穩(wěn)定，那么系統(tǒng)是穩(wěn)定的。如果延遲持續(xù)增長，那么系統(tǒng)無法跟上數(shù)據(jù)處理速率，是不穩(wěn)定的。你能夠嘗試著增加數(shù)據(jù)處理速率或者減少批容量來作進(jìn)一步的測試。注意，因為瞬間的數(shù)據(jù)處理速度增加導(dǎo)致延遲瞬間的增長可能是正常的，只要延遲能重新回到了低值（小于批容量）。