Spark Streaming監(jiān)控應(yīng)用程序

除了Spark的監(jiān)控功能，Spark Streaming增加了一些專有的功能。應(yīng)用StreamingContext的時候，Spark web UI顯示添加的Streaming菜單，用以顯示運行的receivers（receivers是否是存活狀態(tài)、接收的記錄數(shù)、receiver錯誤等）和完成的批的統(tǒng)計信息（批處理時間、隊列等待等待）。這可以用來監(jiān)控流應(yīng)用程序的處理過程。

在WEB UI中的Processing Time和Scheduling Delay兩個度量指標(biāo)是非常重要的。第一個指標(biāo)表示批數(shù)據(jù)處理的時間，第二個指標(biāo)表示前面的批處理完畢之后，當(dāng)前批在隊列中的等待時間。如果批處理時間比批間隔時間持續(xù)更長或者隊列等待時間持續(xù)增加，這就預(yù)示系統(tǒng)無法以批數(shù)據(jù)產(chǎn)生的速度處理這些數(shù)據(jù)，整個處理過程滯后了。在這種情況下，考慮減少批處理時間。

Spark Streaming程序的處理過程也可以通過StreamingListener接口來監(jiān)控，這個接口允許你獲得receiver狀態(tài)和處理時間。注意，這個接口是開發(fā)者API，它有可能在未來提供更多的信息。