離散流（DStreams）

離散流或者DStreams是Spark Streaming提供的基本的抽象，它代表一個(gè)連續(xù)的數(shù)據(jù)流。它要么是從源中獲取的輸入流，要么是輸入流通過轉(zhuǎn)換算子生成的處理后的數(shù)據(jù)流。在內(nèi)部，DStreams由一系列連續(xù)的RDD組成。DStreams中的每個(gè)RDD都包含確定時(shí)間間隔內(nèi)的數(shù)據(jù)，如下圖所示：

任何對(duì)DStreams的操作都轉(zhuǎn)換成了對(duì)DStreams隱含的RDD的操作。在前面的例子中，flatMap操作應(yīng)用于lines這個(gè)DStreams的每個(gè)RDD，生成words這個(gè)DStreams的RDD。過程如下圖所示：

通過Spark引擎計(jì)算這些隱含RDD的轉(zhuǎn)換算子。DStreams操作隱藏了大部分的細(xì)節(jié)，并且為了更便捷，為開發(fā)者提供了更高層的API。下面幾節(jié)將具體討論這些操作的細(xì)節(jié)。