初始化 Spark

Spark 編程的第一步是需要創(chuàng)建一個 SparkContext 對象，用來告訴 Spark 如何訪問集群。在創(chuàng)建 SparkContext 之前，你需要構(gòu)建一個 SparkConf 對象， SparkConf 對象包含了一些你應(yīng)用程序的信息。

val conf = new SparkConf().setAppName(appName).setMaster(master)
new SparkContext(conf)

appName 參數(shù)是你程序的名字，它會顯示在 cluster UI 上。master 是 Spark, Mesos 或 YARN 集群的 URL，或運行在本地模式時，使用專用字符串 “l(fā)ocal”。在實踐中，當應(yīng)用程序運行在一個集群上時，你并不想要把 master 硬編碼到你的程序中，你可以用 spark-submit 啟動你的應(yīng)用程序的時候傳遞它。然而，你可以在本地測試和單元測試中使用 “l(fā)ocal” 運行 Spark 進程。

使用 Shell

在 Spark shell 中，有一個專有的 SparkContext 已經(jīng)為你創(chuàng)建好。在變量中叫做 sc。你自己創(chuàng)建的 SparkContext 將無法工作?？梢杂?--master 參數(shù)來設(shè)置 SparkContext 要連接的集群，用 --jars 來設(shè)置需要添加到 classpath 中的 JAR 包，如果有多個 JAR 包使用逗號分割符連接它們。例如：在一個擁有 4 核的環(huán)境上運行 bin/spark-shell，使用：

$ ./bin/spark-shell --master local[4]

或在 classpath 中添加 code.jar，使用：

$ ./bin/spark-shell --master local[4] --jars code.jar

執(zhí)行 spark-shell --help 獲取完整的選項列表。在這之后，調(diào)用 spark-shell 會比 spark-submit 腳本更為普遍。