Hive表

Spark SQL也支持從Apache Hive中讀出和寫入數(shù)據(jù)。然而，Hive有大量的依賴，所以它不包含在Spark集合中?？梢酝ㄟ^(guò)-Phive和-Phive-thriftserver參數(shù)構(gòu)建Spark，使其支持Hive。注意這個(gè)重新構(gòu)建的jar包必須存在于所有的worker節(jié)點(diǎn)中，因?yàn)樗鼈冃枰ㄟ^(guò)Hive的序列化和反序列化庫(kù)訪問(wèn)存儲(chǔ)在Hive中的數(shù)據(jù)。

當(dāng)和Hive一起工作是，開(kāi)發(fā)者需要提供HiveContext。HiveContext從SQLContext繼承而來(lái)，它增加了在MetaStore中發(fā)現(xiàn)表以及利用HiveSql寫查詢的功能。沒(méi)有Hive部署的用戶也可以創(chuàng)建HiveContext。當(dāng)沒(méi)有通過(guò)hive-site.xml配置，上下文將會(huì)在當(dāng)前目錄自動(dòng)地創(chuàng)建metastore_db和warehouse。

// sc is an existing SparkContext.
val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)

sqlContext.sql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING)")
sqlContext.sql("LOAD DATA LOCAL INPATH 'examples/src/main/resources/kv1.txt' INTO TABLE src")

// Queries are expressed in HiveQL
sqlContext.sql("FROM src SELECT key, value").collect().foreach(println)