Spark SQL

Spark SQL允許Spark執(zhí)行用SQL, HiveQL或者Scala表示的關(guān)系查詢。這個(gè)模塊的核心是一個(gè)新類型的RDD-SchemaRDD。SchemaRDDs由行對(duì)象組成，行對(duì)象擁有一個(gè)模式（scheme）來描述行中每一列的數(shù)據(jù)類型。SchemaRDD與關(guān)系型數(shù)據(jù)庫中的表很相似。可以通過存在的RDD、一個(gè)Parquet文件、一個(gè)JSON數(shù)據(jù)庫或者對(duì)存儲(chǔ)在Apache Hive中的數(shù)據(jù)執(zhí)行HiveSQL查詢中創(chuàng)建。

本章的所有例子都利用了Spark分布式系統(tǒng)中的樣本數(shù)據(jù)，可以在spark-shell中運(yùn)行它們。

• 開始

• 數(shù)據(jù)源

• RDDs
• parquet文件
• JSON數(shù)據(jù)集

• Hive表

• 性能調(diào)優(yōu)
• 其它SQL接口
• 編寫語言集成(Language-Integrated)的相關(guān)查詢
• Spark SQL數(shù)據(jù)類型