Skip to content

Latest commit

 

History

History
24 lines (18 loc) · 1.6 KB

README.md

File metadata and controls

24 lines (18 loc) · 1.6 KB

SparkSQL介绍

2014年9月SparkSQL发布了1.1.0版本,紧接着在12月又发布了1.2.0版本。SparkSQL发展速度异常迅猛,原因是将SQL类型的查询语言整合到Spark的核心RDD概念里,这样流处理,批处理,包括机器学习里都可以和SQL混合使用。

SparkSQL1.1.0

(release note)

版本主要的变动有:

  1. 增加了JDBC/ODBC Server (ThriftServer),用户可以在应用程序中连接到SparkSQL并使用其中的表和缓存表。
  2. 增加了对JSON文件的支持
  3. 增加了对parquet文件的本地优化
  4. 增加了支持将python、scala、java的lambda函数注册成UDF,并能在SQL中直接使用。
  5. 引入了动态字节码生成技术(bytecode generation,即CG),明显地提升了复杂表达式求值查询的速率。
  6. 统一API接口,如sql()、SchemaRDD生成等。

SparkSQL1.2.0

(release note)

版本主要的变动有:

  1. 增加访问外部数据的新API,通过该API可以在运行时将外部数据注册为临时表格,并且支持predicte pushdown方式的优化,Spark原生支持Parquet和JSON格式,用户可以自己编写读取其他格数据的代码。
  2. 增加支持Hive 0.13,增加对fixed-precision decimal数据类型的支持。
  3. 增加dynamically partitioned inserts
  4. 优化了cache SchemaRDD,并重新定义了其语义,并增加了statistics-based partition pruning