OnTheRoad的博客

SparkSQL SparkSQL用来处理那些不能够用sql来进行处理的数据逻辑或者用sql处理起来比较复杂的数据逻辑。 使用sparkSQL是为了解决一般用sql不能解决的复杂逻辑，使用编程语言的优势来解决问题。 spark sql流程: 把数据读入到sparkSQL中，sparkSQL进行数据处理或者算法实现，然后再把处理后的数据输出到相应的输出源中。 数据源：hive数据仓库、json文...

聚合 DataFrames可以提供共同聚合，例如count()，countDistinct()，avg()，max()，min()等。虽然这些功能是专为DataFrames，星火SQL还拥有类型安全的版本，在其中的一些 斯卡拉和 Java的使用强类型数据集的工作。此外，用户不限于预定义的聚合函数，并且可以创建自己的聚合函数。 无用户定义的聚合函数 扩展UserDefinedAggregateFun...

对于某些工作负载，可以通过在内存中缓存数据或打开一些实验选项来提高性能。 在内存中缓存数据 Spark SQL可以通过调用spark.catalog.cacheTable(“tableName”)或使用内存中的列式格式来缓存表.dataFrame.cache()。然后，Spark SQL将仅扫描所需的列，并自动调整压缩以最小化内存使用和GC压力。可以调用spark.catalog.uncacheT...

Spark Sql 分布式SQL引擎 Spark SQL可以使用其JDBC / ODBC或命令行界面充当分布式查询引擎。在这个模式下，用户或应用程序可以直接与Spark SQL交互以运行SQL查询，而无需编写任何代码。 运行Thrift JDBC / ODBC服务器 对应HiveServer2 于Hive 1.2.1中的。可以使用Spark或Hive附带的beeline脚本测试JDBC服务器 启动...