善皮之的博客

使用spark jdbc API 访问带有kerberos的hive jdbc获取数据

spark使用impala jdbc 写入数据会发生报错。

spark 访问云hbase

spark join 数据表关系从多对一，变成了多对多

【Spark案例】本地访问cdh集群不将配置文件放入resource目录方式背景故事今天我领导，他想用pyspark连接集群中的hive，作数据分析用。于是这变成了一个在本地集群中如何访问远程集群的问题。在python环境中使用pyspark构建sparkSession的过程当中，config参数选项里面配置了一个hive.metastore.uris的时候，sparkSession能够访问hive的数据库，及表信息。但是读取数据的时候会发生报错。问题分析在java中如果是maven构建的jav

【Spark】SparkJdbc并发读取的partitionColumn规则参考: spark 官方文档使用spark的jdbc的方式读取数据的操作：方式1:spark.read.option(...).jdbc(url,table,properties)方式2:spark.fomat('jdbc').option(...).load()可以注意到，在spark通过jdbc读取数据时候是有一个option的选项的。本次主要讨论spark jdbc的多连接读取参数:partitionC

spark sql截断小数做非四舍五入操作在开发过程当中，会遇到这样的一种情况。保留四位小数。比如这个图中，spark sql可以做到保留四位小数，但是这四位小数中的第五位是以四舍五入的方式进行进位的。最近遇到了一个业务场景，需要保留四位小数，但是第五位无论是多少都要进行舍弃，那么我们可以这样去做：* 现将这个数字扩大10000倍，然后在将这个数字进行向下取整数操作，然后将这个数除以10000。最后再转换为decimal(6,4) 保留四位精度小数。如上图所示：已经成功将temp转换为我们需要

Spark Sql读取字符串数组开门见山样例数据：造数sql:df:SELECT "[{'id':1,'name':'abc'},{'id':1,'name':'abc'}]" AS js+---------------------------------------------+|js |+---------------------------------------------+|[{'id':1,'

pyspark 读取kudu表背景：有一个pyspark程序需要读取kudu表的数据。数据存储在kudu中，使用impala的话也不好读取kudu表中的数据—有一个kerberos认证的过程，阻碍了数据的读取。另外当前版本的hive是没有做针对kudu相关的配置。所以也无法使用hive去读取kudu表的数据。解决办法参考: kudu的官方文档针对spark读取kudu的方式：引入kudu-spark2_2.11,jarscala 可以通过maven的pom配置映入这个依赖包pyspark可