- 博客(15)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 pyspark graphdataframes踩坑记
pyspark 使用graphdataframes踩坑记报错ModuleNotFoundError: No module named 'graphframes'接着报错java.lang.ClassNotFoundException: org.graphframes.GraphFramePythonAPI官方网链接无法下载graphframes-xxx.jar包如果运行时报错java.lang.ClassNotFoundException: com.typesafe.scalalogging.slf4j.L
2021-05-16 11:08:27
1830
2
转载 windows 部署 flume 1.7.0
[windows 部署 flume 1.7.0]（https://blog.youkuaiyun.com/u012373815/article/details/62453731）
2019-06-27 16:45:51
178
转载 spark sql读取映射hbase数据的hive外部表报错
[spark sql读取映射hbase数据的hive外部表报错]（https://blog.youkuaiyun.com/lhxsir/article/details/81115264）
2019-06-19 22:44:40
505
原创 spark df写入parquet或hbase报错
1.cdh5.13.3.p0.611179/lib/spark2/python/pyspark/sql/types.py", line 1400, in verify_struct“length of fields (%d)” % (len(obj), len(verifiers))))ValueError: Length of object (1) does not match with l...
2019-06-15 21:54:19
978
转载 spark配置参数
https://blog.youkuaiyun.com/xianpanjia4616/article/details/80945660
2019-06-14 15:12:15
139
原创 pyspark连接hbase的三种方式
第一种方式通过thrift接口，这种方式是最简单的，但是访问速度慢，而且thrift接口socket是由超时的用Python操作HBase之HBase-Thrift通过happybase增强thrift接口安装happyhbase安装过程失败，尝试修正方法,centos7yum install python-devel安装happybase也失败了。看了只有使用原生的thrift接口...
2019-06-08 10:56:33
3579
原创 Markdown基本语法
花一点时间学习Markdown基本语法，把一些经验总结放到博客上，可以提高自己的开发的效率。简单的命令，就可以让自己看起来觉得清爽。几级标题就用几个#号，如：一级标题二级标题字体粗体，加两个星号斜体，加一个星号粗体加斜体，三个星号删除线条，两个波浪线粗体斜体粗体加斜体删除分割线代码段单行代码用波浪线小写int a多行代码int a int bint ...
2019-06-08 09:18:29
92
原创 python通过thrift接口操作Hbase
python通过thrift接口操作Hbase创建表创建表from thrift import Thriftfrom thrift.transport import TSocketfrom thrift.transport import TTransportfrom thrift.protocol import TBinaryProtocolfrom hbase import Hbas...
2019-06-08 08:47:12
559
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人