- 博客(20)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Caused by: java.lang.NoSuchMethodError: org.apache.spark.sql.catalyst.analysis.TypeCoercion$.findTig
（1）在pyspark连接，mongodb时连接代码如下：版本，spark2.3.0，scala2.11.8# 创建会话spark = SparkSession \ .builder \ .appName("pyspark-mongodb data source example") \ .config("spark.mongodb.input.uri", ...
2018-09-10 18:31:43
3006
3
原创 spark直连kafka中遇到的问题
出现问题：找不到 leader offsetpy4j.protocol.Py4JJavaError: An error occurred while calling o41.createDirectStreamWithoutMessageHandler.: org.apache.spark.SparkException: java.nio.channels.ClosedChannelExce...
2018-09-07 18:54:16
2374
原创 ERROR:py4j.java_gateway:An error occurred while trying to connect to the Java server (127.0.0.1:5825
在用pyspark做数据处理时，经常遇到这样的坑在此作个记录：（1）配置文件：当字段数太多时，需要配置字段数长度，注意其中的数字是字符串，不然会报错。ERROR:py4j.java_gateway:An error occurred while trying to connect to the Java server (127.0.0.1:5825错误代码如下： spark...
2018-08-09 16:52:25
54175
3
原创 全球ip地址查询与区域判断
注：在项目中，会用到全球ip地址，地址来源网址：http://ip.bczs.net/countrylist，感谢该网址提供如此全的地址自己找ip找的也很辛苦，将爬虫爬下来的数据上传上来，以供大家使用。（1）通过爬虫，将上面网址中的地址与对应的ip段爬下来，大家可以点击下载使用链接：https://pan.baidu.com/s/1d34HTQDfuwGbHyXHx7GSBQ 密码：e...
2018-08-09 15:06:36
4548
2
转载 nginx安装插件直接对接kafka集群
https://www.liangzl.com/get-article-detail-2381.html
2018-08-07 13:45:32
889
转载 elasticsearch详细说明文档
文章转自：http://www.cnblogs.com/shaosks/category/1073135.html
2018-07-30 15:28:27
188
原创 kettle启动时，点开spoon.BAT无反应的解决办法
（1）点开官方的FAQ：q: When I start Spoon.bat in a Windows environment nothing happens. How can I analyze the problem?a:Use the SpoonDebug.bat file to start Spoon. Review the "SpoonDebug.txt" log file to ...
2018-07-29 09:36:09
9836
原创 spark.debug.maxToStringFields错误
spark = SparkSession \ .builder \ .config('spark.debug.maxToStringFields', '100')\ .appName("Python Spark SQL data source example") \ .master('local[*]')\ .get...
2018-07-27 15:34:44
6562
转载 常用数据库 JDBC URL 格式
转自：http://blog.youkuaiyun.com/ring0hx/article/details/6152528 版权声明：本文为博主原创文章，未经博主允许不得转载。http://www.cnblogs.com/weizhxa/p/6519451.html
2018-07-25 11:02:42
157
原创 hadoopwindow-master.zip下载
https://github.com/sardetushar/hadooponwindows
2018-07-25 09:57:02
7534
原创 python3 安装pymssql
http://www.lfd.uci.edu/~gohlke/pythonlibs/下载pymssql包（pymssql-2.1.3-cp36-cp36m-win_amd64.whl）,并把他放到python安装路径的script文件夹下 在cmd,cd到python安装路径（C:\Users\lenovo\AppData\Local\Programs\Python\Python36\sc...
2018-07-24 20:38:35
3944
转载 TLTK学习笔记
文章转自小杰codePython NLTK学习11（命名实体识别和关系抽取）http://www.coderjie.com/blog/759cd56a72d911e7841d00163e0c0e36Python NLTK学习10（评估分块器）Python NLTK学习1（Text对象）Python NLTK学习2（FreqDist对象）Python NLTK学习3（语料库）Python NLTK学...
2018-07-15 21:18:28
678
转载 pycharm中运行spark时的erroor
https://cloud.tencent.com/developer/article/1054372
2018-07-04 14:11:15
369
转载 sklearn使用简单入门
ML神器：sklearn的快速使用 传统的机器学习任务从开始到建模的一般流程是：获取数据 -> 数据预处理 -> 训练建模 -> 模型评估 -> 预测，分类。本文我们将依据传统机器学习的流程，看看在每一步流程中都有哪些常用的函数以及它们的用法是怎么样的。希望你看完这篇文章可以最为快速的开始你的学习任务。文章偷自：http://www.cnblogs.com/lianyin...
2018-07-02 07:48:57
292
原创 tf.reshape()与tf.transpose的理解
背景：初次接触tf.transpose，对其中的维度的理解，甚是困难，作此记录，以便以后查看（1）tf.reshape()的理解import tensorflow as tfimport numpy as npthree_dim_data = tf.Variable(np.arange(100).reshape(2,5,10))three_dim_data_reshape = tf.Var...
2018-06-30 20:47:44
3055
1
原创 tensorboard无法打开的原因
（1）tensorboard --logdir=“path”中的路径没设置对（2）若是打开时，被防火墙拦住，可以tensorboard --logdir=“path” --port=8080（3）不能关闭终端：在本地网址上查看时，不能关闭终端，若关闭了，则打不开...
2018-06-28 11:55:16
8652
1
转载 tf.slice与tf.gather 的联系和区别
https://blog.youkuaiyun.com/qq_25964837/article/details/80462908
2018-06-13 23:25:10
1151
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人