- 博客(14)
- 收藏
- 关注
RSS订阅原创 外网通过python开发Kafka生产者出现KafkaTimeoutError:Timeout after waiting for 10 secs
在本地内外测试都能发送成功，消费者也能消费到，把测试脚本发到外网的主机运行脚本出现发不出去，且没报错，后面通过Kafka发送的回调函数发现有KafkaTimeoutError:Timeout after waiting for 10 secs错误Python测试脚本:import jsonfrom kafka import KafkaProducerdef send_method_bigjson(bootstrap_servers, topic_name, data): produc
2020-07-22 18:04:55
6001
1
转载 hive常用命令整理
// hive常用命令整理---coco1. 开启行转列功能之后:set hive.cli.print.header=true; // 打印列名set hive.cli.print.row.to.vertical=true; // 开启行转列功能, 前提必须开启打印列名功能set hive.cli.print.row.to.vertical.num=1; // 设置每行显示的列数2.使用过程中出错采用：hive -hiveconf hive.root.logger=DEBUG,consol
2020-06-19 19:45:07
624
原创 spark启动错误： java.lang.ClassNotFoundException: org.apache.parquet.Log
报错信息:Exception in thread "main" java.util.ServiceConfigurationError: org.apache.spark.sql.sources.DataSourceRegister: Provider org.apache.spark.sql.execution.datasources.parquet.ParquetFileFormat could not be instantiated at java.util.ServiceLoader.fai
2020-05-30 11:38:48
2569
原创 DataNode启动失败：org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool
实验环境VMware15；CentOS7；hadoop2.7设置架构图问题描述对Resource Manager做HA配置完通过start-all.sh启动集群时，发现有2个节点的node3,node4的DataNode没有启动。确认配置信息没问题后，观察node3中的datanode日志发现：Initialization failed for Block pool问题...
2020-03-14 15:25:30
5916
3
原创 TF-IDF计算步骤及sklearn中使用
TF-IDF（Term Frequency-InversDocument Frequency）是一种常用于信息处理和数据挖掘的加权技术。该技术采用一种统计方法，根据字词的在文本中出现的次数和在整个语料中出现的文档频率来计算一个字词在整个语料中的重要程度。它的优点是能过滤掉一些常见的却无关紧要本的词语，同时保留影响整个文本的重要字词。TF（Term Frequency）表示某个关键词在整篇...
2020-03-11 20:51:59
721
原创 Selenium学习——QQ空间点赞好友说说
项目要求，给自己空间所有好友发的说说点赞&给单个好友所有说说点赞遇到的问题：问题一:只能获取头几条说说，其他获取不到 原因:"feed_page_container"这个说说本体的标签只有再页面向下滚的时候才会加载出来， 而且每次只会加载3页也就是12条说说，必须点赞完一轮后再次向下滚动刷新说说列表。 解决办法:进入空间后先向下滚动，直到出现"feed_page_con...
2019-11-15 21:12:32
401
原创 python向Mysql存入数据1366, "Incorrect string value: '\\xF0\\x9F\\x98\\xAC\\xE3\\x80...'
写的爬虫小项目，爬取贴吧帖子的标题和阅读量，将数据存入MySQL错误信息:(1366, "Incorrect string value: '\\xF0\\x9F\\x98\\xAC\\xE3\\x80...' for column 'title' at row 1")存入错误的数据：「提问！????」学院附近有什么好ci的嘛原因：Mysql里UTF8编码最多只能支持3个字节，而E...
2019-10-20 16:51:30
829
原创 windows10环境 pip is configured with locations that require TLS/SSL错误
报错信息:pip is configured with locations that require TLS/SSL, however the ssl module in Python is not available原因:Anaconda 环境变量未配置完全解决方法:配置完整的环境变量D:\Anaconda3D:\Anaconda3\ScriptsD:\Anacond...
2019-10-18 20:48:11
723
转载 HTTP状态码（HTTP Status Code）
一些常见的状态码为：200- 服务器成功返回网页404- 请求的网页不存在503- 服务不可用1xx（临时响应）表示临时响应并需要请求者继续执行操作的状态代码。代码 说明100 （继续） 请求者应当继续提出请求。 服务器返回此代码表示已收到请求的第一部分，正在等待其余部分。101 （切换协议） 请求者已要求服务器切换协议，服务器已确认并准备切换。2xx ...
2019-10-17 18:59:09
175
原创 Spring问题：java.lang.IllegalStateException: Failed to load ApplicationContext
JUnit测试时报错:java.lang.IllegalStateException: Failed to load ApplicationContext解决方法：//1.查看xml配置文件的地址是否出错@ContextConfiguration("/bmi-beans.xml")//2.查看配置文件内容是否有错//3.检测是否是字符集出错...
2019-09-29 20:26:24
249
原创 Spring问题：Class<SpringRunner> cannot be resolved to a type
使用@RunWith注解，提示报错@RunWith(SpringRunner.class)报错信息Class<SpringRunner> cannot be resolved to a type解决方法，添加import，导入jar包import org.springframework.test.context.junit4.SpringRunner;或者...
2019-09-28 11:08:16
1430
原创 用python爬取笔趣阁小说并分章节保存到本地
在宿舍无聊时想做点小程序，刚好又看到笔趣阁的广告，就想着爬一下小说看看，通过网上的爬取教程整理的使用beautifulsoup解析request获取的HTMLhttp://beautifulsoup.readthedocs.io/zh_CN/latest/# -*- coding:utf-8 -*-import requestsfrom bs4 import BeautifulSo...
2019-09-07 15:20:38
2085
原创 关于pip install错误问题个人总结
首先问题就是安装源这个可以去https://blog.youkuaiyun.com/chenghuikai/article/details/55258957中学习也可以直接使用 - i 来指定使用哪个 url，如下图所示：pip install -i http://pypi.douban.com/simple/ 包名但是我发现还是装不上去出现许多警告WARNING: The repository ...
2019-09-02 19:44:31
2925
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人