- 博客(8)
- 收藏
- 关注
RSS订阅原创 Failed to publish events kafka.common.FailedToSendMessageException: Failed to send messages after 3
flume监听数据发送给kafka的消费者，出现情况，kafka重复消费flume的数据，查看了flume的日志报错如下(org.apache.flume.sink.kafka.KafkaSink.process:145) - Failed to publish eventskafka.common.FailedToSendMessageException: Failed to send m...
2019-01-08 18:51:58
2522
原创 org.apache.spark.SparkException: ArrayBuffer(org.apache.spark.SparkException: Couldn't find leaders
org.apache.spark.SparkException: ArrayBuffer(org.apache.spark.SparkException: Couldn’t find leaders for Set([testTopic0,0]))，本人新程序报错如下，由于我用的是虚拟机运行，同一个机器开启的多个broker,也就是config/server.propries文件，由于内存设置的比...
2019-01-03 17:31:58
1440
转载 Pyecharts 根据经纬度和量值的大小，画出散点图
      大家都知道python各种的好，但是呢在可视化方面还是有所欠缺的，而今天的主角pyecharts就很好的弥补了这一短板，今天先简单的介绍一下如何利用pyecharts使得我们的数据可视化效果更加好。小文汇总了一下，利用pyecharts我们可以作图的类型分别为：Bar（柱状图/条形图），Bar3D（3D 柱状图），B
2018-10-21 21:51:45
16971
8
转载 pyecharts详细配置绘制图表
Echarts 是百度开源的一个数据可视化 JS 库。主要用于数据可视化。 pyecharts 是一个用于生成 Echarts 图表的类库。实际上就是 Echarts 针对Python 的接口。安装pip install pyecharts图形初始化图表类初始化所接受的参数（所有类型的图表都一样）。title -> str 主标题文本...
2018-10-21 21:22:07
4967
3
原创 selenium爬去数据，能找到父元素，find_elements_by_xpath不能找到下面的子元素
1.先来看一份数据 ...
2018-10-19 17:13:20
12488
3
转载 python 根据地址反求出经纬度
方法一：import requstimport jsondef getlnglat(address): ak = 'f30c9d52b003c2b3ac089e2672e18baf' url="http://restapi.amap.com/v3/geocode/geo?key=%s&address=%s"%(ak,address)data=requests.get(url) ...
2018-10-19 17:12:56
1879
转载 scrapy爬取某网站,设置cookies
为什么要伪装cookies在访问网站的时候，我们经常遇到有些页面必须用户登录才能访问。我们以前即使写的伪装了代理ip，设置了头信息，但是运行次数多了还是会被封。由于本节只是单纯的想保持一下登陆状态，所以就不写复杂的获取页面了原理一般情况下，网站通过存放在客户端的一个被称作cookie的小文件来存放用户的登陆信息。在浏览器访问网站的时候，会把这个小文件发往服务器，然后...
2018-10-11 23:20:17
3054
1
原创 scrapy 提取多层嵌套标签下的所有文本
怎样才能一次性提取多层嵌套标签的所有文本，详细如下：假如页面如下：<p id='test'>hello<b>world!</b></p>我要的提取结果是：world!（假设world是很多标签组合的文本）这里就需要注意text()的使用了：首先设置sel = Selector(text=doc, type='html')如果text(...
2018-10-10 19:39:42
2667
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人