- 博客(10)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 简单Elasticsearch实战（五）利用kabana做简单数据分析
kibana是个好东西。创建索引模式所谓创建索引模式，就是kibana通过一定的规则（正则匹配）去筛选你想要的索引然后数据分析。例如下图，选择创建索引模式，匹配规则为job*，这样所有job开头的索引都会匹配进来。可视化图表成功创建索引模式后，就可以直接利用kibana创建图表啦例如我们在可视化里面创建柱形图，地区筛选选择北京，筛选字段选择salary，指标选择计数，就可以得到一份平均工资排名啦。同样的道理，我们还可以利用kibana通过招聘标签创建云图这些个性化定制可以保存，.
2020-05-24 23:33:04
1054
原创 简单Elasticsearch实战（四）数据清洗后，从mysql导入Elasticsearch
本文只是简单做个例子，少量数据从mysql导入es还可以，大量数据的话还是建议专业工具来做，或者优化一下，改为多线程数据清洗首先，我们看一下，之前获取到的数据都是这样的，很不规范，而且有很多空值，残缺值，这就需要我们二次处理一下了。首先我在Mysql.py加一条函数这里我们使用pymysql的SSCursor来获取数据，这样做的好处是，他不会一次性把全部数据读出来，造成大量内存占用。对数据库数据多的情况下很有用。import pymysqlfrom common.Logger impor
2020-05-24 23:32:40
1195
原创 简单Elasticsearch实战（三）python连接Elasticsearch
ok,现在原数据有了，下一步就是清洗数据到ES上面了，不过在这之前我们先看一下python如何连接elasticsearch和索引如何建立。连接至ES这里我们使用elasticsearch_dsl库来进行连接pip install elasticsearch_dsl安装完库之后导入from elasticsearch_dsl import Document, Date, Text, Keyword, InnerDoc, Object, connections创建连接还是很方便的，就一行代
2020-05-24 23:32:00
2404
原创 简单Elasticsearch实战（二）python爬取招聘网站信息
有句话叫没枪没炮，敌人给我们造嘛，咱们个人学习肯定没有那么多数据嘛，怎么办，就从有数据的地方借点过来呗（嘿嘿！）所谓爬虫，就是把别的网站信息下载下来，经过筛选获得信息，虽然过程复杂，但跟着函数一步一步来也不难主要就用了两个库requestsBeautifulSoup一个用于获取网页，一个用于解析网页分析首先我们看一下页面的主体（为了简单，我们直接访问移动端页面）页面主要可获取信息为招聘职位地址工资时间body里面每一个div就是一条数据，逻辑还是很简单的，当然，仅仅这
2020-05-24 23:31:42
953
原创 简单Elasticsearch实战（一）介绍
介绍啰嗦最近开始学习ETL，顺便做一下笔记，也正好最近想要了解一下大数据方面的工作，学的再多不如实际操作一下，于是便萌生了一个招聘职业分析的想法。本文都是一些简单的实战演练，算是一篇入门文章吧，仅供学习参考（其实是怕自己忘了写个笔记······）Elasticsearch介绍Elasticsearch 是一个分布式的开源搜索和分析引擎，适用于所有类型的数据，包括文本、数字、地理空间、结构化和非结构化数据。Elasticsearch 在 Apache Lucene 的基础上开发而成，由 Ela
2020-05-24 23:31:11
1994
原创 java学习笔记———接口与抽象类的区别
引言：在java中，接口（interface）和抽象类（abstract）有着很多相似之处，甚至在学习过程中还很容易产生为什么不用抽象类代替接口的想法，尽管功能上有些相似，但是就其意义还是不同的。我们可以通过下面这个例子了解一下。抽象函数的意义：首先抽象类有一个限制，那就是不能被实例化，只能被继承，方法内可以写代码，所以说，我们可以把抽象类当作模板来看，模板是固定的，毕竟工作中不能...
2018-06-16 22:31:26
310
2
原创 树莓派+arduino实现简单物联网开发（三）arduino连接esp8266控制电器
树莓派+arduino实现简单物联网开发（三）arduino连接esp8266控制电器上一篇我们介绍了WiFi板块 esp8266的烧写与ttl的连接，其实esp8266与arduino的连接大同小异，（这里如果是nano的板子的话建议对esp8266额外供电或者接5v供电，nano上面的3.3v供电电流不足，带不起来。下面是引脚图 8266的引脚 ardun
2018-02-05 22:03:54
5643
1
原创 树莓派+arduino实现简单物联网开发（二）WiFi模块的配置esp8266
树莓派+arduino实现简单的全平台物联网开发（二）WiFi模块的配置esp8266说明：其实单纯的控制台灯的话只要树莓派+esp8266就够了，但为了以后拓展可能所以我加了arduino。在这我先把WiFi拿出来讲，因为毕竟通信不出问题才好办事嘛。设计思路： arduino–>WiFi模块–>树莓派的服务器–>客户端—>返回数据—>控制台灯烧写程序：在这里我们
2018-02-04 17:33:11
19530
原创 树莓派+arduino实现简单的全平台物联网开发（一）说明
树莓派+arduino实现简单的物联网开发（一）计划说明最近无聊在家做了一个远程控制灯的项目，这样的例子网上也有很多，我也想把这过程的各种坑列出来，分享一下，把从头到尾所有东西都写出来，起码在本文章结束后，能有一个 完整的的 服务器端+智能设备端+手机移动短程序出来。好了，关于材料，我的做法是最好能简单就简单，还要保持足够的可拓展性 所以我选择了 树莓派+arduino+esp82
2018-02-04 17:23:34
9965
空空如也
flink如何禁止source并行度大于1
2022-08-09
TA创建的收藏夹 TA关注的收藏夹
TA关注的人