- 博客(7)
- 收藏
- 关注
RSS订阅
原创 nifi实现数据库到数据库之间数据同步
nifi实现数据库到数据库之间数据同步一.安装：NiFi 是免安装地，仅需从官网下载压缩包，然后解压，即完成了整个安装过程，官网下载安装包（http://nifi.apache.org/download.html），选择nifi-x.x.x-bin.tar.gz的最新版本即可。解压结束即完成安装过程。二.配置：修改配置文件nifi.properties（路径/usr/download/nifi...
2018-10-25 15:41:35
14506
12
原创 Java 核心工具库—Guava 28.0
Java 核心工具库—Guava 28.01.Guava是什么Guava 是 Google 的一个开源项目，包含许多核心 Java 常用库，这个库是为了方便编码，并减少编码错误 。这个库用于提供集合，缓存，支持原语句，并发性，常见注解，字符串处理，I/O和验证的实用方法，源码包的简单说明如下：com.google.common.annotations：普通注解类型。com.google....
2020-02-24 18:15:56
1004
原创 MySQL Error【1146】：Table 'xxx.xxx' doesn't exist
今天上班闲来无事，准备清理一下数据库，本机上的mysql都11G多了，一些没用的历史数据占用了我珍贵的磁盘。把一些没用的库，没用的表删完以后，看到MySQL data文件夹下有几个文件很大，没有考虑太多（主要是我无知）把几个比较大的文件删除了，重启MySQL，感受一下清理后清新可人的数据库。万万没想到啊，打开某个表时报错了，提示表不存在，Error【1146】：Table ‘xxx.xxx’ d...
2019-09-06 14:26:59
3904
1
原创 logstash实现ElasticSearch与mysql数据库同步
logstash实现ElasticSearch与mysql数据库同步在使用elasticsearch开发查询功能时，数据的同步也是其中关键一步，这两天时间开发了个基于elasticsearch的全文搜索功能，顺便把如何实现elasticsearch与mysql的数据同步配置了一下。操作系统：Linux centos7.x1.安装logstash（1）下载logstash，注意下载的版...
2018-12-01 15:26:52
1035
原创 Python+Scrapy爬取人民网
Python+Scrapy爬取人民网一.准备工作： ①安装python3 ②安装scrapy ③安装docker，用来运行splash，splash是用来提供js渲染服务（python中还需利用pip安装scrapy-splash 库）注意：win10需要安装docker客户端（https://www.docker.com/），Linux的安装就比较简单了（自行百度）。安装上do...
2018-10-31 16:11:05
3296
原创 Python+scrapy爬取36氪网
Python+Scrapy爬取36氪网新闻一.准备工作： ①安装python3 ②安装scrapy ③安装docker，用来运行splash，splash是用来提供js渲染服务（python中还需利用pip安装scrapy-splash 库）注意：win10需要安装docker客户端（https://www.docker.com/），Linux的安装就比较简单了（自行百度）。安装上...
2018-10-26 11:46:17
1981
1
原创 rsync+sersync数据实时同步
CentOS7下Rsync+sersync实现数据实时同步1.在客户机和服务机都需要进行的操作：（1）安装rsync：yum -y install rsync #启动rsync服务 systemctl start rsyncd.service systemctl enable rsyncd.service #检查是否已经成功启动 netstat -lnp|grep 873（2）配...
2018-10-25 16:08:22
291
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人