- 博客(13)
- 收藏
- 关注
RSS订阅原创 开发环境搭建
目录1、安装虚拟机2、Java环境变量配置3、python正文1、安装虚拟机安装详细说明：http://www.downcc.com/soft/406239.html2、Java环境变量配置下载https://www.oracle.com/java解压tar -zxvf jdk-8u211-linux-x64.tar.gz配置环境变量 vim...
2020-03-15 22:38:33
232
原创 Linux常见应用管理
目录1、防火墙状态管理2、同步网络时间3、使用软连接4、安装telnet5、安装 rz、sz正文1、防火墙状态管理启动： systemctl start firewalld关闭： systemctl stop firewalld查看状态： systemctl status firewalld开机禁用 ： systemctl disable firewalld...
2020-03-15 15:51:43
347
原创 Linux下MySQL下载及安装
1、下载查看服务器版本，下载对应32/64位的mysql。cat /proc/version官方网站：https://dev.mysql.com/downloads/mysql/5.7.html#downloads 国内源(清华镜像)：https://mirror.tuna.tsinghua.edu.cn/mysql/downloads/MySQL-5.7/mysql-5....
2020-03-15 15:31:04
575
1
转载 OCR文字识别：Tesseract-4.00训练字库
由于tesseract的中文语言包“chi_sim”对中文手写字体或者环境比较复杂的图片，识别正确率不高，因此需要针对特定情况用自己的样本进行训练，提高识别率，通过训练，也可以形成自己的语言库。步骤：1、工具准备：（1）官方文档：https://github.com/tesseract-ocr/tesseract/wiki/TrainingTesseract-4.00...
2020-01-14 16:53:05
1463
1
原创 python数据源管理
说明：主要实现python数据源连接池管理工具，可高效的操作各类数据源：Elasticsearch、Mysql、Redis等。1、Python操作Elasticsearchfrom elasticsearch6 import Elasticsearch, helpersdef singleton(cls): """ 单例模式 """ instan...
2019-08-15 13:28:29
481
转载 hbase数据增长磁盘空间不足问题
HBase落地到HDFS后磁盘空间急剧增长的解决场景用flume+hbase thrift朝HBase插入了大约2亿行服务器的日志数据, 在用hbase org.apache.hadoop.hbase.mapreduce.Export 的时候, 发现出现了大量的ScannerTimeoutException,于是ctrl+c取消了落地到HDFS.HDFS 一共有 3 个datanode....
2019-05-22 10:30:44
2552
1
原创 filebeat windows安装使用
说明：本例主要采集日志文件到kafka为例filebeat简述 Filebeat是一个日志文件托运工具，在服务器上安装客户端后，filebeat会监控日志目录或者指定的日志文件，追踪读取这些文件（追踪文件的变化，不停的读） Filebeat工作流程...
2018-08-06 15:06:38
3808
原创 kafka配置与使用
说明：三个节点kafka部署1.安装kafka：解压tar -zxvf kafka_2.12-1.0.02.配置环境变量：vim ~/.bash_profile（改完source一下）export KAFKA_HOME=/root/software/kafka_2.12-1.0.0export PATH=$PATH:$KAFKA_HOME/bin3.配置kafka文件：vim server.pro...
2018-07-02 22:24:20
285
原创 zookeeper分布式搭建
说明：三个节点部署1.安装：解压tar -zxvf zookeeper-3.4.62.加入环境变量：vim ~/.bash_profileexport ZOOKEEPER_HOME=/root/software/zookeeper-3.4.6export PATH=$PATH:$ZOOKEEPER_HOME/bin3.修改配置：zoo.cfgtickTime=2000initLimit=10syn...
2018-07-02 22:00:04
177
转载 Hbase原理
目录：一、Hbase介绍二、Hbase的Region三、Hbase的写逻辑四、Hbase的故障恢复五、Hbase的拆分和合并六、Hbase主键设计七、Hbase预分区--------------------一、Hbase介绍1、Hbase简介Hbase是Hadoop Database的简称 ，Hbase项目是由Powerset公司的Chad Walters和Jim Kelleman在2006年末发...
2018-06-22 22:18:57
1897
原创 Hadoop原理（HDFS+MR+YARN）
一、HDFS原理1->HDFS 架构HDFS是一个分布式文件系统。一个HDFS集群主要由一个 NameNode ,一个Secondary NameNode 和多个 Datanode 组成：Namenode管理文件系统的元数据，Datanode存储数据。2->HDFS各个节点的功能NameNode：Master节点，是领导。管理数据块映射；处理客户端的读写请求；监控nanmenode的健...
2018-06-22 21:20:28
2086
原创 hadoop安装与配置（本地模式）
hadoop版本:hadoop-2.7.2虚拟机安装前期配置：IP地址、IP与主机映射、关闭防火墙一、安装java jdk 1、下载java jdk1.8版本，放在/home/software目录下， 2、解压：tar -zxvf java-jdk*****.jar 3、vim ~/.bash_profile12345#添加export JAVA_HOME=root/app/jdk1....
2018-06-22 08:18:40
1240
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人