- 博客(67)
- 收藏
- 关注
RSS订阅原创 KafKa搭建
KafKa搭建 1.上传压缩包 2.解压，配置环境变量（master、node1、node2） #解压 tar -xvf kafka_2.11-1.0.0.tgz -C /usr/local/soft/ #配置环境变量 vim /etc/profile #追加以下内容 #kafka export KAFKA_HOME=/usr/local/soft/kafka_2.11-1.0.0 export PATH=$KAFKA_HOME/bin:$PATH #分发到node1、node2中 scp /etc
2021-10-16 20:00:06
547
原创 Spark搭建
Spark搭建 1.停止hadoop集群 #在master上执行 stop-all.sh 2.上传saprk安装包 3.解压至soft目录 #解压 tar -zxvf spark-2.4.5-bin-hadoop2.6.tgz -C /usr/local/soft/ #重命名 mv spark-2.4.5-bin-hadoop2.6 spark-2.4.5 4.配置环境变量 #spark export SPARK_HOME=/usr/local/soft/spark-2.4.5 export P
2021-10-10 21:34:53
384
原创 There are 86 missing blocks. The following files may be corrupted:
1.错误背景 集群断电重启块丢失，master:50070页面报错:There are 2 missing blocks. The following files may be corrupted： 2.报错现象 There are 86 missing blocks. The following files may be corrupted: 3.解决方案 删除缺失文件 hadoop fsck -delete 缺失文件路径 检查集群健康状态 ...
2021-09-26 09:03:48
830
原创 Restarting network (via systemctl): Job for network.service failed...
1.错误背景 将挂起的虚拟机启动，突然连不上网，重启网络服务失败。 2.报错现象 Restarting network (via systemctl): Job for network.service failed...... 3.解决方案 停止并禁用虚拟机 NetworkManager 服务 #停止并禁用虚拟机 NetworkManager 服务 #停止 systemctl stop NetworkManager #禁用 systemctl disable NetworkManager 重启网络 se
2021-09-25 08:27:06
3246
原创 Kettle安装及使用
Kettle安装 windows下安装 1、安装jdk 2、下载kettle压缩包，因kettle为绿色软件，解压缩到任意本地路径即可 3、双击Spoon.bat，启动图形化界面工具，就可以直接使用了 Kettle简单使用 MySQL TO MySQL 把stu1的数据按id同步到stu2，stu2有相同id则更新数据 在mysql中创建testkettle数据库，并创建两张表 create database testkettle; use testkettle; create table s
2021-09-24 21:55:07
254
原创 FlinkX安装与使用
FlinkX安装 上传flinkX 解压flinkX #先安装unzip yum install unzip #解压 unzip flinkx-1.10.zip -d /usr/local/soft/ 配置环境变量 vim /etc/profile #追加以下内容 #flinkx export FLINKX_HOME=/usr/local/soft/flinkx-1.10 export PATH=$FLINKX_HOME/bin:$PATH 给bin/flinkx这个文件加上执行权限 chmod
2021-09-24 20:58:41
954
原创 DataX安装及使用
1.DataX安装 上传datax 解压 tar -zxvf datax.tar.gz -C /usr/local/soft/ 添加环境变量 vim /etc/profile #追加以下内容 #datax export DATAX_HOME=/usr/local/soft/datax export PATH=$PHOENIX_HOME/bin:$SQOOP_HOME/bin:$DATAX_HO ME/bin:$PATH 2.DataX使用 编写stream2stream.json # stream
2021-09-24 17:44:15
342
原创 PhoenixJDBC
PhoenixJDBC 1.在pom.xml中加载phoenix依赖 <dependency> <groupId>org.apache.phoenix</groupId> <artifactId>phoenix-core</artifactId> <version>4.15.0-HBase-1.4</version> </
2021-09-24 17:26:26
848
原创 HBase过滤器
1.作用 过滤器的作用是在服务端判断数据是否满足条件，然后只将满足条件的数据返回给客户端。 过滤器可以分为两大类： （1）比较过滤器：可以应用于rowkey、列簇、列、列值过滤器 （2）专用过滤器 ：只能适用于特定的过滤器 2.比较过滤器 比较运算符 LESS < LESS_OR_EQUAL <= EQUAL = NOT_EQUAL <> GREATER_OR_EQUAL >= GREATER > NO_OP 排除所有 常见六大比较过滤器 BinaryCompa
2021-09-24 17:14:22
374
原创 Flume搭建
1.上传flume 2.解压flume tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /usr/local/soft/ 3.重命名 mv apache-flume-1.9.0-bin/ flume-1.9.0 4.配置环境变量 vim /etc/profile #追加以下内容 #flume export FLUME_HOME=/usr/local/soft/flume-1.9.0 export PATH=$FLUME_HOME/bin:$PATH #刷新
2021-09-23 20:33:36
628
原创 Sqoop安装
1.上传Sqoop&mysql驱动 2.解压sqoop tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /usr/local/soft/ 3.重命名 mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop-1.4.6 4.修改配置文件 #切换至/usr/local/soft/sqoop-1.4.6/conf目录 cd /usr/local/soft/sqoop-1.4.6/conf #复制配置
2021-09-22 20:38:23
207
原创 Phoenix搭建
1.关闭hbase集群 stop-hbase.sh 2.上传并解压 上传 tar -zxvf apache-phoenix-4.15.0-HBase-1.4-bin.tar.gz -C /usr/local/soft/ 重命名 mv apache-phoenix-4.15.0-HBase-1.4-bin phoenix-4.15.0 3.将phoenix-4.15.0-HBase-1.4-server.jar复制到所有节点的hbase lib目录下 scp /usr/local/soft/ph
2021-09-18 14:34:37
212
原创 HBaseJavaAPI
1.在pom.xml文件中加入相关依赖 <!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase-client --> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId>
2021-09-14 22:21:27
272
原创 hbase shell基础
1.创建一个test1表，并且有一个info列族 create 'test1' ,'info' 2.查看所有表 list 3.查看表详情 desc 'test1' 4.插入数据 put 'test1','001','info:name','zhangsan' 5.根据rowKey查询某个记录 get 'test1','001' 6.查询所有记录 scan 'test1' 7.统计表记录数 count 'test1' 8.删除 #删除列 delete 'test1','000','
2021-09-13 00:28:41
211
原创 HBase集群搭建
1.启动hadoop&启动zookeeper #1.启动hadoop start-all.sh #2.查看进程 jps #3.启动zookeeper(需要在三台中分别启动) zkServer.sh start #4.查看zk状态 zkServer.sh status master node1 node2 2.上传hbase压缩包并解压 上传压缩包 解压 tar -zxvf hbase-1.4.6-bin.tar.gz -C /usr/local/soft/ 3.配置环境变量 vim /
2021-09-12 22:23:35
338
1
原创 ZookeeperAPI
1.添加包依赖 <!-- https://mvnrepository.com/artifact/org.apache.zookeeper/zookeeper --> <dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</artifactId> <v
2021-09-11 20:57:15
171
原创 HiveJDBC
1.添加包依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.7.6</version> </dependency> <!-- https:/
2021-09-08 21:36:34
420
原创 Hive练习
一、创建表 1.创建students表 创建表 create table students( id bigint comment '学生id', name string comment '学生姓名', age int comment '学生年龄', gender string comment '学生性别', clazz string comment '学生班级' ) comment '学生信息表' row format delimited fields termina
2021-09-05 10:27:37
421
原创 Hive搭建
1.安装MySQL(已安装跳过) （1）下载yum Repository wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm （2）安装yum Repository yum -y install mysql57-community-release-el7-10.noarch.rpm （3）安装mysql5.7 yum -y install mysql-community-server （4）开机
2021-09-05 01:17:26
344
原创 HDFS读写流程
HDFS概述 HDFS是Hadoop应用用到的一个最主要的分布式存储系统。一个HDFS集群主要由一个NameNode和很多个Datanode组成： Namenode管理文件系统的元数据； Datanode存储了实际的数据。 Namenode是一个中心服务器，负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。集群中的Datanode一般是一个节点一个，负责管理它所在节点上的存储。HDFS暴露了文件系统的名字空间，用户能够以文件的形式在上面存储数据。从内部看，一个文件其实被分成一个或
2021-09-03 16:54:56
407
原创 MapReduce
MapReduce介绍 MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题。 MapReduce是分布式运行的，由两个阶段组成，分别是：Map和Reduce。 Map阶段：是一个独立的程序，有很多个节点同时运行，每个节点处理一部分数据。 Reduce阶段：是一个独立的程序，有很多个节点同时运行，每个节点处理一部分数据。 MapReduce框架都有默认实现，用户只需要覆盖map()和reduce()两个函数，即可实现分布式计算，map()和reduce()
2021-09-02 18:51:57
704
原创 mapreduce单词统计
该程序的功能： （1）读取文件 （2）统计每个单词出现的数量 1.创建words.txt文件并上传到HDFS 创建words.txt文件，添加内容 vim words.txt #添加单词（任意单词） hadoop,hive,hbase spark,flink,kafka python,java,scala sqoop,hello,world sqoop,hello,world sqoop,hello,world sqoop,hello,world sqoop,hello,world 上传到HDFS hd
2021-09-01 09:15:32
2191
原创 YARN HA搭建
1.停止YARN集群 stop-yarn.sh 2.修改配置文件 yarn-site.xml <!-- //////////////以下为YARN HA的配置////////////// --> <!-- 开启YARN HA --> <property> <name>yarn.resourcemanager.ha.enabled</name> <value>true</value> </property>
2021-08-31 21:12:53
268
原创 HDFS HA搭建
HA ZK NN DN RM NM JN ZKFC master 1 1 1 1 1 node1 1 1 1 1 1 1 1 node2 1 1 1 1 1.免密钥 在两个主节点生成密钥文件 ssh-keygen -t rsa ssh-copy-id ip master-->master,node1,node2 node1-->master,node1,node2 2.停止HDFS集群 stop-dfs.sh 3.修改hadoop配置文件 core-site.xml &l
2021-08-31 20:22:40
237
原创 Java操作HDFS的API接口
1.文件操作 （1）create写文件 （2）open读取文件 （3）delete删除文件 2.目录操作 （1）mkdirs创建目录 （2）delete删除文件或目录 （3）listStatus列出目录的内容 （4）getFileBlockLocations显示文件存储位置 1.创建maven项目 在pom.xml中追加hadoop-client依赖 <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-cl
2021-08-30 14:26:14
265
原创 Zookeeper集群搭建
Zookeeper集群搭建需要准备三个节点：master、node1、node2。 1.上传安装包到master并解压 tar -zxvf zookeeper-3.4.6.tar.gz 2.配置环境变量 vim /etc/profile export ZOOKEEPER_HOME=/usr/local/soft/zookeeper-3.4.6 #注意：以下内容只需要在PATH后追加**:$ZOOKEEPER_HOME/bin**即可。 export PATH=$PATH:$ZOOKEEPER_HOME/b
2021-08-30 10:12:24
330
原创 Hadoop集群搭建
1、上传安装包并解压 #使用xftp上传压缩包至master的/usr/local/soft/module cd /usr/local/soft/module #解压 tar -zxvf hadoop-2.7.6.tar.gz -C /usr/local/soft/ 2、配置环境变量 vim /etc/profile #jdk export JAVA_HOME=/usr/local/soft/jdk1.8.0_171 export REDIS_HOME=/usr/local/soft/redis/
2021-08-28 17:31:57
362
原创 redis集群安装
redis集群安装 搭建redis集群需要准备三个节点，分别是：master、node1、node2。 1.分别在三个节点中创建redis-cluster目录： master中创建redis-cluster目录： mkdir /usr/local/soft/redis-cluster node1中创建redis-cluster目录： mkdir /usr/local/soft/redis-cluster node2中创建redis-cluster目录： mkdir /usr/local/soft/r
2021-08-27 16:56:37
878
原创 redis主从复制
主从复制 准备两个节点，分别是：master、node1。 1.从master节点上将redis文件复制到node1节点上： scp -r redis node1:`pwd` 2.切换至node1节点的/usr/local/soft/目录下查看redis： 3.在master节点上启动主服务（主节点可以写数据和读数据）： redis-server redis.conf 4.在node1节点上启动从服务器（从节点只能读数据，不能写数据）： ./redis-server --port 6380 -
2021-08-27 11:26:54
214
原创 JedisPoolUtils工具类
jedis.properties配置文件 host=192.168.119.166 port=6379 maxTotal=50 maxIdle=10 JedisPoolUtils工具类 public class JedisPoolUtils { private static JedisPool jedisPool; static { //读取配置文件 InputStream is = JedisPoolUtils.class.getClassLoader(
2021-08-20 21:50:50
372
原创 Java客户端 Jedis
*Jedis：一款java操作redis数据库的工具 *使用步骤 *获取连接 Jedis jedis = new Jedis("192.168.119.166",6379); *操作 String set = jedis.set("name", "chen"); System.out.println(set); *关闭连接 jedis.close(); 示例： /** * jedis的测试类 */ public clas
2021-08-20 21:47:17
200
原创 Redis基本概念
#Redis *概念：redis是一款高性能的NOSQL系列的非关系型数据库。 **redis.conf：配置文件 **redis-cli：客户端 **redis-server：服务器端 *命令操作： *redis的数据结构： **redis存储的是：key,value格式的数据，其中key都是字符串，value有5种不同的数据结构 *value的数据结构： *1.字符串类型 string *2.哈希类型 hash :map格式 *3.列表类
2021-08-20 21:40:20
123
原创 CentOS7之Redis单节点安装
Redis单节点安装 1.配置阿里云yum源 （1）下载配置文件 wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo （2）生成缓存 yum makecache 2.安装redis （1）安装依赖 yum install -y gcc-c++ gcc tcl （2）通过xftp上传redis包至/usr/local/module/目录下 （3）解压redis-3.0.0.t
2021-08-20 21:37:40
284
1
原创 IDEA项目上传至Gitee
IDEA项目上传至Gitee 步骤一：创建本地仓库 步骤二：将项目添加至本地仓库 步骤三：提交该项目 步骤四：再Gitee中创建一个仓库，用于存放该项目，并复制该仓库的链接。 步骤五：提交项目至Gitee中的SpringBootDemo仓库中 步骤六：查看Gitee仓库中的上传的该项目 ...
2021-08-18 11:37:06
401
原创 SpringBoot热部署
SpringBoot热部署 步骤一：在SpringBoot项目中找到pom.xml文件，添加以下内容： <!-- https://mvnrepository.com/artifact/org.springframework.boot/spring-boot-devtools --> <!--热部署配置--> <dependency> <groupId>org.springframework.boot<
2021-08-18 11:19:18
160
原创 SpringBoot环境搭建
SpringBoot环境搭建 手动搭建 步骤一：创建一个Maven项目 （1）单击“Create New Project”： （2）选择Maven并单击Next (3)填写GroupId和ArtifactId，并点击Next,如下图所示： (4)填写项目名称和需要存放的路径，并点击Finish，如下图所示： 步骤二：添加SpringBoot坐标 （1）在Maven项目中的pom.xml文件中添加springboot坐标： 注意：所有的springboot工程都必须继承spring-boot-star
2021-08-18 11:00:22
4221
2
原创 Spring JDBC
Spring JDBC使用步骤： ##Spring JDBC *Spring框架对JDBC的简单封装。提供了一个JDBCTemplate对象简化JDBC的开发 *步骤： *1.导入jar包 *2.创建JdbcTemplate对象。依赖于数据源DataSource *JdbcTemplate template = new JdbcTemplate(ds); *3.调用JdbcTemplate的方法来完成CRUD的操作 *update():执行DML语句。增、删、改语句 *qu
2021-08-16 20:17:17
124
原创 Druid连接池工具类
Druid连接池工具类 创建Druid连接池工具类：DruidJdbcUtils。 /** * Druid连接池的工具类 */ public class DruidJdbcUtils { //定义成员变量 private static DataSource ds; //static代码块 static { //加载配置文件 Properties pos = new Properties(); InputStream is
2021-08-15 20:32:31
188
原创 数据库连接池
数据库连接池 ##数据库连接池： *概念：其实就是一个容器（集合），存放数据库连接的容器。 *当系统初始化好后，容器被创建，容器中会申请一些连接对象，当用户来访问数据库时，从容器中获取连接对象，用户访问完之后，会将连接对象归还给容器。 *好处： *节约资源 *用户访问高效 *实现： *1.标准接口：DataSource javax.sql包下的 *方法： **获取连接：getConnection() **归还连接：Connection.close()。
2021-08-15 20:23:35
125
原创 JDBC控制事务
JDBC控制事务 JDBC控制事务： 1.事务：一个包含多个步骤的业务操作。如果这个业务操作被事务管理，则这个步骤要么同时成功，要么同时失败。 2.操作： *开启事务 *提交事务 *回滚事务 3.使用Connection对象来管理事务 *开启事务：getAutoCommit()获取此 Connection 对象的当前自动提交模式。 *在执行sql之前开启事务 *提交事务：commit()使所有上一次提交/回滚后进行的更改成为持久更改，并释放此 Connection 对
2021-08-15 11:14:23
348
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人