Real09-优快云博客

原创 hadoop常用配置文件

目录 Hadoop2.x配置： 1.hadoop-env.sh/yarn-env.sh/mapred-env.sh 2.core-site.xml 3.hdfs-site.xml 4.yarn-site.xml 5.mapred-site.xml 6.xsync 7.vim /etc/profile 8.myhadoop.sh 9.jpsall Hadoop3.x配置： 1.core-site.xml 2.yarn-site.xml 3.mapred-site.xml 4.

2021-09-11 21:19:52 756

原创 zookeeper的安装和常见命令

zookeeper的安装以下操作都是在hadoop15上进行。 1．安装前准备（1）安装Jdk （2）拷贝Zookeeper安装包到Linux系统下（3）解压到指定目录 tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/ 2．配置修改（1）将/opt/module/zookeeper-3.4.10/conf这个路径下的zoo_sample.cfg修改为zoo.cfg； mvzoo_sample.cfg zoo.cfg （2）打开..

2021-09-11 20:55:24 195

原创 git和github的常用命令

git常见命令： 1.初始化： 1. 进入项目目录 cd employee-system/ 2. 本地库初始化 git init 3.设置签名 3.1项目级别（仓库级别）签名信息保存位置：./.git/config 文件 git config user.name real_pro git config user.email real_pro@qq.com 3.2系统用户级别签名信息保存位置：~/.gitconfig 文件 git config --globa...

2021-09-11 16:16:15 257

原创 flume对接kafka：

1.依次在hadoop15、 hadoop16、 hadoop17节点上启动 kafka bin/kafka-server-start.sh -daemon config/server.properties 2.创建 topic bin/kafka-topics.sh --zookeeper hadoop15:2181 --create --replication-factor 3 --partitions 1 --topic first 3.编写配置文件 vim flume-kafka.conf

2021-09-10 09:09:02 142

原创 Redis安装和常见命令行操作

目录 1.Redis的安装 2.Redis启动 3.常见操作命令常见操作1： 1.Redis的安装 1.解压 tar -zxvf redis-3.0.4.tar.gz -C /opt/devtools/ 2.进入解压后的目录：redis-3.0.4 2.1 执行：make 注意：如果make命令出现错误解析，是因为没有安装gcc，安装完gcc后，执行： make distclean 后再次执行：make 安装gcc命令（联网情况下）：yum install gcc-c++

2021-09-05 23:19:11 164

原创 Kafka安装和常见命令行操作

目录 1.Kafka集群部署 2.启动Kafka集群 3.Kafka常见命名行操作 1.Kafka集群部署 1.解压安装包： tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/devtools/ 2.修改解压后文件夹名称： mv kafka_2.11-0.11.0.0/ kafka/ 3.在 /opt/devtools/kafka/目录下创建 logs文件夹 mkdir logs 4.修改配置文件 vim config/server.prope

2021-09-04 11:35:28 169

原创 HBase的安装和常用命名行操作

1.HBase安装 1.环境准备 1.首先保证Zookeeper集群的正常部署，并启动之： bin/zkServer.sh start 2.Hadoop集群的正常部署并启动：启动HDFS：sbin/start dfs.sh 启动yarn：sbin/start yarn.sh 2.安装HBase 3.解压HBase到指定目录： tar -zxvf hbase-1.3.1-bin.tar.gz -C /opt/module 4.修改HBase对应的配置文件： 4.1 hbase-en

2021-09-04 08:17:57 183

原创确保当前线程只创建一个对象实例的方法

通过本地线程的方法： package ct.common.bean; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.client.Admin; import org.apache.hadoop.hbase.client.Connection; import org.apache.hadoop.hb

2021-09-03 09:21:37 219

原创加载类路径下配置文件的常用方法

1.通过当前类加载器代码实现（加载数据库连接信息）： public class ConnectionDemo { @Test public void test5() throws Exception{ //1. 读取配置文件的基本信息 InputStream is = ConnectionDemo.class.getClassLoader().getResourceAsStream("jdbc.properties"); Properties properties = new

2021-09-03 08:39:44 373

real的博客