- 博客(21)
- 收藏
- 关注
RSS订阅原创 etcd集群启动报错：conflicting environment variable “ETCD_NAME“ is shadowed by corresponding command-line fl
etcd集群启动报错：conflicting environment variable "ETCD_NAME" is shadowed by corresponding command-line flag (either unset environment variab
2022-11-25 15:57:45
1775
原创 flink进行任务报错Caused by: java.lang.NoClassDefFoundError: com/alibaba/ververica/cdc/debezium/DebeziumDes
flink报错
2022-06-03 13:10:40
1646
原创 Centos7 搭建Mysql8.0.23服务
Centos7 搭建Mysql8.0.23服务1.创建好指定目录并将下载好的Mysql包上传到指定目录。2.将Mysql包解压3.解压完后文件夹下会多个很多rpm包4.执行命令安装mysqlrpm安装这些包彼此依赖，尽量按下面顺序装，不按顺序的话也行，安装失败会提示前置需要的依赖包。在解压包下面执行命令： rpm -ivh mysql-community-common-8.0.23-1.el7.x86_64.rpm --nodeps --force rpm -ivh mysq
2022-05-30 11:21:52
490
原创 centos7大数据hadoop集群搭建flume并测试使用
centos7大数据hadoop集群搭建flume前提：apache-flume官网下载flume 链接: https://www.apache.org/dyn/closer.lua/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz1.将flume放入虚拟机指定目录下并解压（我这边为了方便把flume包改了名字）2.在环境变量中加入flume环境变量export FLUME_HOME=/usr/soft/flume-1.9.0export PATH=$PATH:
2021-04-18 02:18:02
761
原创 centos7搭建hadoop集群（超详细）
centos7搭建hadoop集群（超详细）前提：第一部分：1.centos7安装虚拟机的文章链接: https://www.runoob.com/w3cnote/vmware-install-centos7.html.2.需要三台及以上虚拟机，并保证能通网3.三台都需要ping网试一下4.在三台机器的/etc/hosts中添加ip和名称（三台机器都需要）第二部分：给三台虚拟机配置ssh密钥1.1：生成文件，红色箭头处需要敲一次空格1.2：查看生成的文件三台机器都需要操作1.1
2021-04-16 21:38:58
4035
9
原创 centos7安装和部署jdk
centos7安装和部署jdk1.将下载的jdk包传入到虚拟机中任意文件下我的在/usr/soft/下2.使用 tar -zxvf命令解压jdk3.删除掉原先的jdk安装包（这里不想删除的小伙伴可以不删除）4.重新命名解压后的jdk包，方面后面配置环境变量5.配置环境变量sudo vi /etc/profile在文件尾部加入export JAVA_HOME=/usr/soft/jdk8export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar
2021-04-15 22:25:58
287
原创 zeppelin中添加hive
zeppelin中添加hive首先你要安装了zeppelin并且能够进入zeppelin页面如下：之后点击右上角的’anonymous’然后点击：Interpreter进入Interpreter后点击右上角’Create’进入创建页面后编辑配置如下:写完后点击Save ，并在搜索框搜索hive，等待依赖下载完下载完后，我们点击Notebook，点击Create new note并选中hive最后我们就可以使用zeppelin来操作hive仓库了！至此 我们使用zepp
2021-03-19 11:12:12
331
原创 Hive清洗数据删除没用列生成新表
清洗数据，删除没用列，将删除列后的生成新表。最开始的HIVE表：删除列后生成的新表只留了有用的字段首先建立新表 新表中只有需要的字段：create table sys_log2(date string,zabbix string,user string,command string)row format delimited fields terminated by ‘,’然后使用insert 语句将查询后的数据放入刚刚创建的表：insert into table sys_log2
2021-03-18 15:56:03
307
原创 Hive报错FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
具体错误： ERROR [HiveServer2-Background-Pool: Thread-79] operation.Operation: Error running hive query:org.apache.hive.service.cli.HiveSQLException: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr
2021-03-18 15:42:39
565
原创 spark.sql集成hive:Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
SparkSQL集成hive错误：Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient写sparksql，查询hive表报错Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient查询不到hive数据，如果没有版本冲突（使用的hive版本不是2以上）可以通过schematool
2020-08-10 16:25:07
1512
原创 深度Deepin15.7系统搭建大数据环境
深度Deepin15.7系统搭建大数据环境具体电脑怎么在VMware安装深度Deepin15.7我就不多说了！贴一个链接，不会的小伙伴可以去查看！超详细！VMware安装深度Deepin15.7
2020-08-10 15:59:50
626
1
原创 VMware Workstation 使用深度系统虚拟机内存扩容
VMware Workstation 使用深度系统虚拟机内存扩容这是现在我的虚拟机内存首先我们需要关闭虚拟机，记住要点击关机，不能挂起，有快照的小伙伴需要删除快照。现在点击我们虚拟机点击虚拟机硬盘。或者点击编辑虚拟机设置点击硬盘选项点击扩展在这里输入想多扩展多少内存，比如我之前是150g 我要扩展10g我就要写成160g修改完成后点击扩展。完成后开启此虚拟机，到现在还没完成，我们只是扩展了磁盘，但是虚拟机里面还没有扩展。打开虚拟机，在我们的启动器中找到分区编辑器，打开（打开需要输
2020-07-26 00:09:02
843
6
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人