- 博客(8)
- 收藏
- 关注
RSS订阅原创 云服务器搭建Hadoop集群DataNode下没有current文件夹
云服务器搭建Hadoop集群DataNode下没有current文件夹 搭建过程遇到情况说明： 购买云服务器搭建Hadoop集群和VM虚拟机搭建不一样在于像服务器有公网IP和内网IP，所以在配置hosts文件的时候本机hostname绑定内网IP，其他hostname绑定公网IP，即： 内网IP地址 你的hostname 公网IP地址 其他hostname 通俗讲就是： bigdata111配置hosts bigdata111内网IP bigdata111 bigdata112公网IP bigdata112
2020-09-19 22:23:29
4582
3
原创 SQL查询学生表最高分及同名同学
给一张学生表，有姓名，分数 求： 1、最高分同学的名字 2、同名同学姓名 1、 SELECT student.sName FROM student GROUP BY student.sName ORDER BY MAX( student.score ) DESC LIMIT 1 2、 SELECT sName FROM student GROUP BY sName HAVING count( sName ) > 1 ...
2020-08-11 21:39:17
8389
1
原创 flume实时数据解析
flume开发 作用 ■ 实时解析处理传送过来的数据 ■ FTP文件备份 ■ FTP异常文件备份（查错和重跑使用） ■ 数据清洗(拦截器) ■ 数据标签生成 ■ 异常数据处理 方便检测每天错误数据量。 错误数据表里面去 ■ 推送清洗数据到kafka 流程 测试文件备份 import org.apache.commons.io.FileUtils; import java.io.File; import java.util.List; import static java.io.File.separator
2020-06-04 22:11:40
781
原创 CentOS7搭建CDH5
CentOS7及Cloudera Manager 此处省略两万字…………^_^ 环境要求 1.1 内存分配 觉得内存大的可以随性 ^_^ 1.2 本次安装需要的jar包 jdk-8u144-linux-x64.tar.gz CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz manifest.json
2020-05-28 23:24:46
326
2
原创 hadoop打包上传报：Wrong FS: hdfs://localhost:9000/user/hadoop, expected: file:///
hadoop打包上传报：Wrong FS: hdfs://localhost:9000/user/hadoop, expected: file:/// //1、获取文件系统 Configuration con = new Configuration(); //2、连接集群 con.set("fs.hdfs.impl", "org.apache.had...
2020-01-24 01:52:11
1626
原创 maven-assembly-plugins 解决依赖第三方jar包，并可执行jar的打包
maven-assembly-plugins 解决依赖第三方jar包，并可执行jar的打包pom.xml配置如下： pom.xml配置如下： <build> <resources> <resource> <targetPath>${project.build.directory}...
2020-01-24 01:46:44
2366
原创 Hadoop第一坑：集群搭建只显示一个datanode
搭建hadoop集群时在主节点主机下，配置好hadoop，yarn，mapred三个env文件以及site文件和salves文件后，启动HDFS和YARN 正常！ 也看不出问题 访问主节点主机Ip：50070网站，发现如下问题 显示结果只有一个节点。原因是因为bigdata02和03 从节点为bigdata01主节点搭建伪分布式后克隆而来，所以三台机器的data...
2019-08-28 22:36:58
3279
7
原创 mysql查询某一天迟到员工id
mysql查询某一天迟到员工idmysql数据库表查询语句 mysql数据库表 查询语句 SELECT emp_id, emp_name, DATE_FORMAT( punch_time, '%H:%i' ) AS '打卡时间' FROM attendance WHERE DATE_FORMAT( punch_time, '%H:%i' ) > '09:00' AND D...
2019-07-25 09:08:45
1687
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人