- 博客(11)
- 收藏
- 关注
RSS订阅原创 Git使用
首先安装好Git 1，确认环境变量 2，idea端： Git和idea集成 3，Git仓库端 创建代码库 IDEA链接远程代码仓库 将本地和远程建立联系 git remote add origin 仓库连接 拉取远程数据到本地 结果 提交代码到远程仓库 ...
2020-06-11 15:30:39
2398
原创 HBASE安装部署
** 注意事项：HBase强依赖zookeeper和hadoop，安装HBase之前一定要保证zookeeper和hadoop启动成功，且服务正常运行，还有三个节点时间要统一 ** 第一步：下载对应的HBase的安装包 所有关于CDH版本的软件包下载地址如下 http://archive.cloudera.com/cdh5/cdh/5/ HBase对应的版本下载地址如下 http://archiv...
2019-12-12 20:02:42
2356
1
原创 Linux新添一个磁盘
注意事项：新添加挂载磁盘需要虚拟机保持在关机状态，如果磁盘空间有剩余，那么本步骤可以省略。 1，关机新增磁盘 2，设置开机自动挂载 格式化：mkfs -t ext4 -c /dev/sdb1 创建挂载目录：mount -t ext4 /dev/sdb1 /cloudera_data/ 添加至开机自动挂载： vim /etc/fstab /dev/sdb1 /cloudera_data...
2019-12-09 22:12:31
2406
3
转载 Flume
什么是Flume 一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统 Flume内部组成 1、 Source ：与数据源对接，用于采集、收集数据 2、Channel : 用于数据传输（在flflumeAgent内部） 3、Sink : 用户数据的发送 或数据下沉（在flflumeAgent内部） Flume安装部署 1、将安装包上传并解压 2、 cp flfl...
2019-12-06 11:32:13
2413
1
原创 sqoop安装部署
安装sqoop的前提是已经具备java和Hadoop的环境 最新稳定版：1.4.6 修改配置文件： cd $SQOOP_HOME/conf mv sqoop-env-template.sh sqoop-env.sh vi sqoop-env.sh export HADOOP_COMMON_HOME= /export/servers/hadoop-2.7.5 export HADOOP_MAPRE...
2019-12-05 08:39:17
2458
原创 Hive管理表
hive建表初体验 use myhive; create table stu(id int,name string); insert into stu values (1,“zhangsan”); select * from stu; 创建表并指定字段之间的分隔符 create table if not exists stu2(id int ,name string) row format d...
2019-11-28 17:11:32
2499
2
原创 Hive基本操作
Hive创建数据表操作 create database [if not exists] myhive; use myhive; ----使用这个表 说明：hive的表存放位置模式是由hive-site.xml当中的一个属性指定的 创建数据库是也可以指定hdfs的存放位置 create database myhive2 location ‘/myhive2’; 修改数据库 可以是alter ...
2019-11-22 08:49:27
2367
1
转载 windows10 更新到1903后 vmware14/15 无法启动解决方法
你是否遇到更新系统到1903后出现Vmware无法打开的情况？！？ 你只需要打开 控制面板 ? 卸载或更改程序 点击查看已安装的更新 ? 从上往下卸载，删除一个重启一次电脑后尝试打开Vmware，直到可以正常打开Vmware ...
2019-11-14 17:18:21
3136
3
原创 MapReduce执行流程
第一步：InputFormat InputFormat 在HDFS文件系统中读取要进行计算的数据输出给Split 第二步：Split Split将数据进行逻辑切分，切分成多个任务输出给RR 第三步：RR RR将切分后的数据转化成Key Value进行输出 Key：每一行行首字母的偏移量 vaule：每一行数据 输出给Map 第四步：Map 接收一条一条的数据（有多少行代码Map就会运行多少次，蜀...
2019-11-13 19:55:52
2410
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人