- 博客(8)
- 收藏
- 关注
RSS订阅原创 Sqoop数据迁移
一、什么是Sqoop? 二、从RDB导入数据到HDFS-1 三、安装教程 1.下载 2.将压缩包塞到虚拟机里面 3.解压 tar -zxf sqoop-1.4.6-cdh5.14.2.tar.gz 4.移动 5.进入到conf文件 6.复制sqoop-env-template.sh 文件叫sqoop-env.sh cp sqoop-env-template.sh sqoop-env.sh 7.修改文件 8. 进入到lib目录（/opt/soft...
2022-04-07 13:45:38
2183
原创 Hive基础
一、学习目标 了解Hive的作用和又是 能够进行Hive的环境搭建 熟悉Hive的客户端操作 掌握Hive数据类型 掌握Hive的数据库和表操作 掌握Hive的数据分区 理解Hive的数据分桶 了解Hive的视图（view） 二、什么是Hive？ 基于Hadoop的数据仓库解决方案 数据仓库和数据库的区别 将结构化的数据文件映射为数据库表 提供类sql的查询语句HQL（Hive Query Language） Hive让更多的人使用Hadoop Hive成为Apache顶级项目
2022-03-29 15:50:57
2633
原创 分布式应用协调服务Zookeeper
一、学习目标 了解zookeeper架构及角色 了解zookeeper数据结构 理解zookeeper内部原理 会使用zookeeper实现高可用集群 二、zookeeper简介 zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目 zookeeper=文件系统+通知机制 (1) Zookeeper从设计模式上来看是一个基于观察者模式设计的分布式服务管理框架。 它负责存储和管理大家都关心的数据，然后接受观察者的注册。 (2) 一旦数据的状态发生变化,Zook
2022-03-28 21:48:54
3346
原创 分布式计算模型MapReduce
一、学习目标 理解MapReduce设计思想 熟练掌握MapReduce分布式计算的基本原理 掌握使用java进行MapReduce编程 掌握在Hadoop集群中提交MapReduce任务
2022-03-24 17:57:51
2196
原创 文件分布式系统HDFS
一、学习目标 1.Hadoop 运行环境搭建 2.掌握HDFS基本文件操作命令 3.掌握用java实现HDFS文件读写 二、HDFS机制 1.HDFS副本机制 命令： (1)创建文件夹 hdfs dfs -mkdir /demo （2）传一个文件到hedoop里面的demo文件夹里面去 hdfs dfs -put 文件名 /路径/新文件名（新文件名可不写） （3）删除一个文件（注意文件不能覆盖，只能删除之后再上传） hdfs dfs -rm -f...
2022-03-23 18:08:39
1625
1原创 虚拟机安装配置教程
虚拟机安装配置教程 创建linux虚拟机步骤 1.点击创建新的虚拟机 2.点击下一步 3.选择安装程序光盘映像文件 映像文件分为两种： 第一个minimal版本是无可视化版本，第二个dvd版本有可视化版本。 这里选择minimal版本。 4.选择安装位置 5.选择单文件 6.自定义硬件设置 设置内存处理器和网络连接方式（net连接方式）（想要了解请看陈明的课1） 7.设置语言–一定要选择英语也就是啥也不动 8.设置时区 点done退出。 9.设置硬盘 点有红字的地方 随便用的话
2022-02-21 22:28:41
7827
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人