weixin_44685655的博客

Hadoop 知识梳理 hadoop是什么 ​ 由于现在生活中每天甚至每时每秒都产生海量的数据，普通的存储和计算已经不足以完成任务，需要操作 管理和分析。 （1） 集群 分功能处理 （2） 海量数据存储（专人处理）目录 （3） 统计计算 （4）hadoop框架（工具） hadoop的4v原则 volumn 体量大 velocity 速度快 variaty 样式多 va...

** 需要准备的：** 1. JDK 2. 多台计算机 3. 实现无密登录 4.解压hadoop3.1.2 tar -zxvf hadoop3.1.2.tar.gz /usr/soft/ 5.删除帮助文档 rm -rf /usr/soft/hadoop-3.1.2/share/doc 6.修改hadoop-env.sh export JAVA_HOME=/usr/sof...

Hive 插入(装载)数据 数据在本地或者hdfs中：load data [local] inpath ‘pathname’ [overwrite] into table tablename [partition(column=xxx)] insert方法：insert into tablename select xx,xx,xxx,xxx,[union all] select xxx...

Hdoop 4V特征 Volume 大数据量 Velocity（速度快） Variety（多样化） Value（价值密度低） Hadoop三大发行版本 Apache Clodera Hortonworks Hadoop组成 在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大。 在Hadoop2.x时代，增加了Yarn。Yarn只负责...

Hbase NoSQL not only sql 非关系型数据库 与sql对比优势： 数据激增，传统数据库分表分库难以维护 数据存在关系型数据库，不可切割，而nosql存储数据之间没有依赖的关系 nosql高并发读写，每秒万次读写请求。 横向扩展性，即增加硬件，提高性能。 灵活的数据模型 ​ 考虑之处： nosql没有强事务的要求，对于要求一致性的情况下，使用sql更...

Hive 插入(装载)数据 数据在本地或者hdfs中 load data [local] inpath 'pathname' [overwrite] into table tablename [partition(column=xxx)] insert 方法： insert方法：insert into tablename select xx,xx,xxx,xxx,[union...