ZZZ 大数据备赛资料暂存
关注
分享
扫一扫
2019年 (小小白，大专，大一)
职业技能省赛以及国赛备赛时准备的毛资料
未整理
暂存
iFTY_Rostiute
这个作者很懒，什么都没留下…
展开
-
Hadoop 2.0 HA 3节点高可用集群搭建
概览1.集群规划2.准备3.修改Hadoop配置文件4.复制内容5.启动集群6.查看jps7.测试1.集群规划HDFS HA背景HDFS集群中NameNode 存在单点故障（SPOF）。对于只有一个NameNode的集群，如果NameNode机器出现意外情况，将导致整个集群无法使用，直到NameNode 重新启动。影响HDFS集群不可用主要包括以下两种情况：一是Na...原创 2019-11-03 13:39:52 · 157 阅读 · 0 评论 -
Hive常用基础HQL语句
Hadoop-Hive常用基础HQL语句夏一关注2018.07.16 22:52字数 399阅读 201评论 0喜欢 0一. 数据库1. 查询数据库列表show databases ;2. 使用指定的数据库use default;3. 查看数据库的描述信息desc database extended db_hive_03 ;二. 表1...原创 2019-11-03 13:37:49 · 195 阅读 · 0 评论 -
hive 遇到的问题与总结
问题：1.关于hive那么多实验里，Hadoop mysql 哪些需要启动 不太明确2.有的实验多余，可以合并在一块，唯一的好处是打的多了，多练几遍更能理解和熟悉这些操作，3.关于 多次启动Hadoop 后 从节点的datanode 启动不起来4.hdfs fs 与hdfs dfs有什么区别5. 关于hdfs报错：warn util.NativeCodeLoader:Unable ...原创 2019-11-03 13:37:37 · 365 阅读 · 0 评论 -
Hadoop 遇到的问题
1. hadoop 集群在第一次安装部署完 format 格式化集群 一次就行了、多次format 会引起 从节点的datanode 启动不了，具体参照https://www.cnblogs.com/dxwhut/p/5679501.html2. 遇到问题要找到问题节点，查看相应日志$HADOOP_HOME/logs/目录下的日志日志下找问题 一般先看exception 异常 ...原创 2019-11-03 13:37:24 · 95 阅读 · 0 评论 -
centos hadoop 伪分布
centos hadoop 伪分布修改配置文件1. hadoop-env.sh :JAVA_HOME2. core-site.sh :<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost...原创 2019-11-03 13:36:51 · 107 阅读 · 0 评论 -
Hive 处理数据例子
Hive学习之路 （十一）Hive的5个面试题讨论QQ：1586558083目录一、求单月访问次数和总访问次数 1、数据说明 2、数据准备 3、结果需求 4、需求分析 二、学生课程成绩 1、说明 2、需求 三、求每一年最大气温的那一天 + 温度 1、说明 2、 需求 3、解析 四、求学生选课情况 1、数据说明 2、数据准备...原创 2019-11-03 13:34:52 · 125 阅读 · 0 评论 -
HBase学习之路 （五）MapReduce操作Hbase
HBase学习之路 （五）MapReduce操作Hbase目录MapReduce从HDFS读取数据存储到HBase中 MapReduce从HBase读取数据计算平均年龄并存储到HDFS中正文回到顶部MapReduce从HDFS读取数据存储到HBase中现有HDFS中有一个student.txt文件，格式如下95002,刘晨,女,19,IS9501...原创 2019-11-03 13:34:40 · 113 阅读 · 0 评论 -
HBase学习之路 （三）HBase集群Shell操作
HBase学习之路 （三）HBase集群Shell操作讨论QQ：1586558083目录进入HBase命令行 HBase表的操作 创建create 查看表列表list 查看表的详细信息desc 修改表的定义alter HBase表中数据的操作 增put 查get + scan 删delete 正文回到顶部进入HBase命令行在你...原创 2019-11-03 13:34:31 · 95 阅读 · 0 评论 -
flume多节点集群搭建
概览1.Flume流程简介2.规划3.配置4.启动测试5.注意准备操作系统:CentOS 7搭建好hadoop集群Flume版本:1.8.0jdk版本:1.8.0_141工具:Xshell 5,Xftp 5,VMware Workstation Pro1.Flume流程简介Flume NG是一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收...原创 2019-11-03 13:33:18 · 193 阅读 · 0 评论 -
SemanticException [Error 10072]: Database does not exist
SemanticException [Error 10072]: Database does not exist2018年03月09日 19:36:03flora2047阅读数：1624os x下 sqoop版本1.4.6 hive 1.2.2使用语句sqoop import-all-tables --connectjdbc:mysql://localhost:3306/ca...原创 2019-11-03 13:23:54 · 985 阅读 · 0 评论 -
Hadoop flume简介
（一）Flume简介1.什么是Flume？ Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。其设计原理也是基于将数据流，如日志数据从各种网站服务器上汇集起来存储到HDFS，HBase等集中存储器中。其结...原创 2019-03-16 11:15:30 · 1894 阅读 · 0 评论 -
Hive 学习笔记————IT十年
《hive编程指南》阅读笔记摘要（一）《hive编程指南》阅读笔记摘要（二）《hive编程指南》阅读笔记摘要（三）《hive编程指南》阅读笔记摘要（四）《hive编程指南》阅读笔记摘要（五）《hive编程指南》阅读笔记摘要（六）《hive编程指南》阅读笔记摘要（七）《hive编程指南》阅读笔记摘要（八 ）《hive编程指南》阅读笔记摘要（十）...原创 2019-05-05 09:15:29 · 168 阅读 · 0 评论 -
Hive HQL学习
Hive HQL学习HQL学习1.hive的数据类型2.hive_DDL2.1创建、删除、修改、使用数据库Default数据库，默认的，优先级相对于其他数据库是最高的2.2重点：创建表_内部表_外部表hive通过sql来分析hdfs上结构化的数据，将数据文件映射为表的结构–create table person( –...原创 2019-03-24 09:49:23 · 252 阅读 · 0 评论 -
任务：Zookeeper完全分布式模式配置
任务：Zookeeper完全分布式模式配置一、任务描述 本实验任务主要完成基于ubuntu环境的搭建Zookeeper完全分布式模式配置工作。通过完成本实验任务，要求学生熟练掌握Zookeeper完全分布式模式配置的方法，为后续实验的开展奠定zookeeper平台基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。二、任务目标1、掌握Zookee...原创 2019-03-24 09:41:04 · 451 阅读 · 0 评论 -
centos Hadoop 完全分布式 搭建
centos Hadoop 完全分布式 搭建hadoop 主要配置：hadoop-env.sh yarn-env.shcore-site.xml hdfs-site.xml yarn-site.xml mapred-site.xmlhadoop-env.sh :yarn-env.sh:core-sit...原创 2019-03-28 15:15:15 · 202 阅读 · 0 评论 -
Hadoop 完全分布式安装—------推荐使用--------—慕课网
Hadoop 前置安装(每台)/etc/hostname: 修改hostname(hadoop000/hadoop001/hadoop002)/etc/hosts: ip和hostname的映射关系 192.168.100.235 hadoop000 192.168.100.236 hadoop001 192.168.100...原创 2019-04-16 14:11:27 · 149 阅读 · 0 评论 -
kafka 测试 [2019-5-28 16:52:00]
目录环境准备kafka 单节点单broker（1-1）kafka 单节点多broker（1-3）kafka 多节点多broker（3-3）kafka api - java环境准备解压安装kafka最新版、启动zookeeper单机/完全分布式kafka 单节点单broker（1-1）++++++++++++++++++++++++++++++++++++++++...原创 2019-05-28 20:53:06 · 165 阅读 · 0 评论 -
kafka简述
kafka架构Kafka和消息系统类似消息中间件：生产者和消费者妈妈：生产者你：消费者馒头：数据流正常情况下：生产一个 消费一个其他情况：一直生产，你吃到一个馒头时卡住，你卡住（机器故障），馒头丢失 一直生产，做馒头速度快。你吃来不及，馒头也就丢失了 拿个碗，馒头做好放在篮子里，你要是做好，直接在篮子里吃。篮子...原创 2019-05-27 10:56:45 · 217 阅读 · 0 评论 -
Hive SQL四大类:DQL、DML、DDL、DCL的概念与区别
DQL、DML、DDL、DCL的概念与区别SQL(Structure Query Language)语言是数据库的核心语言。SQL是一个标准的数据库语言，是面向集合的描述性非过程化语言。它功能强，效率高，简单易学易维护二. SQL语言的分类SQL语言共分为四大类：数据查询语言DQL，数据操纵语言DML，数据定义语言DDL，数据控制语言DCL。1. 数据查询语言DQL数据查询语言DQL基本结...原创 2019-03-24 09:48:58 · 1493 阅读 · 0 评论 -
大数据系列文章汇总 - 更新到15篇----------IT十年
大数据(一) - hadoop生态系统及版本演化大数据(二) - HDFS大数据(三) - YARN大数据(四) - MapReduce大数据(五) - HBase大数据(六) - ZooKeeper大数据(七) - Flume大数据(八) - Sqoop大数据(九) - Hive大数据(十) - Pig大数据(十一) - Mahout大数据(十二) - Oozie大数据(十三) - Azkaba...原创 2019-05-05 09:28:31 · 1002 阅读 · 0 评论