
大数据学习
文章平均质量分 92
qq_43349416
这个作者很懒,什么都没留下…
展开
-
大数据学习笔记(5)--hadoop-HDFS概述以及客户端操作
这里写自定义目录标题一、 HDFS概述1、HDFS定义2、HDFS的使用场景3、HDFS的组成架构4、HDFS的文件块大小二、HDFS的shell操作HDFS的客户端操作新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入一、原创 2020-10-08 12:58:24 · 526 阅读 · 0 评论 -
大数据学习笔记(4)--kafka(1)--概述和集群部署
这里写自定义目录标题概述定义kafka架构集群部署下载jar包解压改名新建logs文件夹修改配置文件配置环境变量分发安装包启动kafka报错问题解决概述定义在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。1)Apache Kafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。2)Kafka最初是由LinkedIn公司开发,并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是原创 2020-08-18 10:21:47 · 293 阅读 · 0 评论 -
大数据学习笔记(3) - Zookeeper - 简介、入门安装和分布式部署
zookeeper原创 2020-08-04 09:15:49 · 158 阅读 · 0 评论 -
大数据学习笔记(2)-hadoop(2)-三种运行模式
补充Hadoop目录结构drwxr-xr-x 2 root root 194 May 22 2017 bindrwxr-xr-x 4 root root 41 Jul 17 18:57 etcdrwxr-xr-x 2 root root 106 May 22 2017 includedrwxr-xr-x 3 root root 20 May 22 2017 libdrwxr-xr-x 2 root root 239 May 22 2017 libexec-rw-原创 2020-07-26 15:58:44 · 533 阅读 · 0 评论 -
大数据学习笔记(0)--hadoop基本框架和相关概念
一、大数据概念大数据(Big Data) :指无法在一-定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。二、大数据特点(4V)1、Volume(大量)人类生产的所有印刷材料的数据量是200PB,而历史上全人类总共说过的截至目前话的数据量大约是5EB。当前,典型个人计算机硬盘的容量为TB量级,而一些大企业的数据量已经接近EB量级。2、Velocity(高速)这是大数据区分于传统数据挖掘的原创 2020-07-08 09:46:22 · 274 阅读 · 0 评论 -
大数据学习笔记--Hadoop(1)-准备虚拟机安装java和hadoop
一、下载1、相关软件下载百度网盘地址 提取码:zz0r1、 软件环境说明windows10+vmware14pro+centOS7.3+jdk1.8+Hadoop2.72、安装虚拟机百度就行3、安装centOS7.3安装虚拟机文章(引用的)根据上述的步骤安装一台虚拟机就好,网络模式设置为NAT模式,然后再克隆两个完整的虚拟机就好了。我这里是克隆了两台,名称如下三台机器分别命名为hadoop100hadoop101hadoop102安装三台虚拟机并实现SSH互相免密登陆1、设置原创 2020-07-07 22:05:04 · 548 阅读 · 1 评论