大数据&云计算基础
关注
分享
扫一扫
文章平均质量分 73
课程记录模块。
大数据是指在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算机资源共享池。
发芽ing的小啊呜
这是一个关于学习的博~
小啊呜每天都要努力发芽吖~
展开
-
大数据从入门到实战 - 大数据系统及应用-HDFS实训
大数据从入门到实战 - 大数据系统及应用-HDFS实训一、关于此次实践1、实战简介2、全部任务二、实践详解1、第1关：HDFS Java API编程 ——文件读写2、第2关：HDFS Java API编程——文件上传3、第3关：HDFS Java API编程 ——文件下载4、第4关：HDFS Java API编程 ——使用字符流读取数据5、第5关：HDFS Java API编程 ——删除文件6、第6关：HDFS Java API编程 ——删除文件夹7、第7关：HDFS Java API原创 2021-01-14 23:35:03 · 10298 阅读 · 4 评论 -
大数据从入门到实战 - RDD的创建 -Scala
大数据从入门到实战 - RDD的创建 -Scala一、关于此次实践1、实战简介2、全部任务二、实践详解1、第1关：集合并行化创建RDD2、第2关：读取外部数据集创建RDD叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！原创 2021-01-14 20:19:37 · 5312 阅读 · 0 评论 -
大数据从入门到实战 - Spark的安装与使用
大数据从入门到实战 - Spark的安装与使用一、关于此次实践1、实战简介2、全部任务二、实践详解1、第1关：Scala语言开发环境的部署2、第2关：安装与配置Spark开发环境叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！原创 2021-01-14 00:25:41 · 10440 阅读 · 4 评论 -
大数据从入门到实战 - Hive基本查询操作（二）
大数据从入门到实战 - Hive基本查询操作（二）一、关于此次实践1、实战简介2、全部任务二、实践详解1、第1关：Hive排序2、第2关：Hive数据类型和类型转换3、第3关：Hive抽样查询叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！原创 2021-01-14 00:13:17 · 9699 阅读 · 2 评论 -
大数据从入门到实战 - Hive基本查询操作（一）
大数据从入门到实战 - Hive基本查询操作（一）一、关于此次实践1、实战简介2、全部任务二、实践详解1、第1关：where操作2、第2关：group by操作3、第3关：join操作叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！原创 2021-01-14 00:04:14 · 12631 阅读 · 0 评论 -
大数据从入门到实战 - Hive表DDL操作（二）
大数据从入门到实战 - Hive表DDL操作（二）一、关于此次实践1、实战简介2、全部任务二、实践详解1、第1关：Create/Drop/Alter 视图2、第2关：Create/Drop/ALTER 索引叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！原创 2021-01-14 00:03:22 · 8853 阅读 · 3 评论 -
大数据从入门到实战 - Hive表DDL操作（一）
大数据从入门到实战 - Hive表DDL操作（一）一、关于此次实践1、实战简介2、全部任务二、实践详解1、第1关：Create/Alter/Drop 数据库2、第2关：Create/Drop/Truncate 表3、第3关：Alter 表/列4、第4关：表分区叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！原创 2021-01-14 00:04:55 · 11590 阅读 · 8 评论 -
大数据从入门到实战 - Hive的安装与配置
大数据从入门到实战 - Hive的安装与配置一、关于此次实践1、实战简介2、全部任务二、实践详解1、第1关：Hive的安装与配置2、第2关：Hive Shell入门基础命令叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！原创 2021-01-14 00:05:13 · 12856 阅读 · 10 评论 -
大数据从入门到实战 - HBase高级特性：过滤器（二）
大数据从入门到实战 - HBase高级特性：过滤器（二）一、关于此次实践1、实战简介2、全部任务二、实践详解1、第1关：常用的专用过滤器2、第2关：同时使用多种过滤器3、第3关：过滤器总结原创 2021-01-13 23:07:31 · 7633 阅读 · 1 评论 -
大数据从入门到实战 - HBase高级特性：过滤器（一）
大数据从入门到实战 - HBase高级特性：过滤器（一）一、关于此次实践1、实战简介2、全部任务二、实践详解1、第 1关：使用过滤器查询指定行的数据2、第 2关：使用正则表达式与子字符串匹配行键3、第 3关：列族过滤器、值过滤器、列名过滤器叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！原创 2021-01-13 22:57:36 · 10754 阅读 · 8 评论 -
大数据从入门到实战 - HBase开发：表的扫描与扫描的缓存和批量处理
大数据从入门到实战 - HBase开发：表的扫描与扫描的缓存和批量处理一、关于此次实践1、实战简介2、全部任务二、实践详解1、第1关：批量处理2、第2关：扫描表中所有的数据3、第3关：在扫描中使用缓存和批量参数叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！原创 2021-01-13 22:49:29 · 6060 阅读 · 0 评论 -
大数据从入门到实战 - HBase 开发：批量操作
大数据从入门到实战 - HBase 开发：批量操作一、关于此次实践1、实战简介2、全部任务二、实践详解1、第 1 关：批量获取数据2、第 2 关：批量删除数据3、第 3 关：批量导入数据至 HBase叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！原创 2021-01-13 22:41:59 · 9139 阅读 · 3 评论 -
大数据从入门到实战 - HBase 开发：使用Java操作HBase
大数据从入门到实战 - HBase 开发：使用Java操作HBase一、关于此次实践1、实战简介2、全部任务二、实践详解1、第1关：创建表2、第2关：添加数据3、第3关：获取数据4、第4关：删除表叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！原创 2021-01-13 22:02:30 · 16006 阅读 · 2 评论 -
大数据从入门到实战 - HBase 伪分布式环境搭建
大数据从入门到实战 - HBase 伪分布式环境搭建一、关于此次实践1、实战简介2、全部任务二、实践详解1、第1关：伪分布式环境搭建叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！原创 2021-01-13 21:51:40 · 5954 阅读 · 5 评论 -
大数据从入门到实战 - HBase的安装与简单操作
大数据从入门到实战 - HBase的安装与简单操作一、关于此次实践1、实战简介2、全部任务二、实践详解1、第1关：Hbase数据库的安装2、第2关：创建表3、第3关：添加数据、删除数据、删除表)叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！原创 2021-01-13 17:49:09 · 25370 阅读 · 11 评论 -
大数据从入门到实战 - HDFS和MapReduce综合实训
大数据从入门到实战 - HDFS和MapReduce综合实训一、关于此次实践1、实战简介2、全部任务二、实践详解1、第1关：WordCount 词频统计2、第 2 关：HDFS 文件读写3、第 3 关：倒排索引4、第 4 关：网页排序—— PageRank 算法原创 2021-01-13 17:23:45 · 16573 阅读 · 4 评论 -
大数据从入门到实战 - 第3章 MapReduce基础实战
大数据从入门到实战 - 第3章 MapReduce基础实战一、关于此次实践1、实战简介2、全部任务二、实践详解1、第 1 关：成绩统计2、第 2 关：文件内容合并去重3、第 3 关：信息挖掘 - 挖掘父子关系叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！原创 2021-01-13 17:08:50 · 43489 阅读 · 26 评论 -
大数据从入门到实战 - 第2章 分布式文件系统HDFS
大数据从入门到实战 - 第2章 分布式文件系统HDFS 一、关于此次实践1、实战简介2、全部任务二、实践详解1、第1关： HDFS 的基本操作2、第2关：HDFS-JAVA接口之读取文件3、实验三 HDFS-JAVA 接口之上传文件4、实验四 HDFS-JAVA 接口之删除文件叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！一、关于此次实践1、实战简介当数据集的大小超过一台独立的物理计算机的存储能力时，就有必要对它进行分区并存储到若干台单独的计算机上原创 2021-01-13 16:56:03 · 21283 阅读 · 16 评论 -
Hadoop集群之 WARN[main] - Unable to load native-hadoop library for your platform...解决方案
Hadoop集群之 WARN[main] - Unable to load native-hadoop library for your platform...解决方案一、Hadoop出现错误问题描述二、解决办法叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！原创 2020-10-18 16:16:21 · 863 阅读 · 0 评论 -
centos7+hadoop-2.9.2搭建分布式集群教程【2万+字 超详细】
centos7+hadoop-2.9.2搭建分布式集群教程【超详细】一、新建虚拟机：二、连接XSHell三、修改主机名称和网络名称四、关闭防火墙五、关闭selinux六、jdk的安装与卸载七、hadoop的安装以下配置在各个文件的``中添加八、克隆九、配置slave1和slave2十、ssh免密登录（1）master：a.[root@master ~]# ssh-keygen -t rsab.进入到/root/.ssh目录下c.将authorized_keys发送给slave1原创 2020-09-25 17:51:20 · 1632 阅读 · 1 评论 -
INFO hdfs.DataStreamer: Exception in createBlockOutputStream java.net.ConnectException: 拒绝连接报错解决小记
INFO hdfs.DataStreamer: Exception in createBlockOutputStream java.net.ConnectException: 拒绝连接报错解决小记解决办法尝试最终解决办法叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！原创 2020-09-25 17:41:38 · 1554 阅读 · 0 评论 -
启动hadoop集群之 This script is Deprecated.问题分析
启动hadoop集群之 This script is Deprecated.问题分析一、启动hadoop集群遇到问题二、问题解决叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！原创 2020-09-25 17:29:12 · 14523 阅读 · 2 评论 -
Linux下jps命令找不到的问题解决小记
Linux下jps命令找不到的问题解决小记一、问题描述二、问题解决修改.bash_profile文件叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！原创 2020-09-25 17:16:13 · 3592 阅读 · 0 评论 -
Hadoop之SecondaryNamenode没有启动问题解决小记
Hadoop之SecondaryNamenode没有启动问题解决小记一、问题描述二、问题解决叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！原创 2020-09-25 16:53:46 · 15284 阅读 · 2 评论 -
VMware安装Centos7过程小记【详细】
VMware安装Centos7过程小记【详细】一、前言二、VMware安装Centos7过程小记详细1.软硬件准备2.虚拟机准备3.安装CentOS三、小啊呜有话说叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！原创 2020-09-24 19:15:20 · 507 阅读 · 0 评论 -
Hadoop 扫盲&快速入门
Hadoop 扫盲&快速入门一、关于Hadoop核心架构二、Hadoop快速入门三、Hadoop&MapReduce区别四、Hadoop大数据处理的意义叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！原创 2020-09-23 17:36:40 · 258 阅读 · 0 评论 -
GFS&Chubby&BigTable三者定义详解&相互关系
GFS&Chubby&BigTable三者定义详解&相互关系一、GFS & Chubby & BigTable 定义1、关于GFS2、关于Chubby3、关于BigTable二、关于GFS&Chubby&BigTable三者之间的关系叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！原创 2020-09-18 12:32:19 · 5518 阅读 · 0 评论 -
列式存储和行式存储的理解详解
列式存储和行式存储的理解详解一、列式存储和行式存储二、列式存储和行式存储优比较理解三、列式存储优势四、小结什么时候应该使用行式存储？什么时候应该使用列式存储呢？叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！原创 2020-09-18 12:00:29 · 13451 阅读 · 2 评论 -
正排索引和倒排索引理解详解
正排索引和倒排索引理解详解一、正排索引二、 倒排索引三、为什么搜索引擎选用倒排索引？四、倒排索引优点五、小结叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！原创 2020-09-18 11:29:14 · 6559 阅读 · 0 评论 -
什么是云服务器ECS？云服务器ECS详解
什么是云服务器ECS？云服务器ECS详解一、前言二、云服务器ECS详解为什么选择云服务器ECS？产品架构产品定价管理工具部署建议相关服务三、写在后面的话叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！一、前言云服务器ecs有什么作用？现在越来越多的企业都开始将服务器迁移至云端，云技术的应用十分广泛，其中之一就体现在云服务器的使用上，凭借更加简单的操作与便利等优势，云服务器可谓深受众多企业青睐二、云服务器ECS详解云服务器（Elastic Comp原创 2020-09-09 17:46:50 · 14450 阅读 · 2 评论 -
阿里云ECS服务器的搭建过程小记
阿里云ECS服务器的搭建过程小记一、写在前面的话二、【2020年09月08日】阿里云ECS服务器的搭建过程小记三、必备小技巧叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！一、写在前面的话 滴滴答答，大数据&云计算课程学习用到了ECS服务器，这里顺手小记一下。二、【2020年09月08日】阿里云ECS服务器的搭建过程小记1. 去阿里云的官网购买服务器，菜单栏的"产品"——>"弹性计算"——>"云服务器ECS"阿里云官网：ht原创 2020-09-09 02:23:07 · 882 阅读 · 0 评论