zyw2002的博客

前言本篇博客用来记录 2022年春季大数据课程结课大作业（大三下，前8周，小组作业）非常感谢小组同学的付出和积极配合！文章目录1. 实验目的2. 实验环境3. 实验要求4. 实验内容4.1 准备工作4.2 数据的采集和发送4.2.1 流程介绍4.2.2 实验过程4.2.3 源码解析4.3 数据的消费和处理4.3.1 流程介绍4.3.2 实验过程4.3.3 源码解析4.3.4 程序集成4.4 数据的存储4.4.1 Hbase存储4.4.2 Hive存储4.4.3 Hdfs存储4.4.4 Mysql存.

文章目录实验三: Spark + HBase 数据处理和存储实验1. 实验目的2. 实验环境3. 实验内容3.1 Spark3.1.0 Spark简介3.1.1 功能实现3.1.1.1 创建RDD3.1.1.2 持久化操作3.1.1.3 数据读取与保存3.1.2 WordCount实验3.1.3 累加器和广播变量3.1.3.1 累加器3.1.3.2 广播变量3.2 HBase3.2.1 创建表格3.2.2 插入数据3.2.3 成绩统计3.2.4 API编程3.2.4.1 功能一3.2.4.2 功能二

文章目录实验二 ：HDFS+ MapReduce 数据处理与存储实验1. 实验目的2. 实验环境3. 实验内容3.1 HDFS部分3.1.1 上传文件3.1.2 下载文件3.1.3 显示文件信息3.1.4 显示目录信息3.1.5 删除文件3.1.6 移动文件3.2 MapReduce 部分3.2.0 Mapreduce 原理3.2.1 合并和去重3.2.1.1 编写Merge.java代码3.2.1.2 编译执行3.2.2 文件的排序3.2.2.1 编写Sort.java 代码3.2.2.2 编译执行

文章目录实验1：Hadoop大数据平台安装实验1. 实验目的2. 实验环境3. 实验过程3.1 虚拟机的搭建3.1.1 安装虚拟机3.1.2 基本linux命令3.2 准备工作3.2.1 关闭Selinux3.2.2 安装软件3.3.3 检查网卡是否开机自启3.3.4 修改hosts3.3.5 检查网络是否正常3.3.6 新建hadoop用户3.3.7生成ssh密钥并分发3.3.8 安装NTP服务3.3 安装MySQL3.3.1 安装3.3.2 测试3.4 安装JDK3.4.1 安装3.4.2 测试3.5

文章目录1. 虚拟机的安装1.1 下载VMware Workstation1.2 下载ubantu20.041.3 安装一台虚拟机1.4 安装Vmware Tools2. 网络配置2.1 添加权限2.2 DHCP动态分配IP地址2.3 配置静态IP地址2.4 主机名和IP地址映射3. 安装必要工具3.1 安装SSH3.2 安装JDK3.3 安装Mysql3.4 安装ZooKeeper3.6 安装Hadoop4. 配置相关文件4.1 修改hadoop 的配置文件4.1.1 core-site.xml4.1.