旺仔Sec&blog

在搭建Hadoop分布式集群之前，还需要提前做一些准备规划工作，包含主机规划、软件规划、用户规划和目录规划。1.1 主机规划1.2 软件规划考虑到各个软件版本之间的兼容性，软件规划具体如表6-2所示。1.3 用户规划为了保持Hadoop集群环境的独立性，我们分别在每个节点单独新建hadoop用户和用户组，每个节点的用户规划如表6-3所示。1.4 目录规划为了方便Hadoop集群各个节点的管理，需要在hadoop用户下提前创建好相关目录，具体目录规划如表6-4所示。

ZooKeeper是一个由 Apache 开源的 分布式协调服务，专为分布式系统设计，用于解决分布式环境中的一致性问题、配置管理、服务发现、分布式锁、选主等常见需求。其核心设计目标是提供高可用、强一致性的分布式数据管理服务。

大数据时代背景下，人们生活习惯发生了很多改变。在传统运营模式中，缺乏数据积累，人们在做出一些决策行为过程中，更多是凭借个人经验和直觉，发展路径比较自我封闭。而大数据时代，为人们提供一种全新的思路，通过大量的数据分析得出的结果将更加现实和准确。平台可以根据用户的浏览，点击，评论等行为信息数据进行收集和整理。通过大量用户的行为可以对某一个产品进行比较准确客观的评分和评价，或者进行相应的用户画像，将产品推荐给喜欢该产品的用户进行相应的消费。 因数据驱动的大数据时代已经到来，没有大数据，我们无法为用户提供大部分服

大数据时代背景下，人们生活习惯发生了很多改变。在传统运营模式中，缺乏数据积累，人们在做出一些决策行为过程中，更多是凭借个人经验和直觉，发展路径比较自我封闭。而大数据时代，为人们提供一种全新的思路，通过大量的数据分析得出的结果将更加现实和准确。旅游行业作为现代服务业的重要组成部分，其数据分析对于提升游客体验、优化资源配置具有重要意义。通过收集和分析游客的行为数据，包括景点偏好、消费习惯、住宿选择等，可以为旅游服务提供者制定更精准的运营策略提供依据

大数据时代背景下，人们的出行方式发生了显著变化。共享单车作为一种新型的城市短途出行解决方案，不仅满足了人们"最后一公里"的出行需求，也为城市交通带来了新的活力。在传统的运营模式中，由于缺乏数据支持，共享单车的投放和调度主要依靠运营人员的经验判断，导致供需失衡、车辆分布不均等问题。而在大数据时代，通过对骑行数据的分析，可以更精准地预测用户需求，优化车辆调度，提升运营效率

大数据时代背景下，教育行业正在经历深刻的变革。在传统教育模式中，教学过程往往依赖教师的经验判断，缺乏对学习者行为的深入理解和精准分析。而在线教育平台的兴起，为教育领域带来了全新的可能。通过收集和分析学习者在平台上的行为数据，如课程选择、学习进度、作业完成情况、互动参与度等，可以更准确地把握学习者的需求和学习特点。平台能够根据用户的学习轨迹、知识掌握程度、学习时长等数据，建立个性化的学习档案，为每位学习者提供更有针对性的课程推荐和学习建议。

在大数据技术快速发展的今天，房地产市场正经历着数字化转型。传统的房地产交易和分析模式主要依赖经纪人的个人经验和直觉，这种方式不仅效率低下，而且难以准确把握市场动态。随着大数据技术的应用，房地产行业正在向数据驱动的决策模式转变，这使得市场分析更加精准，服务更加个性化。房地产大数据分析平台通过采集和处理海量的交易数据、用户行为数据和市场环境数据，可以全方位地描绘市场格局。这些数据包括但不限于房源基本信息、交易历史、区域配套设施、用户浏览轨迹、市场成交周期等。通过对这些数据的深度分析，可以准确预测房价走势、评估

提交“/etc/hosts ”配置截图、在 master 执行的免密命令和 执行结果截图、验证命令的结果截图；（2）在 master 节点执行 tar 命令（请确保在解压缩文件 时，不要保留原始文件路径中的第一个目录层级），将节点中 “/opt ” 目录下 jdk 安装文件解压到节点中的“/data/jdk ” 目录，将 Hadoop 安装文件解压到节点中的“/data/hadoop ” 目录，执行 ls 命令分别查看解压后的文件。提交代码截图、数据截图(wp s 打开)、csv 文件；

（4）在Master将Hadoop解压到/opt/module(若路径不存在，则需新建)目录下，并将解压包分发至slave1、slave2中，其中master、slave1、slave2节点均作为datanode，配置好相关环境，初始化Hadoop环境namenode，将初始化命令及初始化结果截图（截取初始化结果日志最后20行即可）粘贴至客户端桌面【Release\提交结果.docx】中对应的任务序号下。（2）修改容器中/etc/profile文件，设置Flink环境变量并使环境变量生效。

本任务在 MySQL 中创建表 t_comment 和表 t_hotel，并将用户评论数据comments.csv 和酒店经营数据 hotel.csv 分别导入到表 t_comment 和表t_hotel 中

近年来随着社会经济的快速发展，百姓生活水平的不断提高，外出 旅游成为很多人生活的热门选择，如何促进旅游业的发展成为各级政府高度重视的工作。为了更好地统筹管理城市的旅游资源，某省的旅游管理部门采集了本省若干城市的酒店经营数据和用户评论数据，其中酒店经营数据包括日期、城市、酒店名称、酒店星级、酒店当天预定房间数、酒店当天入住客户数、酒店当天最高房价和酒店当天最低房价等字段，这些数据保存到文件 hotel.csv 中。

随着中国数字化转型战略的推进，传统通信行业正面临着数字化转型的挑战和机遇；用户对通信服务的需求已经发生了根本性的变化，通信运营商正在通过技术创新和服务升级来满足这些需求；数字化转型涉及到网络建设、数据管理、 服务创新等方面，大数据技术成为关键驱动力之一。为了应对这一转型，我们要求参赛者搭建通信行业大数 据分析平台，并利用 Hive 数仓技术和 Spark 计算引擎对通信用户行为数据进行操作和分析；通过这样的平台，可以快 速处理和挖掘海量数据，得出有价值的洞察和分析结果。

为了更好地统筹管理城市的旅游资源，某省的旅游管理部门采集了本省若干城市的酒店经营数据和用户评论数据，其中酒店经营数据包括日期、城市、酒店名称、酒店星级、酒店当天 预定房间数、酒店当天入住客户数、酒店当天最高房价和酒店当天最 低房价等字段，这些数据保存到文件hotel.csv 中。2）使用 matplotlib 绘制柱状图， 柱状图的标题为“不同星级酒 店的住客评分数据”， 柱状图的横坐标分别为三星级酒店、四星级 酒店和五星级酒店，纵坐标为星级酒店对应的住客评分的平均值。请按照下面的要求完成相关任务。

数据文件名见如下“电影数据文件名说明表”，每个文件中需要爬取数据的列名见如下“抓取数据字段说明表”，注意，保存到文件中时，必须按表中字段的列举顺序进行保存。(3)时长处理：时长处理为整型，如果有秒数的，可忽略不计，时长有缺失的，要使用电影上映同年的其它电影的平均时长来填充，如果没有和其同年上映的电影，则使用其它所有年份电影上映平均时长的平均值来填充（例如现有年份2020、2021、2022，没有2020年上映的电影，则用2021年上映电影的平均时长和2022年上映电影的平均时长取平均值去填充）;

(3)将用户数据、电影数据、评分数据合并为一张表，合并后将性别列使用数字进行替换，0代表female，1代表male，处理完成后将数据保存到“film”项目下的“clean_data”目录中，并命名为 “merged_data.csv”，保存后使用WPS打开，截取行号为1001~1020行数据截图粘贴到答题报告中的相应位置；画布大小为（15, 10）；2、筛选出2020年6月的天气，新增一列数据为“是否适合出游”，若当日最低气温大于等于20且最高气温小于等于25，则打标签为“是”，否则标记为“否”。

数据文件名见如下“电影数据文件名说明表”，每个文件中需要爬取数据的列名见如下“抓取数据字段说明表”，注意，保存到文件中时，必须按表中字段的列举顺序进行保存。(3)时长处理：时长处理为整型，如果有秒数的，可忽略不计，时长有缺失的，要使用电影上映同年的其它电影的平均时长来填充，如果没有 和其同年上映的电影，则使用其它所有年份电影上映平均时长的平均 值来填充（例如现有年份2020、2021、2022，没有2020年上映的电影， 则用2021年上映电影的平均时长和2022年上映电影的平均时长取平均 值去填充）;

为了更好地统筹管理城市的旅游资源， 某省的旅游管理部门采集了本省若干城市的酒店经营数据和用户评论数据，其中酒店经营数据包括日期、城市、酒店名称、酒店星级、酒店当天预定房间数、酒店当天入住客户数、酒店当天最高房价和酒店当天最低房价等字段，这些数据保存到文件 hotel.csv 中。2）使用 matplotlib 绘制柱状图，柱状图的标题为“不同星级酒店的住客评分数据”，柱状图的横坐标分别为三星级酒店、四星级酒店和五星级酒店，纵坐标为星级酒店对应的住客评分的平均值。将可视化结果复制粘贴至对应报告中。

将 /opt/software 目录下将文件 jdk-8u191-linux-x64.tar.gz 安装包（若slave1、slave2节点不存在以上文件则需从master节点复制）解压到 /opt/module 路径中（若路径不存在，则需新建），将 JDK 解压命令复制并粘贴至【提交结果.docx】中对应的任务序号下；在master 上将执行命令 grep ‘hadoop’ /etc/sudoers 的结果复制并粘贴至【提交结果.docx】中对应的任务序号下；