Hadoop实战记录-目录

最新推荐文章于 2025-12-01 18:34:51 发布
原创 最新推荐文章于 2025-12-01 18:34:51 发布 · 182 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #java #hadoop

本文详细记录了Hadoop的安装与部署过程，包括环境配置、依赖软件安装及常见问题解决，为初学者提供了全面的实战指南。
大数据Hadoop实战篇
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-04 8703
大数据Hadoop实战，10分钟带你入门Hadoop，手把手教你搭建分布式集群系统
hadoop组件---spark实战----spark on k8s模式k8s原生方式安装spark2.4.4 client mode提交python程序在spark中访问s3
直到世界的尽头
02-10 1240
我们在上篇文章中已经成功运行使用spark-submit提交了python程序运行spark。 hadoop组件—spark实战----spark on k8s模式k8s原生方式安装spark2.4.4 client mode提交python程序和运行pyspark 本篇文章记录 在client pod中使用spark-submit提交python程序在spark on k8s中访问s3。 进入c...
hadoop实战之目录规划
hbase入门到进阶课程
06-25 382
实战大数据的第一件事，那就是安装软件，安装hadoop了，下面就是在安装前要对目录进行规划：安装目录数据存储目录中间结果目录pid目录其他目录
Day5：Hadoop实战--电商分析（二）
weixin_69071093的博客
06-19 243
​。
Day4：Hadoop实战--电商日志分析（一）
weixin_69071093的博客
06-19 289
3、日志的ETL操作：解析出ip、url、pageId（topicId对应的页面Id）、country、province、city。Mapper类：用于处理网页访问日志，并将每个页面视图计数为1。1、统计页面浏览量（每行记录就是一次浏览）2、统计各个省份的浏览量 （需要解析IP）今天主要完成第一部分：统计页面浏览量。
Hadoop实战任务-----编写MapReduce进行数据清洗
Alice_xiaochen的博客
03-21 2845
标题项目需求: 一个英文书籍包含成千上万个单词或者短语,在大量的单词中,找出相同字母组成的所有单词. 策略: 为加快数据处理的速度,借助Hadoop中的MapReduce编程模型的特点,编写出并行计算程序. 解决方案: 　 1、在 Map 阶段，对每个word（单词）按字母进行排序生成sortedWord，然后输出key/value键值对(sortedWord,word)。 2、在 Reduce 阶段，统计出每组相同字母组成的所有文本 代码如下: Map代码 package com.its
Hadoop实战手册-学习记录
u010911997的专栏
11-03 745
在这记录《Hadoop实战手册》（人民邮电出版社）书籍中的例子。 这本书面对的人群就是”自学Hadood从部署hadoop集群环境+运行WordCount例子开始，而且大多数自学者也都终止在WordCount“ 后面会上传一份关于环境搭建的教程和已搭建好的环境。
Hadoop实战记录（1）-安装部署
猪爷爷先生的博客
02-26 240
目录 介绍 官方文档http://hadoop.apache.org/ 环境准备 集群： 192.168.220.151 node1 192.168.220.152 node2 192.168.220.153 node3 jdk8：java -version 可联网centos7：ping www.baidu.com 主机名修改：node1、node2、node3 关闭防火墙：systemctl ...
Hadoop项目实战---黑马论坛日志分析
热门推荐
什么最重要？算法！！
07-22 1万+
1、项目描述 通过对黑马技术论坛的apache common日志进行分析， 计算论坛关键指标，供运营者决策。 2、数据情况 每行记录有5部分组成： 1.访问ip 2.访问时间 3.访问资源【跟着两个访问的Url】 4.访问状态 5.本次流量 截取部分数据如下：27.19.74.143 - - [30/May/2013:17:38:21 +0800] "GET /static/im
【电商实战Hadoop实现--Day5】
weixin_63192724的博客
06-12 406
/ Driver端的代码：八股文// 如果输出目录已经存在，则先删除//需求2// 添加一个无参构造函数@Override@Override// 添加一个无参数构造函数@Overridecount++;使用MapReduce方法实现对各省份浏览量的统计。
hadoop基础----hadoop实战(一)-----hadoop环境安装---手动安装官方1.0版本
直到世界的尽头
07-27 9777
前面我们已经了解了有关于hadoop的相关原理hadoop基础----hadoop理论(一)----Hadoop简介hadoop基础----hadoop理论(二)-----hadoop学习路线(持续更新)hadoop基础----hadoop理论(三)-----hadoop分布式文件系统HDFS详解hadoop基础----hadoop理论(四)-----hadoop分布式并行计算模型MapReduc
hadoop基础----hadoop实战(六)-----hadoop管理工具---Cloudera Manager---CDH介绍
直到世界的尽头
10-28 6861
我们在之前的文章中已经初步介绍了Cloudera。hadoop基础----hadoop实战(零)-----hadoop的平台版本选择从版本选择这篇文章中我们了解到除了hadoop官方版本外很多公司都对hadoop进行了改版发布，其中Cloudera就是其中最成型的发行版本，并且配备了相应的管理工具。本篇文章我们就来学习Cloudera的相关知识。什么是CDHCloudera's Distribut
后端在分布式中的Apache Kafka
2509_93945680的博客
11-28 390
比如我们有一次做促销活动，突然流量暴涨，临时加了几台消费者实例，Kafka自动把分区负载均衡过去，系统愣是没抖一下。另外，Kafka的消息持久化机制也靠谱，数据在磁盘上存着，就算消费者宕机了，重启后还能从上次的位置继续读，不怕数据玩失踪。另外，Kafka的监控也得跟上，光靠默认配置容易漏掉性能瓶颈。举个例子，我们项目里把用户点击事件塞进Kafka主题，下游的风控服务和数据分析服务各取所需，谁也不用等谁，效率直接翻倍。总之，技术选型得量体裁衣，先把Kafka的核心机制摸透，再往架构里套，才能少走弯路。
【推荐系统】深度学习训练框架（五）：pyspark分布式TorchDistributor主从读取OSS文件认证机制
人工智能领域博客
11-28 1825
摘要： 本文详细解释了Spark Driver端与Worker端在OSS认证上的核心区别。Driver端通过Spark配置自动认证，而Worker端（独立Python进程）需显式提供认证信息。认证来源优先级为：1)Driver传递参数，2)环境变量，3)IAM角色。文章分析了架构差异导致的不同认证方式，并推荐从Driver传递认证信息的解决方案。当前实现已采用该方案，通过Spark配置或环境变量获取认证后传递给Worker进程，确保PyArrow能正确访问OSS数据。
n8n实战营Day3：电商订单全流程自动化·需求分析与流程拆解
陈奕昆的博客
11-29 1122
本文详细拆解了电商订单处理全流程自动化方案，针对手动操作存在的三大核心痛点：多平台订单整合效率低、库存同步滞后风险高、物流信息推送不及时。通过n8n工作流设计，将流程划分为6大环节（订单抓取、数据清洗、订单去重、库存处理、物流对接、信息推送），并给出节点选型建议和关键配置要点。重点强调数据标准化的重要性，包括字段映射规范和传递规则，为后续实操提供清晰的"施工蓝图"。下节将进入实操阶段，重点讲解多平台订单抓取和ERP对接的具体实现。
解决Flink中ApacheCommonsCLI版本冲突
最新发布
weixin_51976489的博客
12-01 114
flink集群运行checkpoint报错： org.apache.commons.cl i.CommandLine.hasOption(Lorg/apache/commons/cli/ Option;)Z这个错误通常是由于 Apache Commons CLI 依赖版本冲突引起的。
Flink CDC系列之：Kafka 数据接收器配置选项类KafkaDataSinkOptions
zhengzaifeidelushang的博客
11-28 686
Flink CDC系列之：Kafka 数据接收器配置选项类KafkaDataSinkOptions
SpringBoot中整合RabbitMQ（测试+部署上线 最完整）
2509_94177154的博客
12-01 557
RabbitMQ服务端是由并发式语言Erlang编写的，所以安装RabbitMQ的之前需要安装Erlang，保证所需要的环境。注意：这里没有下载的版本，下载需要与自己的版本一致，如果发现启动不了RabbitMQ，请看后面的启动RabbitMQ。由于目前是测试阶段，这里我使用之前学习的时候的版本。
hadoop实战
04-24
### Hadoop 实战教程与案例 Hadoop 是一种分布式处理框架，广泛应用于大规模数据集的存储和分析。以下是关于 Hadoop 的一些实战应用和学习资源： #### 1. **Hadoop Grep 应用** 通过 `bin/hadoop` 命令可以运行...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值