hadoop使用心得总结

TurboBoost TurboBoost 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 2.1k累计阅读 2.1k平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄16年
关注
原创 最新推荐文章于 2026-09-17 14:25:14 发布 2.1k 阅读 AI 写同款· GEO 优化 ›
使用Hadoop、Hbase搭建新能源汽车大数据平台及学习HADOOP的心得体会 1、编写一个MapReduce程序，每天凌晨2点统计前一天的新能源车辆数据是否有重复数据（所有字段都相同的两条数据则认为是重复数据），并将有重复数据的车辆信息写入到第一题的Mysql数据库的repeat表中（表必须包含字段：数据生成日期、车架号、重复次数。3、编写一个MapReduce程序，每天凌晨4点统计前一天上传的车辆数据中非当天的数据总条数，并将统计结果写到第一题的Mysql数据库的other_date_num表中（表字段必须包含：数据生成日期、非当天的数据总条数）；2.设置虚拟机的储存空间。 阅读详情

想到什么平常遇到的问题就记一下，持续更新。。。

1.修改完profile文件后记得source一下。

收录于
hadoop

当前文章被收录于：

hadoop
7 篇文章 0 人学习
订阅专栏 查看详情
标签
#hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
微信小程序 - 解决报错 {“errcode“:41002,“errmsg“:“appid missing, rid: X“} 微信报错错误码errcode“:41002问题分析及解决教程（详细排查） 【微信小程序】报错{“errcode“:41002,“errmsg“:“appid missing, rid: 64e55770-67c1fb7e-027c5a70“}：【微信小程序】微信小程序登录请求出现appid missing提示，微信公众号{"errcode":41002,"errmsg":"appid missing"}，微信 报错{“errcode“:41002,“errmsg“:“appid missing，微信小程序获取openid返回appid missing的问题，微信小程序提示Erro 阅读详情

相关推荐

大模型LLM部署方式

建议根据实际需求选择方案，企业级服务优先考虑vLLM或TGI，个人用户可尝试Ollama或Hugging Face本地加载。若需完整代码示例，可参考网页2的VLLM实战或网页5的TGI部署案例。：高并发、低延迟的API服务，需分布式推理支持。：快速创建可分享的Web应用。：个人开发、快速原型验证。

u010249118的博客 516

Hadoop个人心得笔记(一)

Hadoop个人心得笔记(一) Volume：数据量大，包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是T、P（1024个T）、E（100万个T）或Z（10亿个T） Variety：种类和来源多样化。包括结构化、半结构化和非结构化数据，具体表现为网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出...

LiuY521的博客 6643

Kylin V10 ARM64离线安装ffmpeg实战指南

在国产化替代浪潮下，基于银河麒麟V10和ARM架构（如飞腾、鲲鹏）的内网服务器部署音视频处理服务成为常态。由于系统默认软件源缺乏aarch64包且无法连接外网，常规yum安装方式难以奏效。本文从离线安装的通用概念出发，剖析了在Kylin V10上安装ffmpeg的三大路线及其原理，重点介绍了源码编译法，包括依赖梳理、工具链准备、编译参数配置、常见错误排查等关键环节。同时，将这套依赖管理与离线部署方法论延伸至nginx、node.js、Python库及docker等场景，帮助读者建立一套可复用的国产化系统离线

weixin_33417488的博客 148

大数据Hadoop完全分布式及心得体会

认识hadoop，根据所学知识完成作业，并总结本学期心得体会。

zhang003_的博客 1万+

【scp】Windows 下scp报错 bad permissions

Windows 下使用 SSH 连接报 Bad owner or permissions on C:\\Users\\Administrator/.ssh/config 错误问题解决 C:\Users\Administrator>scp -P 66666 D:\1111.pdf zzd@58.213.45.xx:/home/zzd/ @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ @ WARNING:...

走在搬砖的路上！ 4155

CentOS 7下kkFileView 4.4.0离线部署全攻略（含LibreOffice 7.5配置避坑指南）

本文详细介绍了在CentOS 7环境下离线部署kkFileView 4.4.0的全流程，包括LibreOffice 7.5的配置避坑指南、中文字体解决方案以及企业级运维实践。通过本指南，用户可以在内网环境中快速搭建稳定可靠的文档在线预览服务，提升办公效率。

weixin_28481133的博客 290

Hadoop学习心得一

浅语：我们学习一门心得技术，肯定好奇它为什么应运而生，因此了解它的背景十分重要。它能解决什么才是它的优势。技术都有过时的时候，不过时的是我们使用手中的技术创造新的技术 1、现状：新时代的数据格式多样化，视频，音频，图像等非结构化的数据，传统数据库无法存储，多样化的数据格式，关系型数据库无法建表 如何解决传统数据库的存储问题？答案是文件存储。把网站的TB级以上数据量保存在一个文件里，通过对文件读...

轻纱罗曼细柳腰--腰子 7950

［后端设计］innovus命令editPin详解?

先放命令，有空慢慢写。

m0_61003348的博客 5734

学完了Hadoop，我总结了这些重点

大数据生态圈中最基础、最重要的组件。大数据小菜鸟迈出的第一步！

苍夜月明的博客 7922

实战全解｜大疆司空2二次开发：从接口开发到第三方业务系统深度融合

大疆司空2二次开发是实现行业无人机定制化应用的关键，通过OpenAPI后端对接+前端组件集成的组合方式，可快速完成功能定制，而与第三方业务系统的深度融合，能彻底打通“业务下发-设备执行-数据回传-流程闭环”的全链路，让无人机管控真正融入行业业务流程。开发过程中，建议优先采用私有版部署保障数据安全，通过中间适配层降低系统耦合度，结合实际业务场景打磨功能，避免过度开发。随着大疆开发者生态的完善，司空2的二次开发能力将持续升级，为更多行业无人机应用提供技术支撑。

2501_93651177的博客 979

Autosar EcuM配置-初始化及下电执行函数-基于ETAS软件

Autosar EcuM学习笔记-上电初始化执行函数及下电前执行函数，本文介绍在EcuM中的配置及使用。

赞的博客 851

Hadoop入门学习心得

Hadoop入门学习心得; 互联网的快速发展带来了数据快速增加，海量数据的存储已经不是一台机器所能处理的问题了。Hadoop的技术就应运而生。在看了超人学院吴超老师的讲解之后，对这个概念有了一个比较系统的了解。可以讲Hadoop的核心内容看作是两个部分，一个是分布式存储，一个是分布式计算。 对于分布式存储，Hadoop有自己的一套系统来处理叫Hadoop distribution file s

dantebl0608的博客 1万+

【教程4＞第4章＞第12节】通过FPGA实现基于FFT变换的频偏估计和补偿

基于FFT变换的频偏估计和补偿，其基本原理如下：而频偏补偿的目的是将频偏后的信号频谱移回原来的位置。

FPGA/MATLAB学习教程/源码/项目合作开发 882

hadoop使用心得

1. Hellow hadoop~~! Hadoop（某人儿子的一只虚拟大象的名字）是一个复杂到极致，又简单到极致的东西。 说它复杂，是因为一个hadoop集群往往有几十台甚至成百上千台low cost的计算机组成，你运行的每一个任务都要在这些计算机上做任务的分发，执行中间数据排序以及最后的汇总，期间还包含节点发现，任务的重试，故障节点替换等等等等的维护以及异常情况处理。谁叫hadoop集群往

rainxu的专栏 881

老版QQ原生表情gif动态

这是老版的QQ表情，不过全是动态的的，Windows照片查看器是不会动的，可以右击用浏览器打开查看，再说一遍是老版的，只是分享给宁愿用老版也要动态的人。

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能：商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传，基本资料下载，开钱箱、小票打印、收款结算，支持多币种付款方式（现金、储值卡、礼券、微信等）,支持多种促销。运行环境：.net 4.0登陆信息用户名:1001 密码:123456内置商品信息，商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

关于Hadoop的一些使用心得

关于HDFS使用的一些心得 写在前面: ​ 在公司做大数据方面工作也有一段时间了，抽时间整理一下遇到的问题,和一些比较好的优化手段。 1.HDFS存储多目录 1.1生产服务器磁盘情况 1.2在hdfs-site.xml文件中配置多目录，注意新挂载磁盘的访问权限问题。 ​ HDFS的DataNode节点保存数据的路径由dfs.datanode.data.dir参数决定，其默认值file://${hadoop.tmp.dir}/dfs/data,若服务器有多个磁盘，必须对该参数进行修改。按照上图

qq_42254202的博客 1458

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料，已经经过了本人的筛选和整理，希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助！

Hadoop使用心得，流程详解

<br /><br />CYD同学的Hadoop使用心得和大家分享下<br />使用hadoop的map/reduce进行分布式运算已经有一段时间了，谈下自己的心得，纯粹是自己的感受，欢迎拍砖。<br />首先是部署，在linux下的部署非常简单，随便在网上找个攻略就能搞定。关键是如何配置一个调试环境。在实验室，我是用ubuntu，直接在图形界面下用eclipse，非常方便。考虑到很多时候，linux没有图形界面，比如淘宝这种在windows下用xshell登陆开发机的情况，有必要在windows下模拟一个

nodie的专栏 4139

OV9734 DATASHEET，完整规格书

OV9734完整规格书，包括电气参数，尺寸规格，寄存器配置表等

使用Echatrts+Flask实现新能源车辆数据可视化及学习Hadoop的学习心得

基于Flask+Echarts+Mysql制作分析新能源车辆数据可视化这是一个基本的MySQL、Flask和ECharts结合的图表绘制过程。学习Hadoop是一个令人兴奋和富有挑战性的过程。深入理解分布式计算原理：Hadoop是一个分布式计算框架，学习Hadoop需要深入理解分布式计算的基本原理和概念，如数据分片、数据复制、容错处理等。这对于充分发挥Hadoop的能力至关重要。掌握Hadoop核心组件。

TSKxxx的博客 784

Hadoop - Zeppelin 使用心得

1.概述 　　在编写 Flink，Spark，Hive 等相关作业时，要是能快速的将我们所编写的作业能可视化在我们面前，是件让人兴奋的时，如果能带上趋势功能就更好了。今天，给大家介绍这么一款工具。它就能满足上述要求，在使用了一段时间之后，这里给大家分享以下使用心得。 2.How to do 　　首先，我们来了解一下这款工具的背景及用途。Zeppelin 目前已托管于 Apache 基金会，但...

weixin_34161064的博客 1156

hadoop hive 的使用心得

1. 外部表和管理表的区别     1. 外部表和管理表都支持分区（partition）,但是只有管理表使用分桶（bucket）     2. 管理表可以定义存储格式（如ORC)，可以把外部表作为过渡表，最终导入到管理表中 2. 默认的配置参数比较适合通用场景，没有什么特殊情况的话一般不需要改动。比较有效的优化手段包括分区、分桶、存储格式、修改引擎等，其他的如压缩，join相关配置等

hello188988的专栏 734

Hadoop Streaming 使用 Python + NLTK 进行大数据分词心得

hadoop streaming 就是使用 hadoop jar 调用streaming jar包进行MR. 通过标准输入和标准输出进行交互. 脚本语言如python会从标准输入中读, 向标准输入中写.hadoop jar 命令有两种类型的参数, generic options 和 command options. 在格式上 必须先写generic options. 以下英文转自:https://...

rav009的专栏 868

Hadoop学习心得整理（环境搭建与使用）

准备环境：三台虚拟机，hadoop安装包，JDK1.8。（安装过程借鉴https://blog.youkuaiyun.com/hliq5399/article/details/78193113博客） 下载hadoop的压缩包到linux解压，进入解压目录下的etc/hadoop目录下，设置相关配置 配置core-site.xml（核心配置文件） &lt;configuration&gt; &lt;...

cl135795680的博客 4664

HaDoop学习心得体会

Hadoop是一个由Apache基金会开发的开源框架，它允许跨分布式计算环境的分布式存储和处理大数据集。Hadoop的核心是HDFS（Hadoop Distributed File System）和MapReduce编程模型。HDFS提供了一个高度可靠的存储系统，而MapReduce则是一种编程模型，用于并行处理大数据集。1.HDFS的体验# 存储的高可靠性HDFS的一个显著特点是其高可靠性。它通过在多个节点上存储数据的多个副本来实现这一点。即使某些节点失败，数据也不会丢失，因为可以从其他节点上恢复。

2303_82269754的博客 1059

5年大数据开发经验，Hadoop生态使用心得

在我的工作经历中，我曾参与多个涉及大数据处理的项目。作为一名拥有五年大数据开发经验的工程师，我深知数据背后的价值以及处理这些数据所需的技能。在这五年中，我深入研究了Hadoop生态圈，并将其应用于实际项目中，取得了显著的效果。在项目中，我们使用了HDFS作为分布式存储系统，将原始的交易记录文件切分成多个小块，分布在集群的不同节点上。Hadoop，一个由Apache基金会开发的开源分布式数据处理框架，已经成为大数据处理的代名词。我相信，在未来的大数据时代，Hadoop将发挥重要的作用，为企业创造更多的价值。

2509_93943639的博客 170
上一篇： hadoop中filesystem无法显示（ Can't browse the DFS since there are no live nodes available to redirect to.）
下一篇： 日常一些小问题与解决方案总结
点赞 0
评论 0
书签 书签 0
TurboBoost
TurboBoost
博客等级 码龄16年 2粉丝 12原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值