hdfs_大数据博客-专业IT技术发表平台

推荐付费专栏 VIP文章

OkGogooXSailboat

Flink连接HDFS出现java.net.UnknownHostException解决办法在开发大数据平台中的查看Flink任务的状态数据工具时，用State Process API解析保存点数据，将其从HDFS上读取出来再将其解析过后下沉到HDFS以CSV格式保存，然后由其它接口提供对这个文件的分页加载功能。以CSV格式下沉到HDFS，笔者直接使用了DataStream上已经废弃的writeAsCsv方法，因为这个方法的特性正好和此处的需求相符，没有使用FileSink，因为它的Bucket特性，在此处不适用。

阅读 1.2k

0赞

【Hadoop】通过Sqoop实现从MySQL导入数据到HDFS 一文带你了解MySQL通过Sqoop导入数据到Hdfs的详细过程。

阅读 9.0k

38赞

蓝胖子的宝贝

Hadoop之YARN详解 YARN（Yet Another Resource Negotiator）是Hadoop的一个重要组成部分，它是Hadoop 2.0中的一个新的资源管理器，用于管理Hadoop集群中的资源和任务。YARN是Hadoop的一个重要组成部分，它可以支持多种计算框架，提供更灵活的资源管理和任务调度机制，更好地利用集群中的资源，使得Hadoop可以更好地满足大规模数据处理的需求。更好的资源利用率：YARN可以更好地利用集群中的资源，避免了资源浪费和资源争用的问题。

阅读 613

1赞

HDFS 频繁进入安全模式的原因及解决方案 HDFS安全模式频繁触发影响Hadoop集群稳定性？本文深入剖析HDFS安全模式机制，提供全面优化方案。从基础调整到高级系统调优，包括数据块修复、NameNode配置、网络优化、JVM调优、自动化监控等。学习如何提升DataNode性能，实现智能数据平衡，优化元数据管理。掌握这些技巧，显著减少安全模式触发，提高HDFS可靠性和效率。大数据工程师、Hadoop管理员必读的HDFS性能调优指南，助你构建高性能、稳定的大数据平台。#HDFS #Hadoop #大数据优化 #性能调优

阅读 1.5k

4赞

基于Hadoop的服装电商数据分析系统【Hdfs、flume、HIve、sqoop、MySQL、echarts】本研究基于服装电商用户行为的开源数据展开大数据分析研究，通过Hadoop大数据分析平台对某大型服装电商平台公开的开源数据集进行多维度的用户行为分析，为服装电商销售提供可行性决策。本次研究选取了2021年12月1日-18号的服装电商数据，其中每一行数据集包含用户的每一次服装相关的行为。首先我们将服装数据集上传到Hadoop中的HDFS存储，之后利用Hadoop的Flume组件，配置好自动加载数据的环境，将服装数据加载到hive数据库中进行大数据分析。

阅读 2.2k

12赞

遂入你命、

kdc-server部署kerberos认证 /etc/krb5.conf，krb5-workstation krb5-devel，创建principal

阅读 752

8赞

人间有清欢

docker部署hadoop集群 docker部署hadoop集群；通过Dockerfile方式构建hadoop容器；hadoop职责划分为NameNode、DataNode、NodeManager、ResourceNode、2NN；HDFS、MapReduce、Yarn测试。

阅读 1.7k

21赞

十二月的猫

【软件工程】第一章·软件工程概述今天是软件工程课程考试前两周，趁着软件工程考试，猫猫来进一步梳理软件工程这门课程的知识，希望也能给阅读本系列文章的友友们提供一些帮助。全面知识梳理特别知识梳理（全面知识梳理一律加上【第*章】字样，是软件工程所有知识的全面梳理）（特别知识梳理一律加上【一篇搞定】字样，仅仅作为特别重要内容的展开延申）这一章介绍软件工程的发展历程，其所使用的技术及工具；如何分析问题以及寻求解决方案；软件开发人员们取得的进展以及需要努力的方向；软件开发的涉及人员及 Wasserman规范将实践融为一体的八个概念。

阅读 3.8k

27赞

生产队队长

Hadoop3：HDFS的客户端工具Big Data Tools（IDEA版本） Hadoop

阅读 981

1赞

小关不摆烂

熟悉MySQL和HDFS操作 1.使用自己的用户名登录Windows系统，启动Hadoop，为当前登录的Windows用户在HDFS中创建用户目录“/user/[用户名]”；3.将Windows系统本地的一个文件上传到HDFS的test目录中，并查看上传后的文件内容；2.接着在HDFS的目录“/user/[用户名]”下，创建test目录；表1 学生表：Student（主码为Sno）表2 课程表：Course（主码为Cno）表3 选课表：SC（主码为Sno，Cno）所在系别（Sdept）课程名（Cname）学分（Credit）

阅读 4.8k

16赞

浪漫の土狗

flume报错java.io.IOException: Callable timed out after 30000 ms on file: hdfs://hadoop101:9000/... 报错原因：flume默认30s回滚一次文件，超过30s文件还没有传输完成会报这个错。解决方案：flume配置文件中将hdfs.rollInterval参数值设置大一些。

阅读 544

2赞

Sonnie0000001（马库斯）

【Hadoop之HDFS替换方案】【Haoop远程挂载Cubefs】Cubefs对接Hadoop生态 Hadoop远程挂载可弹性扩展的分布式存储

阅读 474

9赞

利用JAVA代码将本地文件传入HDFS中先创建hdfs存储路径作为输出流，然后把本地文件存储路径作为输入流，利用copyBytes方法将本地文件上传到hdfs输出流的路径就大功告成了！在 C:\Windows\System32\drivers\etc 中修改hosts文件，将虚拟机的hostname和ip写在文件底部。2.在系统变量里配置HADOOP_HOME和JAVA_HOME，并配置PATH。首先要下载hadoop_lib包，然后在IDEA里面导入这个包。要一次性上传完这些文件，需要循环读取文件名字，代码如下。hdfs中存在文件，上传成功！

阅读 2.5k

0赞

刘玉林_fighting

DataX同步达梦数据到HDFS ● 如果报下面错误则需要自己下载Microsoft Visual C++ 14.0。达梦数据库的安装路径，并重新装载dmPython。DataX同步达梦数据到HDFS。4、启动DataX进行数据传输。● 如果报错在PATH中加入。导入dmPython流程。3、通过命令生成Job。2、生成Job脚本。

阅读 1.8k

0赞

hdfs 副本数问题 MapReduce有一个设置临时目录副本数的参数mapreduce.client.submit.file.replication=10。查阅资料这个参数的作用是，当集群规模比较大，且启动的map和reduce数量较多时，可充分利用数据本地性这一特性提高性能。解决方法：mapreduce.client.submit.file.replication=10（默认值）导致的问题。MapReduce的临时路径参数yarn.app.mapreduce.am.staging-dir。

阅读 258

0赞

Hadoop Distributed System (HDFS) 写入和读取流程如果传输过程中，有某个datanode出现了故障，那么当前的pipeline会被关闭，出现故障的datanode会从当前的pipeline中移除，剩余的block会继续剩下的datanode中继续以pipeline的形式传输，同时Namenode会分配一个新的datanode，保持 replicas设定的数量。HDFS是为以流的方式存取大文件而设计的。读取完当前block的数据后，关闭与当前的DataNode连接，并为读取下一个block寻找最佳的DataNode；二、HDFS的体系结构。

阅读 1.1k

0赞

百锦再@新空间代码工作室

WPF 的组件数据绑定详解数据绑定是指在应用程序的 UI 层与业务逻辑层之间建立一种连接机制，以便它们之间可以相互通信和同步数据。在 WPF 中，数据绑定通过将源对象的属性绑定到目标 UI 元件的属性来实现。当源属性发生变化时，负责更新的机制将自动通知目标控件进行更新，反之亦然。为控件属性定义默认的，在可能的情况下默认是，可以保证控件内容的即时更新。

阅读 2.1w

11赞

后端研发Marion

【Hadoop】Hadoop概念与实践下载安装MAC（M1芯片） Hadoop是一个由Apache基金会开发的开源分布式计算框架，在处理大数据方面非常有用。它可以存储和处理大规模数据集，通过使用多台计算机构建集群，将数据分散到集群中的节点上进行处理。Hadoop由两个核心组件组成：Hadoop Distributed File System（HDFS）：这是一个可扩展的和容错性极高的文件系统，它使用多种方式保证了数据的可靠性、容错性和快速恢复性；

阅读 725

0赞

我思故我在6789

hdfs文件系统在大多数情况下，HDFS的副本系数是3，HDFS的存放策略是一个副本存放在本地机架节点上，另一个副本存放在不同一机架的节点上，第三个副本存放在在与第二个节点同一机架的不同节点上。2）会话管理：如果NN是健康的，zkfc就会在zookeeper中保持一个打开的会话，如果NameNode同时还是Active状态的，那么zkfc还会在Zookeeper中占有一个类型为短暂类型的znode，当这个NN挂掉时，这个znode将会被删除，然后备用的NN，将会得到这把锁，升级为主NN，同时标记状态为Active。

阅读 739

5赞

weixin_48502367

Hadoop 伪分布模式安装（Hadoop3.0）在这个模式中，所有守护进程(NameNode，DataNode，ResourceManager，NodeManager，SecondaryNameNode)都在同一台机器上运行。此外，Hadoop还包括了Hive，Hbase，ZooKeeper，Pig，Avro，Sqoop，Flume，Mahout等项目。当你看到下面流程的时候，表示程序已正常运行，hadoop环境也是没问题的。dfs.replication，配置每个数据库备份数，由于目前我们使用1台节点，所以，设置为1，如果设置为2的话，运行会报错。

阅读 239

1赞

作者推荐

黑夜中的潜行者: 赢家不是那些从不失败的人，而是属于那些从不放弃的人

关注

GhostKINGC: 51CTO讲师，致力于研发高质量.NET技术教程内容 bilibili @南邸鬼王

关注