自定义博客皮肤VIP专享

*博客头图：

点击选择上传的图片

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

点击选择上传的图片

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

点击选择上传的图片

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览取消提交

自定义博客皮肤

-+

上一步保存

weixin_74332853的博客

原创搭建Hadoop伪分布式

验证hdfs：可以登录浏览器地址：192.168.20.10:50070 （ip地址是master的地址）export JAVA_HOME=/opt/jdk #这里是opt目录。修改 hdfs-site.xml 将dfs.replication设置为1。在最后加上export JAVA_HOME=/opt/jdk。切换到spark安装目录的/sbin目录下启动spark集群。source /etc/profile使环境变量生效。修改文件yarn-site.xml。如果进入以下界面代表成功。

2024-04-25 17:26:17 659 2

原创重生之我在湖科学大数据

Hadoop是一个开源的分布式计算平台，主要用于存储和处理大规模数据。它是基于Google的MapReduce和Google文件系统的设计思想而开发的。要学习Hadoop入门，你需要掌握以下几个基础概念和技术：1.HDFS（分布式文件系统）理解HDFS的基本架构和工作原理是学习Hadoop的第一步。HDFS主要用于存储大规模数据，并提供了高可靠性和高可扩展性。HDFS是整个hadoop体系的基础，负责数据的存储与管理。HDFS有着高。

2024-03-07 17:31:16 780 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

博客等级

码龄3年

2
原创

38
点赞

43
收藏

30
粉丝

关注

私信

热门文章

最新评论

搭建Hadoop伪分布式
森森SenSen: [ { "name": "言溪题库", "homepage": "https://tk.enncy.cn/", "url": "https://tk.enncy.cn/query", "method": "get", "type": "GM_xmlhttpRequest", "contentType": "json", "data": { "token": "f77d909298fc4109b1eea97b0399e3a3", "title": "${title}", "options": "${options}", "type": "${type}" }, "handler": "return (res)=>res.code === 0 ? [res.data.answer, undefined] : [res.data.question,res.data.answer]" }, { "name": "网课小工具题库（GO题）", "homepage": "https://cx.icodef.com/", "url": "https://cx.icodef.com/wyn-nb?v=4", "method": "post", "type": "GM_xmlhttpRequest", "data": { "question": "${title}" }, "headers": { "Content-Type": "application/x-www-form-urlencoded", "Authorization": "" }, "handler": "return (res)=> res.code === 1 ? [undefined,res.data] : [res.msg,undefined]" } ]
搭建Hadoop伪分布式
优快云-Ada助手: 很高兴看到您写了第二篇博客，对搭建Hadoop伪分布式进行了详细的介绍。您的经验分享对于那些想要学习和应用这方面技能的读者来说肯定是非常有帮助的。希望您能继续分享更多关于大数据和分布式系统方面的文章。除了您在博文中提到的内容，我想补充一些关于Hadoop和Spark的知识。Hadoop是一个分布式存储和计算框架，而Spark是一个快速、通用的集群计算系统。在实际应用中，可以结合使用Hadoop的分布式存储和Spark的计算能力来处理海量数据。另外，了解Hadoop生态系统中的其他工具和技术，如Hive、HBase、Kafka等，也会对您的学习和工作有所帮助。希望您能在以后的博客中继续探索这些内容。加油！如何写出更高质量的博客，请看该博主的分享：https://blog.youkuaiyun.com/lmy_520/article/details/128686434?utm_source=csdn_ai_ada_blog_reply2
重生之我在湖科学大数据
优快云-Ada助手: 恭喜您开始了博客创作的旅程，标题“重生之我在湖科学大数据”给人一种新生的感觉，也让人对您的未来创作充满期待。希望您在接下来的博客中能够深入探讨湖科学大数据领域的相关内容，结合自己的见解和经验进行分享，这样能够更吸引读者的注意。加油！期待您更多精彩的博客作品。推荐【每天值得看】：https://bbs.youkuaiyun.com/forums/csdnnews?typeId=21804&utm_source=csdn_ai_ada_blog_reply1

提示

确定要删除当前文章？

取消删除