Hadoop
关注
分享
扫一扫
文章平均质量分 62
3分钟秒懂大数据
互联网大厂工作人员、专注于 Flink、Spark、ElasticSearch、Clickhouse、Kafka、Hadoop、Hive、Hbase 等技术组件的研究和分享，提供实时数仓、离线数仓、数据湖等最前沿的技术博客!微信公众号【3 分钟秒懂大数据】
展开
-
36 张图详解ElasticSearch 原理+实战知识点
大家好，我是土哥今天为大家带来流计算领域经常使用的组件 ElasticSearch，本文通过原理+实战操教程带领大家快速学会 ElasticSearch 搜索引擎，以下内容全部经过实战操作，可以根据文档进行学习~大纲如下：1 ElasticSearch 概述1.1 全文搜索引擎小伙伴们经常使用 google 或者百度进行搜索内容，在输入框中输入关键字，这个时候，网站会将包含 关键字 的所有网页返回，大家有没有想过，为什么输入关键字就可以查到结果呢？同时网站上返回的页面内容大多都是一些 非结构化原创 2021-12-06 14:50:27 · 27158 阅读 · 2 评论 -
文章硬不硬核，你说了算，土哥怒肝大数据学习路线一条龙！
前言大家好，我是土哥。随着读者数量的不断增加，从8月底到10月中旬，3分钟秒懂大数据 公众号粉丝数已经突破7200+。短短几个月，看着越来越多的读者通过我写的文章而关注到该公众号，我好开心，同时也诚惶诚恐，害怕无法持续输出高质量文章，让读者失望。 但我知道，只有写出让读者心动的文章，才能得其心，土哥会好好加油，为大家持续输出精品文章的。有读者问我，对于大数据小白或者跨行业者，应该如何学习大数据呢？或者说有什么推荐的书籍或者网站？其实这个我很有心得啦，因为我研究生学的就是大数据与人工智原创 2021-10-19 14:46:13 · 1614 阅读 · 1 评论 -
HADOOP集群搭建及配置(大数据学习1)
4.1 HADOOP集群搭建4.1.1集群简介HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起HDFS集群：负责海量数据的存储，集群中的角色主要有 NameNode / DataNodeYARN集群：负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /NodeManager(那mapred...原创 2018-12-19 14:45:32 · 1755 阅读 · 0 评论 -
上传本地文件到HDFS中(大数据学习2)
第一节hadoop集群搭建完成之后，现在测试是否能将本地文件上传到hadoop集群中。1) 在mini4虚拟机上创建一个文件 lyz1.txt 然后在里面编辑一段话保存2） hadoop fs -put lyz1.txt / fs 是打开客户端 -put 是上传本地文件到hdfs中3）打开网址 查看是否已经...原创 2018-12-28 11:13:00 · 11836 阅读 · 3 评论 -
Hadoop 解除 NameNode is in safe mode(大数据学习3)
safemode模式NameNode在启动的时候首先进入安全模式，如果datanode丢失的block达到一定的比例（1-dfs.safemode.threshold.pct），则系统会一直处于安全模式状态即只读状态。dfs.safemode.threshold.pct（缺省值0.999f）表示HDFS启动的时候，如果DataNode上报的block个数达到了元数据记录的block个数的0....原创 2019-03-12 11:51:04 · 462 阅读 · 0 评论 -
各大公司大数据面试题
大数据流处理技术各个的区别和联系 大数据批处理技术各个的区别和联系 Hive和HBase的存储区别 HDFS介绍、读写特性 Elasticsearch的介绍 ES和HDFS的区别 HDFS HA集群搭建过吗？是个什么架构？NN只有一个吗？SNN干嘛的？能接替NN吗？ 如果让你设计一个分布式文件系统，需要考虑什么？你的设计有什么好处，有什么缺陷？ spark执行机制，RDD、DAG等...原创 2019-07-05 15:51:57 · 1283 阅读 · 0 评论