- 博客(5)
- 收藏
- 关注
原创 Flume 知识点总结
Flume 是一个开源的分布式、可靠、高可用的日志收集系统,用于将大量的日志数据从多个源头(例如 Web 服务器)收集到中央存储或者数据处理系统中。
2023-10-15 12:03:20
271
1
原创 在Hadoop集群配置中jps启动后组件知识了解
它与集群中的ResourceManager通信,定期报告节点上的可用资源,并接收来自ResourceManager的资源分配指令。它与Hadoop的任务调度器(如YARN的应用程序管理器)协作,接收来自调度器的任务,并在节点上启动和管理这些任务的执行。NodeManager监控任务的运行状态,包括启动、停止、失败恢复等,并将状态信息报告给ResourceManager。它与NodeManager交换资源信息,与NameNode协调数据存储位置,与DataNode交互来读取和写入数据。
2023-09-28 14:04:19
747
原创 用XPath获取 HTML 元素的方法
在 HTML 文档中,每个元素都有自己的标签和属性。XPath 可以通过标签名和属性名来定位和提取元素(1)XPath表达式通常以斜杠开始,表示从根节点开始的路径。(2)双斜杠//表示不考虑元素的层级位置,可以在整个文档中搜索匹配的元素。(3)元素名称用于定位元素,例如表示选择根节点下的所有<book>元素。节点类型:(1)在XPath中,节点可以是元素、属性、文本、注释等。(2)常见的节点类型包括:elementattributetextcomment等。
2023-09-27 17:20:10
1443
原创 Hadoop集群
尽管Hadoop在大规模数据处理方面表现出色,但在某些情况下可能不适用于实时数据处理要求。Hadoop集群的配置和维护需要一定的技术知识,因此对于初学者可能有一定的学习曲线。Hadoop集群的安全性管理需要谨慎,以确保数据不受未经授权的访问。HDFS的主节点,负责存储文件系统的元数据,包括文件和目录结构。在最后给大家分享几个学习hadoop知识的网址 希望对大家有所帮助。每个数据节点上的资源管理器代理,负责监视资源使用情况。存储HDFS数据块的节点,负责存储和检索数据。
2023-09-23 23:43:08
112
1
原创 Python基础知识点
数据类型:Python支持多种数据类型,包括整数(int)、浮点数(float)、字符串(str)、列表(list)、元组(tuple)、字典(dict)等。在线教程:有很多免费的在线教程,如优快云社区、Python官方教程和w3school等,适合初学者入门。官方文档:Python官方网站提供了完整的官方文档,包括Python的语法、内置函数和标准库等。变量和赋值:在Python中,可以使用变量来存储数据,并使用赋值语句将值赋给变量。math模块:提供了数学相关的函数和常量,如计算平方根、三角函数等。
2023-09-17 11:46:10
125
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人