- 博客(38)
- 收藏
- 关注
RSS订阅原创 故障转移处理器的工作原理
将故障的sink降级到故障池中，并在池中为它们分配一个冷却器，在重试之前，故障时间会增加，当sink成功发送event后，它将恢复到活跃池中。sink具有与之相关的优先级，数值越大，优先级越高。如果在发送event时sink发生故障，则会尝试下一个具有最高优先级的sink来继续发送event。如果未指定优先级，则根据配置文件中指定sink的顺序确定优先级。
2024-07-04 21:47:16
476
2
原创 HDFS中NameNode怎么管理命名空间的
即文件系统镜像，主要用来存储HDFS上的元数据信息，是HDFS元数据的完整快照。NameNode每次启动时，都会默认加载最新的FSImage文件到内存中。信息以两个文件的形式持久化保存在本地磁盘上，一个是。，该文件用于保存用户对命名空间镜像的修改信息。
2024-07-02 15:45:00
504
原创 yarn的基本原理
客户端向ResourceManager提交应用程序 ResourceManage为应用程序分配一个Container，并在该Container中启动ApplicationMaster ApplicationMaster与ResourceManage协商资源，获取后续任务所需要的资源；ApplicationMaster向ResourceManage请求资源，ResourceManage根据集群的资源分配情况分配给ApplicationMaster相应的资源 ApplicationMaster向NodeM
2024-07-02 14:34:58
268
原创 HDFS读数据的原理
主要基于客户端，NameNode,DataNode之间的协同关系。客户端发起读取请求，NameNode提供数据块的位置信息，然后客户端与相应的DataNode建立连接并读取数据块。这个过程通过高效的网络通信和并行处理，实现了大规模数据的高效读取。同时，HDFS通过数据块的划分和复制策略，确保了数据的可靠性和容错性。
2024-07-01 15:13:38
363
原创 Hadoop配置集群有哪几种模式？分别表示什么意思？伪分布式应用在什么场景？
Hadoop配置集群模式：本地运行模式、伪分布式模式、完全分布式模式、高可用模式 本地运行模式：在一台单机上运行，没有HDFS伪分布式文件系统，直接读取本地操作系统中的文件系统 伪分布式模式：在一个节点上模拟具有Hadoop完整功能的微型集群，应用在开发人员测试程序的执行场景中 完全分布式模式：被应用于生产环境，使用n台主机组成一个Hadoop集群，Hadoop守护进程运行在每一台主机上 高可用模式：通过配置主从备份节点来提高系统的可用性，确保在主机出现故障时能够快速切换
2024-07-01 15:08:02
532
原创 综合评价类模型——突变级数法
含义 首先：对评价目标进行多层次矛盾分解 其次：利用突变理论和模糊数学相结合产生突变模糊隶属函数 再次：由归一公式进行综合量化运算 最终：归一为一个参数，即求出总的隶属函数，从而对评价目标进行排序分析 特点 不对指标采用权重，但考虑各评价指标的相对重要性 减少主观性又不失科学合理性，计算简易准确，应用范围广 步骤 对评价总指标进行多层次分解 排列成倒立树状目标层次结构 原始数据只需知道最下层子指标的数据即可 各指标的分解一般不超过4个 确定突变
2024-06-29 12:20:29
1359
原创 多元时间序列分析——VAR（向量自回归模型）
VAR模型主要是考察多个变量之间的动态互动关系，从而解释各种经济冲击对经济变量形成的动态影响。这种动态关系可通过格兰杰因果关系、脉冲响应以及方差分解来进一步明确和可视化。 VAR模型主要研究内生变量之间的关系，内生变量就是参与模型并由模型体系内决定的变量，外生变量时由模型外的因素决定的变量。 内生变量 内生变量是具有某种概率分布的随机变量，它的参数是联立方程系统估计的元素，是由模型系统决定的，同时也对模型系统产生影响 内生变量一般都是明确经济意义变量 一般情况下，内生变量与随机项相关
2024-06-29 12:07:01
3921
1
原创 哈夫曼编码python算法实现（代码版）
一、问题： 请使用哈夫曼编码方法对给定的字符串，进行编码，以满足发送的编码总长度最小，且方便译码。“AABBCCDDEEABCDDCDBAEEAAA”二、过程：import heapqimport collectionsclass Node: def __init__(self, char, freq): self.char = char self.freq = freq self.left = None
2024-05-09 19:27:17
570
原创 解决AttributeError: module ‘numpy‘ has no attribute ‘int‘.报错问题
最近学习鸢尾花分类的案例，其中一步报错，如上所示。
2024-04-28 15:33:23
1523
原创 解决ax = Axes3D(fig2)pycharm画3d图空白不显示问题
解决ax = Axes3D(fig2)pycharm画3d图空白不显示问题
2024-04-26 21:26:08
882
2
原创 离散数学之一阶逻辑基本概念与等值演算思维导图+大纲笔记（期末复习，考研，学习笔记，知识点总结）
离散数学之一阶逻辑基本概念与等值演算思维导图+大纲笔记（期末复习，考研，学习笔记，知识点总结）
2024-04-25 08:46:52
675
1
原创 python下载安装教程
进入’编辑环境变量‘，点击’新建‘，将自己电脑上python的安装路径添加进去，点击’确定‘这个是默认安装路径，每个人都不一样，要记住自己的安装路径，后面配置环境变量会用到。右击此电脑找到属性，点击找到高级系统设置，进入系统属性，找到环境变量。安装完成后，（win+R）打开命令提示符窗口,输入cmd，出现这个界面就表示安装成功了，点击close即可。3、下载完成后点击运行会出现安装界面。找到系统变量里的path，编辑打开。输入python，显示如下。2、双击下载所需版本。7、运行python。
2024-04-15 19:41:51
341
1
原创 动态规划-最大子段和与最长公共子序列
动态规划算法的变形，用表格保存已解决子问题的答案，在下次需要解决子问题时，不用重新计算只需简单地查看该子问题的解答。：用递归算法自顶向下解决动态规划问题时，每次产生的子问题并不总是新问题，有些子问题被反复计算。是将待求解子问题分解成若干子问题，先求解子问题，再结合这些子问题的解得到原问题的解。：原问题的最优解包含子问题的最优解。是最优子结构和重叠子问题。
2024-04-11 19:52:24
598
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人