2401_84186109的博客

我们已经对 Flink 的主要特性和部署提交有了基本的了解，那它的内部又是怎样工作的，集群配置设置的一些参数又到底有什么含义呢？接下来我们就将钻研 Flink 内部，探讨它的运行时架构，详细分析在不同部署环境中的作业提交流程，深入了解 Flink 设计架构中的主要概念和原理。一、系统架构对于数据处理系统的架构，最简单的实现方式当然就是单节点。

在 Standalone 部署时，因为 TaskManager 是单独启动的（没有Per-Job 模式），所以 ResourceManager 只能分发可用 TaskManager 的任务槽，不能单独启动新TaskManager。TaskManager 启动之后，JobManager 会与它建立连接，并将作业图（JobGraph）转换成可执行的“执行图”（ExecutionGraph）分发给可用的 TaskManager，然后就由 TaskManager 具体执行任务。而在有资源管理平台时，就不受此限制。

Flink 核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数 据通信以及容错机制等功能。基于流执行引擎，Flink 提供了诸多更高抽象层的 API 以便用户编 写分布式任务：DataSet API， 对静态数据进行批处理操作，将静态数据抽象成分布式的数据集， 用户可以方便地使用 Flink 提供的各种操作符对分布式数据集进行处理，支持 Java、Scala 和 Python。

Flink 核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数 据通信以及容错机制等功能。基于流执行引擎，Flink 提供了诸多更高抽象层的 API 以便用户编 写分布式任务：DataSet API， 对静态数据进行批处理操作，将静态数据抽象成分布式的数据集， 用户可以方便地使用 Flink 提供的各种操作符对分布式数据集进行处理，支持 Java、Scala 和 Python。

大家学习云原生，肯定都很少听过云原生一些真实的场景下如何去运用如何去落地，只知道Docker能干嘛干嘛，K8s能用来高效能的管理容器编排，云原生能够赋能项目如何如何减小成本等等。那么本期文章就是笔者学习了一些的一些感想与学习记录。后续也会多写一些云原生落地实践方案的学习记录！腾讯云和阿里云等多家大厂都有很多云原生实践落地的开放文档或文章介绍，大家感兴趣的可以去百度一下看看多学习一下。不得不说，腾讯在推动国内云原生这条路上真的是走了很远！大家有空可以多去关注阿里云、腾讯云。

如果工作节点发生故障，则会在集群中的其他可用工作节点上调度相同的 Pod。例如，Pod 可能既包含带有 Node.js 应用的容器，也包含另一个不同的容器，用于提供 Node.js 网络服务器要发布的数据。Pod 中的容器共享 IP 地址和端口，始终位于同一位置并且共同调度，并在同一工作节点上的共享上下文中运行。工作节点可以有多个 pod ，Kubernetes 主节点会自动处理在集群中的工作节点上调度 pod。可以看到关于Pod容器的详细信息:IP地址、使用的端口和与Pod生命周期相关的事件列表。

了解 Kubernetes Pod。了解 Kubernetes 工作节点。对已部署的应用故障排除。

Kubernetes使用yaml文件来描述和管理服务中各个组件的配置和部署需求，每个组件对应一个yaml文件。云服务通常都是由多个组件构成的，如何配置和处理好这些组件即多个yaml文件之间的关联关系，成为了Kubernetes应用的必须面对的。当云服务升级只涉及其中一个或某几个模块时，升级模块的新yaml文件和已有yaml文件之间的关联关系会变得更加复杂，增加了使用Kubernetes来配置和管理升级的难度。另外，Kubernetes把组件的配置信息也直接记录到yaml文件当中。

这将删除名为my_table的表。请注意，这将删除表的元数据和数据。

【代码】Hive插入数据警告：Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions(4)

然后使用hive命令换为Hive的控制台操作，结果依旧如此。

启动Hive的JDBC服务并使用IDE连接到Hive，创建表成功，但是INSERT插入数据时经过长时间加载后无法得到预期结果，插入不成功。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！然而，很多小伙伴都是本地测试时使用的INSERT，更换Spark、Tez可不是那么容易；实际工作中根据生产环境需要可直接进行引擎修改，甚至都不用你修改，底层自动优化自动选择执行引擎。中已弃用，并且在未来版本中可能不可用。

由于现在大家对二 叉树结构掌握还不够深入，为了降低大家学习成本，此处手动快速创建一棵简单的二叉树，快速进入二叉树 操作学习，等二叉树结构了解的差不多时，我们反过头再来研究二叉树真正的创建方式。， }，把它的所有元素按完全二叉树的顺序存储方式存储 在一个一维数组中，并满足： 且 = 且 >= ) i = 0， 1，2…也就是 说，如果一个二叉树的层数为K，且结点总数是 ，则它就是满二叉树。若规定根节点的层数为1，具有n个结点的满二叉树的深度， h= . (ps： 是log以2为底， n+1为对数);

线性表（）是n个具有相同特性的数据元素的有限序列。线性表是一种在实际中广泛使用的数据结构，常见的线性表：顺序表、链表、栈、队列、字符串…线性表在逻辑上是线性结构，也就说是连续的一条直线。但是在物理结构上并不一定是连续的，线性表在物理上存储时，通常以数组和链式结构的形式存储。

📚法则一：如果遇到一个运算符op以及左括号“（”，此时栈如果为空，则直接将其进栈📚法则二：若是遇到了操作数num，就将其直接输出📚法则三：如果栈不为空，则只有当op的优先级高于栈顶运算符优先级时才将其进栈，否则将栈顶op弹出📚法则四：若当前op进栈时发现栈中有与之相同op，则出栈其一，再加当前op压入栈中📚法则五：若遇到右括号，则开始弹出栈字符，直到左括号为止📚法则六：只要当遇到右括号“）”时，才从栈中弹出左括号“（”，否则一直遍历。

Iceberg 社区基本盘还是在离线处理，它在国外的应用场景主要是离线取代 Hive，它也有强力的竞争对手 Delta，很难调整架构去适配 CDC 流更新。同时，Iceberg 扩展性强，对其它计算引擎也暴露的比较多的优化空间，但是这也导致后续的发展难以迅速，涉及到众多已经对接好的引擎。这并没有什么错，后面也证明了 Iceberg 主打离线数据湖和扩展性是有很大的优势，得到了众多国外厂商的支持。

答案：动态Sql指的是，Sql语句是变化的，不是固定写死的，他会有一定的判断条件，主要变化的地方就是Sql语句的where部分。

相同的PID和SequenceNumber发送给Broker，而之前Broker缓存过之前发送的相同的消息，那么在消息流中的消息就只有一条(x2,y2)，不会出现重复发送的情况。顺序消费和并发消费的重试机制并不相同，顺序消费消费失败后会先在客户端本地重试直到最大重试次数，这样可以避免消费失败的消息被跳过，消费下一条消息而打乱顺序消费的顺序，而并发消费消费失败后会将消费失败的消息重新投递回服务端(在一个特色的队列中保存)，再等待服务端重新投递回来，在这期间会正常消费队列后面的消息。预设值的延迟时间间隔。

使用yml自动配置时 配置rabbitmq的模板@Autowired// 发送到交换机：消息确认log.info(“RabbitMQ-发送到交换机:::Confirm callback id:{},ack:{},cause:{}”, correlationData, ack, cause);if (ack) {log.info(“RabbitMQ-发送到交换机:::成功”);} else {

出现以下提示：输入以下命令，即可解决。启动成功：终端上会有显示出密码：):xxxxxx重新设置密码方式（在启动es的情况下执行）用户名是elastic我们推荐用环境变量存储elastic的密码。

✅作者简介：C/C++领域新星创作者，为C++和java奋斗中📃推荐一款模拟面试、刷题神器👉🔥前言书接上文，今天继续分享牛客网中的经典好题。那么今天带来两道简单题，用到了递归和栈的知识，我做完之后感觉神清气爽啊。刷题入口放在文章开头了，点击注册即可，那么快来跟我一起刷题练习吧！

测试后代码通过所有案例，每一步我都加了注释，方便大家吸收理解。函数没什么好分析的，就是直接将元素值压入栈1，重点在。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！牛客网界面：剑指offer题目专栏界面：2.3、代码解析首先当n等于1或者2的时候，返回结果为 1当n大于2时，调用自身的递归：会逐步缩小形参的值当形

测试后代码通过所有案例，每一步我都加了注释，方便大家吸收理解。函数没什么好分析的，就是直接将元素值压入栈1，重点在。

大端（存储）模式，是指数据的低位保存在内存的高地址中，而数据的高位，保存在内存的低地址中；小端（存储）模式，是指数据的低位保存在内存的低地址中，而数据的高位,，保存在内存的高地址中为什么会有大小端模式之分呢？这是因为在计算机系统中，我们是以字节为单位的，每个地址单元 都对应着一个字节，一个字节为8 bit。

就变成了现在的Maynor+所属领域(大数据)

因为参与了运算,并且char类型小于int型的精度,所以要进行整形提升.整形提升后:结果1:将结果放入char类型的变量c中,c只能存储八位所以只保留了结果的后面八位数据即char类型是有正负的,所以最高位为符号位,计算结果在内存中是补码的形式,我们要转化为原码.原码的值是-124结果2:运算的时候经过整形提升为整形再运算,所以当结果存放在d里面的时候,直接就可以算出132.

Presto特定的数据源：Connector、Catalog、Schema 和 Table。1）Presto 的三层表结构。2）Presto 的存储单元。3）不同类型的Block。n. 连接器，连接头。

PHP（PHP: Hypertext Preprocessor）即“超文本预处理器”，是在服务器端执行的脚本语言，尤其适用于Web开发并可嵌入HTML中。PHP语法学习了C语言，吸纳Java和Perl多个语言的特色发展出自己的特色语法，并根据它们的长项持续改进提升自己，例如java的面向对象编程，该语言当初创建的主要目标是让开发人员快速编写出优质的web网站。PHP同时支持面向对象和面向过程的开发，使用上非常灵活。

常量里面存储的数据在脚本运行期间是不会改变的。常量名必须是大写的const定义常量只能放在顶级目录，不能放在if语句或者function的{}的里面，define定义常量可以放在任何位置。

第一层是我们最小面值的计数，然后第二层就是我们中等面值的计数，然后最内层是我们最大面值的计数。最外层的i，m，n分别对应，c，b，a的个数。当我们的金额money与sum相等的时候就退出循环，并打印输出i，m，n的数值。这是一个很简单的例子，仅仅是涉及到了贪心算法的入门，在后期我将会对文章进行优化，深度挖掘贪心算法的使用场景和我们的案例分析。接下来就是我们对sum进行求解了，我们将计数器的个数乘以面值再相加就是我们的面值了。然后明确我们需要三个变量，来作为我们的计数器，用于各个面值的遍历。

我们就应该先去考虑最大金额的10元，然后顺次去考虑5元，最后就是去考虑最小金额2元，顺次遍历枚举去递增。第一层是我们最小面值的计数，然后第二层就是我们中等面值的计数，然后最内层是我们最大面值的计数。最外层的i，m，n分别对应，c，b，a的个数。当我们的金额money与sum相等的时候就退出循环，并打印输出i，m，n的数值。（这里解释一下原因：贪心算法总是考虑局部最优解，我们这里优先考虑最大面额的零钱，所以他的循环嵌套应该是在最内层。然后明确我们需要三个变量，来作为我们的计数器，用于各个面值的遍历。

print(dict1[‘name’]) # 输出 Tomprint(dict1.get(‘address’)) # 输出 Noneprint(dict1.get(‘address’, ‘unknown’)) # 输出 unknown。

需要注意的是，如果使用不存在的键来访问字典中的值，将会引发KeyError异常。需要注意的是，keys()方法返回的是dict_keys类型的对象，而非列表类型，但是可以像列表一样使用。同样，values()方法返回的是dict_values类型的对象，而非列表类型，但是可以像列表一样使用。同样，items()方法返回的是dict_items类型的对象，而非列表类型，但是可以像列表一样使用。下面分别介绍这些方法的升序和降序排序。

以电商网站为例，经常有查询库存余量的功能，URL如下后台在处理此URL时，调用库存查询接口，由于历史原因，接口往往需要使用shell命令调用其他系统模块。类似如下命令.pl 是perl语言源程序文件的扩展名，参数值将作为参数传入该“脚本”进行调用库存余量查询。如果将该脚本参数改为如下例题 1。

攻击者可在服务器端执行任意系统（OS）命令，获取敏感数据。通常攻击者会尝试利用系统内部的信任关系，将攻击转移到系统内的其他系统，获取更大权限。

x=1x=1GET / H0Foo: bar0Foo: barx=1GET / HTTP/1.1 （注意此行，第二个请求是GET方法，仅隐藏一个带有部分请求头的请求行）0后端处理后0Host: v（因长度为25，将在此处截断，后面为第三个不完整数据包内容）ulnerable-website.com\r\n0\r\n\r\n\r\n\r\n\r\n0\r\n。

comment=X-Internal-Header: secretContent-Length: 3 （此处泄露内部请求头）x=1GET / HTTP/1.1 （注意此行，第二个请求是GET方法，仅隐藏一个带有部分请求头的请求行）Host: v（因长度为25，将在此处截断，后面为第三个不完整数据包内容）ulnerable-website.com。SMUGGLED （这是遗留的字段，会与第二个请求混在一起，形成无效访问，造成404响应）Host: 自定义任意。

*原因：**红黑树这些黑色节点在 2-3-4 树中代表的是由 1 节点的一个 2-3-4 树，而 2-3-4 树是同一个子树的深度是相同的，平衡的，所以从一个节点到该节点的子孙节点的所有路径上包含相同数目的黑节点。总结了下插入节点的过程，无非也就为了符合两条规则，那么，2-3 树，2-3-4 树都有了，那是不是也有 2-3-4-5 树，2-3-4-5–…2-3-4 树，它的每个非叶子节点，要么是 2 节点，要么是 3 节点，要么是 4 节点，且可以自平衡，所以称作 2-3-4 树。

对于串的链式存储结构，与线性表是相似的，但由于串结构的特殊性，结构中的每个元素数据是一个字符，如果也简单的应用链表存储串值，一个结点对应一个字符，就会存在很大的空间浪费。​ 计算机中常用字符是使用标准ASCII编码，更准确一点，由7位二进制数表示一个字符，共可以表示128个字符，后来不够用了扩展ASCII码由8位二进制数表示一个字符，共可以表示256个字符，已经足够满足以英语为主的语言和特殊符号进行输入、存储、输出等操作的字符需要了。比如在计算机中存在-一个自由存储区，叫做“堆”。通常要进行下面的步骤。