如何使用三台虚拟机搭建一个kubernetes集群？

原创

于 2023-08-03 14:28:18 发布 · 687 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#kubernetes #java #容器

文章讲述了数新网络官网的新版上线，重点介绍了其云数据智能操作系统和在构建一主多从Kubernetes集群时，使用kubeadm工具的步骤，包括集群环境配置、问题解决等内容，强调了云原生环境下对资源管理和限制的重要性。

数新网络官网已全新上线，欢迎点击访问

数新网络_让每个人享受数据的价值浙江数新网络有限公司是一家开源开放、专注于云数据智能操作系统和数据价值流通的服务商。公司自主研发的DataCyber云数据智能操作系统，主要包括云数据平台CyberMeta、数据科学平台CyberScience、数据智能引擎CyberEngine、数据安全平台CyberSecurity。数新网络可提供大数据开发管理、安全合规、建模分析、价值流通等多种服务，让大数据、AI和数据价值安全流通得到高质量结合，助力客户实现数字化、智能化转型，激活数据要素潜能，提升企业整体竞争力。https://www.datacyber.com 数新网络_让每个人享受数据的价值

本次搭建采用kubeadm工具，创建一主多从（单Master）Kubernetes集群。在集群中，有一台Master节点负责控制平面，多台Node节点负责运行容器。

Kubernetes是一个开源的容器编排平台，可以帮助简化容器化应用程序的部署、扩展和管理。在Kubernetes集群搭建过程中，有多种部署方式可选，包括kubeadm、Minikube和二进制包。本次选择使用kubeadm，因为它是快速搭建Kubernetes集群的常用工具。

主机规划：

M角色	IP地址	环境
Master	192.168.85.4	Centos 7.9
Node01	192.168.85.5	Centos 7.9
Node02

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

数新智能

关注关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

参与评论您还未登录，请先登录后发表或查看评论

博客

Compaction in Apache Iceberg

12-09

688

iceberg的有一个好处是，通过快照可以做 time-travel，verion rolback，快照中的 manifest files不会被删除。job、task执行失败，可能会导致写入了部分数据，这些数据没有任何关联任何快照，因此也不能用正常的方式删除他们，因为没有任何关联关系。但流写入时，会出现很多新的小文件，删除过期文件可以将这些文件数据删除，但是处理不了 manifest 文件。除了压缩小文件，还做了排序，这意味着最小/最大过滤的好处将会更大(扫描的文件越少，速度越快)

博客

CyberAI多模态数据平台焕新升级！七大核心功能解锁高效管理新体验

12-01

720

数新智能一站式多云AI原生数智平台升级，新增多模态数据管理功能。

博客

The Life of a Read/Write Query for Apache Iceberg Tables

11-10

1124

本文以读写查询生命周期为核心，解析 Iceberg 表的处理逻辑。当前快照中已经存在的 manifest file，跟新的一起，写入到 manifest list中，以及manifest file 的路径和统计信息。在这个 manifest list中，包含了所有 manifest file 的路径，以及每个文件的信息，如每个分区的 lower和upper等。merge-on-read，生成新的更新/删除/插入数据文件，读取时会忽略旧的文件，只有更新的数据在内存中，占用内存会减少。

博客

Data engineering at Meta

11-07

803

揭秘 Meta 如何通过 UPM 流水线管理、分析库集成及自动化监控，构建支撑千亿级日活的高效数据链路，展现湖仓架构、流批融合及云原生设计的工程化落地经验，为企业数据智能建设提供可复用的技术蓝图。facebook 每天会产生几百P 的数据，用户行为，代码变更，这个框架就用来实时分析这种变化，并提供开发人员展示。每个表都按照 ds 分区，也就是 YYYY-MM-DD 分区的，一般是数据产生的时间，也有其他方式分区的。内部维护了一个分支，做了一些定制化修改，也会定期合并开源分支，同时也会提交修改到开源。

博客

Data Ingestion: Architectural Patterns

10-26

1023

在数据驱动的时代，数据摄取是构建高效数据生态系统的基石。Data Integration Challenges，因为是一个数据库来管理 OLAP、OLTP，如果数据源种类很多，就不好处理，需要跨数据源查询，带来复杂度。Handling Push Failures，pull失败了只要重试即可，但是push失败了分析平面感知不到，需要设计高可用，高并发的 push流系统。本质上来说，data ingestion 就是把运营平面的数据，同步到分析平面中，这样就可以解锁分析平面的所有能力了。

博客

“数”风流人物｜从手搓Hadoop到智能数据平台构建，数新智能CTO原攀峰的“自我突破”

10-20

本文是数新智能 CTO 原攀峰接受 IT168 专访的完整内容，字里行间藏着我们对 “智能数据平台” 的核心思考与落地答案。无论你是正在搭建数据平台的技术管理者，还是想探索 AI 时代数据价值的从业者，这篇深度访谈都值得一读。

博客

BTrace

09-23

418

从动态追踪工具如 Btrace、Arthas 的 retransform 能力，到 JDB 调试，再到 JDK 内置的 VisualVM、JFR，以及 JProfiler、MAT 等性能分析工具，还有分布式监控工具、火焰图等，它们共同助力开发者高效定位问题、优化系统性能。· arthas 使用了：Instrumentation.retransformClasses()，会替换整个类，风险高。· btrace 使用了：java.lang.instrument，只是在关键函数中注入了额外信息，风险低。

博客

云环境中的日志收集和处理方案

09-15

700

在云环境中，高效的日志收集与处理是系统监控和运维的关键。本文围绕《云环境中的日志收集和处理方案》展开，先介绍日志收集的两种方式，再聚焦处理环节，探讨写入 kafka、共享存储、S3 等路径，分析使用 raft 组日志集群及 NewSQL 的方案，最后结合 Spark 端调度进行总结，为云日志管理提供多维度技术参考。SPARK_EXECUTOR_ID ，driver端需要手动设置，executor 是自动设置上的。根据当前的节点 hash，定位到环的一个为止，然后顺时针处理，这样每段由不同节点处理。

博客

PyTorch

09-09

836

在深度学习领域，PyTorch 以动态图机制和简洁易用的特性，成为科研与工程落地的热门框架。本文围绕《PyTorch》展开，从基础操作切入，通过 numpy 与 tensor 实例演示数据处理核心逻辑，深入解析 Torchvision 数据加载、图像处理及常用功能。结合卷积原理、损失函数设计、梯度计算等关键模块，详解网络构建与优化方法，搭配可视化工具与分布式训练技巧，为读者呈现从基础语法到高阶应用的完整知识图谱，助力快速掌握 PyTorch 核心技术栈。

博客

OpenLDAP研究

09-04

532

在企业目录服务领域，OpenLDAP凭借开源、灵活的特性备受青睐。本文围绕《OpenLDAP研究》，从剖析其底层架构入手，详解实用命令与核心配置信息，展示web控制台便捷管理方式，还会梳理相关文档资源，助你全面掌握OpenLDAP的运行逻辑与使用技巧。这里存储的 kerberos 的 keytab 实际是。经过了 ASN.1 加密，包含了一些其他信息。树状的层级结构，比如组织的划分。按照 DNS 来划分层次。OpenLDAP系列文档。再做了 base64。

博客

LevelDB SSTable模块

08-25

526

如果写成功，则将 pending_index_entry 设置为true，后面再写新的块，Add 流程的时候就会用到这个变量。匹配的话，则读取这个数据块，跳转到对应的位置，具体处理逻辑是一个回调函数，回调函数内处理 key，value。上一个块的最后一个 key，和当前要写入的(也就是后面一个块的第一个 key)，计算这两个 key非分割。先 new 一个固定大小的buffer，然后读进去，再 CRC检查，并确定压缩类型，看是否要解压。分割的key就是 “the r”，正好比"the qu…

博客

Agent 狂飙时代，真正的 “限速器” 藏在数据里：为何说Data&AI 数据基础设施是泥泞路到高速路的密钥

08-24

606

打造面向业务的数据服务与资产门户：构建数据中台体系，将底层数据加工为易用的主题数据模型和数据服务，建立数据资产门户，为业务方提供数据目录、自助分析工具和统一的数据服务出口，赋能业务团队进行探索式分析和数据创新，真正实现数据驱动的业务增长。同时，高质量、易访问的数据资产更好地赋能了业务团队的自助分析和精细化运营，直接推动了海外业务收入的增长。为落实集团数字化战略，打破内部数据壁垒，充分挖掘数据价值，并通过数据赋能业务增长，集团构建了中心化的一站式数据开发治理平台，以支撑战略目标的实现。

博客

LevelDB 辅助工具类

08-18

746

如果编码值 1 « 7 <= v < 1 « 14，需要两个字节编码，第一个字节使用1 + v的低7位，表示需要查看下一个字节，下一个字节使用0 + v的高7位，表示不需要查看下一个字节；首先调用 Add，将 key进去，将所有的key直接拼在一起，比如 aa、bb、cc、dd，拼在一起就是aabbccdd，中间没有分割。如果小于等于1KB，则分配一个4KB的块，插入到vector中，从4KB的块上分配相应的内存；一开始的插入会放到 lru 链表中，如果 ref++，则会放到 in_use 链表中。

博客

LevelDB 多版本和压缩

08-11

527

VersionSet是一个版本集，里面保存了Version的一个双链表，其中有一个Version是当前版本，因为只有一个实例，还保存了其它的一些全局的元数据，Dummy Version是链表头；最后利用两层的输入文件，在不扩大level i+1输入文件的前提下，查找level i层的有key重叠的文件，结果为蓝线标准的文件，构成最终的输入文件；利用level i层的输入文件，在level i+1层找寻有key重叠的文件，结果为绿线标注的文件，构成level i，i+1层的输入文件；

博客

哈尔滨工业大学教授苗东菁：AI Agent 与多模数据库

08-06

740

在这种方式下，我们认为随着智能体服务的实例越来越多，有7千个、8千个、1万个、100万个，数据更新的压力以及多模型的更新的压力，跟现在会是大不相同的，因为现在很多场景人工去生成数据的速度肯定不如智能体的速度。在这里面，还有在我们看到的是文档还有订单的表达的数据，还有在智能体的经验里检索的时候，有RAG的数据，同时在智能体工作的时候，还会有对这些数据反向的更新。我们在调研中看到一些资料，举一个非常有意思的真实的例子，尽管它从某种意义上来讲，还不算是特别理想的智能体，更多的还是智能工作流。

博客

Building An Elastic Query Engine on Disaggregated Storage

08-04

795

本文探讨了在分离式存储架构上构建弹性查询引擎的关键技术。针对传统shared-nothing架构的资源利用率低、弹性不足等问题，提出了基于云环境的存储计算分离方案。系统采用四层架构：中心化服务层、计算层、分布式临时存储层和持久数据存储层。重点研究了临时存储系统设计（采用内存-SSD两级缓存）、资源弹性策略（延迟一致性hash）及多租户支持方案。实验数据显示75%的只读查询缓存命中率超过80%，验证了架构有效性。文章还讨论了未来优化方向，包括更细粒度的资源调度和多租户隔离机制。该研究为云环境下的弹性数据查询提

博客

中国计算机学会杭州分部副主席朱霖潮：多模态大模型的研究进展与未来

08-03

777

这种交互模式本质上构建了一个动态演进的Token处理体系：环境状态被编码为输入Token，模型生成的行动指令作为输出Token，而环境反馈又形成新的输入Token，构成持续流动的交互流。技术演进表明，新一代模型正从早期的单一能力专精（如GPT系列的语言理解、DALL·E的图像生成）发展为多模态协同的智能体系，其核心优势在于实现了意图理解与内容创作的无缝衔接。相较于单模态的理解或生成任务，这种多智能体协作系统需要处理更复杂的时空约束和资源分配问题，其技术难点主要在于实时决策的准确性和多主体协调的一致性保障。

博客

华为云云服务高级顾问叶正晖：华为对多模态大模型的思考与实践

08-03

929

我们大模型的架构的趋势，还是要从以前的单一模态走向多模态大一统，在未来的趋势下，从2021年的Vision Transformer到2022年的Whisper大模型再到2024年的Sora，整个过程里面从以前的视觉到语音到混合，再到生成大模型的一个统一。我们把视觉认知专项打开看一下，其实视觉认知专项在原来的基础多模态大模型中，经过海量的数据的训练，10000+通用及行业实用标签，包括场景标签，关系标签、行为标签都在这里面。华为的盘古多模态大规模的模型，它是一个层次融合的一个架构。三是全模态的大模型。

博客

数新智能 CTO 原攀峰：DataCyber 面向 AI 时代的多模态数据湖设计与实践

08-01

1594

这种模式的重心聚焦在数据的加工处理链路，但缺乏统一管理的机制。DATA+AI混合计算负载：在计算层面，需要引入分布式的计算框架，针对不同类型数据、不同计算场景，需要不同的计算框架进行支持，解决Data和AI不同类型的计算负载任务，不同类型的多模态数据能够基于主流的开源框架，提供统一的平台支持数据和AI的分析。统一元数据管理：统一元数据是多模态数据管理的基础服务，通过采集元数据，建立元数据标准，可以实现不同模态数据的统一描述和关联关系，例如为图像数据添加文本标签，从而打破数据孤岛，促进跨模态的检索与分析。

博客

AWS高级解决方案架构师黄海波：GenAI 时代非结构化数据处理的实践与趋势洞察

07-31

1093

这和我们设计系统时处理结构化数据的情况完全不同，做结构化数据时，我们会先做数据建模，梳理出核心的实体，再给这些实体设定相应的属性。举个具体的例子：上海市第九人民医院，在数据里的名称就各式各样，有时写作 “九院”，有时是 “上海第九医院”，还有其他不同的表述，但实际上都指向同一家医院。但很多企业的内部数据，其实并没有被纳入大模型的训练中。比如常见的 Excel 表格，里面的数据格式往往不规范，如果直接用简单的规则将这些数据存入数据库，后续很难对其进行有效分析，也难以通过数据认证来确保信息的准确性。