当同事实践Everything as Code之后

文章讨论了一位开发人员在使用Jsonnet和Bazel进行EverythingasCode实践时遇到的问题,包括Jsonnet的可读性和Bazel在Windows上的兼容性问题。作者强调了EverythingasCode并不适合所有场景,特别是对于非开发人员的使用,并提出了配置应区分技术与业务部分,以及考虑配置的属性、改动来源和频率。文章还提到了配置管理的灵活性与易用性的权衡。
eb5cfd218f48ff14e8e991ba9563f587.jpeg
原创不易,如果文章帮助到您,还请转发,谢谢。


背景

团队基于Jsonnet(配置语言)和Bazel(构建工具)实现Everything as Code。但是,将近一年的时间里,团队也只有少数人深入参与Everything as Code的代码的编写(其实,大多数人是不需要深入参与)。

最近,组内的一个开发同学——他之前对Everything as Code完全零基础——在运维同事的辅助下,为网关配置增加了金丝雀的能力。

在这种能力下,开发人员可以只需要改几行配置,并部署配置,就可以实现金丝雀发布。这种能力的根本就是:通过Jsonnet动态生成网关“根据Header进行流量路由”的配置的能力。

如果没有这种能力,需要手写大量的重复的YAML配置,即麻烦,又容易出错。

同事使用Everything as Code的工具后有感

在他与Everything as Code“亲密”接触一个多月后,他说出了他的感受:

  1. 1. 直接写yaml的话,所见即所得,非常直观。但是有个致命缺陷,没法动态化生成配置,所以必须要寻找一个脚本语言。

  2. 2. jsonnet其实就是一门简单化的脚本语言,通过自定义方法,通过for循环,通过读取自定义的变量,更灵活生成我们想要的json。但是写代码都有一个共性,代码可以写的很复杂,现在用jsonnet了,你想看一个key的value是什么,需要看懂别人的代码才知道value是什么甚至可能理解错别人的代码,违背了配置所见即所得,这对新手来说非常痛苦。很多时候,我们不关心jsonnet的过程,我们只想看到生成最终的配置文件是什么。

  3. 3. 如果能把云端编译好的jsonnet展示出来,就可以看到生成的最终json是啥了,但是我们没有。所以需要本地搭建bazel,但是bazel对win非常不友好,搞起来非常困难,但是本地如果不能把monorepo buil通过,那么可以宣告你无法彻底搞清楚monorepo,更不可能自定义更多自己想要的东西了。

  4. 4. 既然是通过代码来生成json,用jsonnet和python和js甚至是用java都可以,现在我觉得jsonnet的设计者对灵活性做了一个取舍,有一些我想要的操作jsonnet没法实现。

然后他又补充到:

只要自己本地能build monorepo,那么就既能享受jsonnet的灵活性,又能通过编译好的文件做到所见即所得。可惜bazel对win不友好,新手能在win 编译通过mainrepo太难了。

总结下来,这位同事:

  1. 1. 对Jsonnet的理解还不够:Jsonnet并不是脚本语言,而是一门可编程的配置语言,一种为配置而生的DSL(领域特定语言);

  2. 2. 在Windows系统上使用Bazel遇到了非常大的阻力。

以上是同事针对Jsonnet和构建工具Bazel的感受。

我认为不是Bazel对Windows不友好,而是Bazel在Windows下的生态太弱了。谁叫后端服务是Linux的天下呢?

同事对Everything as Code本身的看法

接着,他说出对Everything as Code的看法:

我觉得everything as code太理想,只能面向开发人员。你不能保证运维的能力,绝对不开放给第三方使用。指不定某天某个需求就需要你的运维的某个能力,让不懂代码的人也要操作。

假如某个运维能力,要开放给产品或者测试来用,要让别人给你学个jsonnet,那要我是产品或者测试只能口吐芬芳了。所以我认为,面向开发者的部分,使用every thing as code是趋势,比较好溯源跟踪,迭代。但是架构设计上,还需要有支持面向第三方的部分,可以做到让不懂代码的人也能用到一些运维的能力。

这位同事实现的是金丝雀配置生成,是需要修改Jsonnet代码的。当产品经理需要将某用户的流量路由到后端服务的某个版本上时,这位同事就认为产品经理就需要去改Jsonnet代码了。

同事认为这就是Everything as Code的问题:不方便非开发人使用。

同事的另一层意思没有说出来:并不是所有的事情都适合as Code。

其实,有这样的误解很正常,“Everything as Code”中的“Everything”字面含义上就是所有的,一切的意思。而Code是代码的意思。

所以,“Everything as Code”字面上完整的意思是:一切皆代码。

从字面上理解“Everything as Code”,只看到了它的表面

Everything as Code的本质

“Everything as Code”中的”Code“,其实指的是配置,即:一切皆配置。

这句话本身是没有错的,如同“道生一,一生二,二生三,三生万物“这句话。

“Everything as Code”这句话并没说什么是配置,以及哪些配置该放哪。这才是我们实践时真正要考虑的问题。

配置的本质是软件的灵活(soft)部分。通过这个”灵活部分“,我们可以根据自己的需求,有限地改变软件的行为。

在上面的案例中,我们需要控制网关的路由行为,需要用到两个配置:

  1. 1. 网关的行为逻辑的配置。这是技术部分,由程序员或者DevOps决定是否改动;

  2. 2. 用户列表配置。这是业务部分,由产品经理或测试决定是否改动。

业务部分的配置由业务方——产品经理——决定,我们认为通过界面来实现更合理。

而技术部分的配置放在配置代码中更合适。

通过案例,我想说明的是配置该放哪里,是由以下维度决定的:

  1. 1. 配置的属性:是技术配置,还是业务配置;

  2. 2. 配置的改动来源:是技术人员,还是非技术人员;

  3. 3. 配置的改动频率:是经常改动,还是不经常。”经常“如何定义,我无法给出,要看情况。

接着刚才的案例,在还没有开发出界面让产品经理对用户进行配置前,我们可以通过代码配置用户列表。如果产品经理需要配置,由让开发人员配置一下即可。

所以,配置即代码的实践也是要看具体情况的。我们可以通过以上几个维度判断是否进行as Code。

(完)

好文推荐:

内容概要:本文详细介绍了一个基于Java和Vue的联邦学习隐私保护推荐系统的设计与实现。系统采用联邦学习架构,使用户数据在本地完成模型训练,仅上传加密后的模型参数或梯度,通过中心服务器进行联邦平均聚合,从而实现数据隐私保护与协同建模的双重目标。项目涵盖完整的系统架构设计,包括本地模型训练、中心参数聚合、安全通信、前后端解耦、推荐算法插件化等模块,并结合差分隐私与同态加密等技术强化安全性。同时,系统通过Vue前端实现用户行为采集与个性化推荐展示,Java后端支撑高并发服务与日志处理,形成“本地训练—参数上传—全局聚合—模型下发—个性化微调”的完整闭环。文中还提供了关键模块的代码示例,如特征提取、模型聚合、加密上传等,增强了项目的可实施性与工程参考价值。 适合人群:具备一定Java和Vue开发基础,熟悉Spring Boot、RESTful API、分布式系统或机器学习相关技术,从事推荐系统、隐私计算或全栈开发方向的研发人员。 使用场景及目标:①学习联邦学习在推荐系统中的工程落地方法;②掌握隐私保护机制(如加密传输、差分隐私)与模型聚合技术的集成;③构建高安全、可扩展的分布式推荐系统原型;④实现前后端协同的个性化推荐闭环系统。 阅读建议:建议结合代码示例深入理解联邦学习流程,重点关注本地训练与全局聚合的协同逻辑,同时可基于项目架构进行算法替换与功能扩展,适用于科研验证与工业级系统原型开发。
源码来自:https://pan.quark.cn/s/a4b39357ea24 遗传算法 - 简书 遗传算法的理论是根据达尔文进化论而设计出来的算法: 人类是朝着好的方向(最优解)进化,进化过程中,会自动选择优良基因,淘汰劣等基因。 遗传算法(英语:genetic algorithm (GA) )是计算数学中用于解决最佳化的搜索算法,是进化算法的一种。 进化算法最初是借鉴了进化生物学中的一些现象而发展起来的,这些现象包括遗传、突变、自然选择、杂交等。 搜索算法的共同特征为: 首先组成一组候选解 依据某些适应性条件测算这些候选解的适应度 根据适应度保留某些候选解,放弃其他候选解 对保留的候选解进行某些操作,生成新的候选解 遗传算法流程 遗传算法的一般步骤 my_fitness函数 评估每条染色体所对应个体的适应度 升序排列适应度评估值,选出 前 parent_number 个 个体作为 待选 parent 种群(适应度函数的值越小越好) 从 待选 parent 种群 中随机选择 2 个个体作为父方和母方。 抽取父母双方的染色体,进行交叉,产生 2 个子代。 (交叉概率) 对子代(parent + 生成的 child)的染色体进行变异。 (变异概率) 重复3,4,5步骤,直到新种群(parentnumber + childnumber)的产生。 循环以上步骤直至找到满意的解。 名词解释 交叉概率:两个个体进行交配的概率。 例如,交配概率为0.8,则80%的“夫妻”会生育后代。 变异概率:所有的基因中发生变异的占总体的比例。 GA函数 适应度函数 适应度函数由解决的问题决定。 举一个平方和的例子。 简单的平方和问题 求函数的最小值,其中每个变量的取值区间都是 [-1, ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值