软件研发效能评估与AI工具影响分析

理解CTS-SW指标

我们开发了软件服务成本（CTS-SW）这一指标，用于量化在提高软件构建和支持效率方面的投资如何帮助团队轻松、安全、持续地向客户部署软件。该指标弥补了现有框架（类似于DORA和SPACE）与可量化的业务底线影响之间的差距。

在较高层次上，CTS-SW跟踪每单位软件到达客户（即发布供客户使用）所花费的美元金额。最佳软件单位因软件架构而异：部署适用于微服务；代码审查或拉取请求适用于基于单体架构的团队或按预定计划发布的软件；到达客户的提交适用于向中央代码"主干"贡献更新的团队。

CTS-SW基于与某中心履行网络中服务成本指标相同的理论，即向客户交付产品是一个极其复杂且高度多样化的过程的结果，任何更改都会影响整个过程。

研究方法与数据基础

通过逆向工作法，我们调查可能影响该指标的变化，包括持续集成/持续交付实践、工作规划、事件管理实践、现有系统维护、信息搜索等特征。我们主要依赖数学模型来探索这些关系。

某中心的"两个披萨团队"文化和本地所有权模型创造了数千个不同的服务，这为探索不同架构如何影响CTS-SW提供了机会。某中心软件构建者体验团队可以访问有关这些架构及其不同工作方式的丰富遥测数据。

关键发现与驱动因素

通过线性混合模型，我们发现以下输入指标是CTS-SW的最大潜在驱动因素：

• 团队速度：衡量软件团队每周每名开发人员合并的代码审查数量。合并更多代码的团队CTS-SW较低
• 交付健康度（每次部署的干预次数、回滚率）：实施具有自动化和变更安全最佳实践的CI/CD的团队具有更好的CTS-SW结果
• 每个值班构建者的页面数：衡量团队每周收到的页面数量。页面增加会导致CTS-SW降低

生成式AI工具的影响验证

随着生成式AI工具的出现，我们找到了验证这些相关性的自然实验机会。首个在某中心大规模采用的工具是某智能开发助手，该工具基于现有代码和注释自动生成代码补全。

我们通过构建具有动态双向固定效应的面板回归模型来研究该工具对代码审查速度的影响：

yit = ai + λt + βyi,t-1 + γXit + εit

其中𝑦𝑖𝑡是团队𝑖在时间𝑡的归一化部署次数或团队周速度，𝑎𝑖是团队特定固定效应，𝜆𝑡是时间特定固定效应，𝑦𝑖,𝑡―1是滞后归一化部署次数或团队速度，𝑋𝑖𝑡是时变协变量向量，𝛽𝑖𝑡是因变量随时间的持续性。

早期证据表明，智能开发助手加速了代码审查速度和部署速度。更重要的是，我们找到了因果证据，证明新开发工具的发布可以降低采用团队的CTS-SW，并且我们可以衡量这种影响。

未来方向

我们认识到结合实验结果有时可能夸大干预的真实影响。为了解决这个问题，我们正在开发一个基线模型，用于规范化基于工具的方法，确保对AI影响的估计尽可能准确。

展望未来，我们计划扩展分析范围，包括AI对开发人员体验更多方面的影响。通过利用CTS-SW和开发强大的方法来衡量AI的影响，我们确保AI采用真正以客户为中心，使某中心的软件开发更加高效。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）