系统工具开发者的能力模型:不只是写代码,还有设计、测试、文档和运维

AI 时代 IT 人如何不被淘汰?编码 / 运维 / 测试案例拆解 + 核心能力重构方案 AI正在深刻改变IT行业的工作方式,在编码、运维和测试等环节展现出强大能力。典型案例显示,AI可提升40%的开发效率、替代30%的运维巡检工作,并能自动生成70%的测试用例。然而,AI的"替代边界"清晰可见:它能处理重复性任务,但无法替代需求拆解、架构设计和创新突破等核心能力。文章提出分阶段应对策略:学生应培养核心思维而非工具熟练度;职场新人要从执行转向策略设计;资深从业者要主导AI落地和价值管理。最终结论认为,AI不是职业终结者而是能力筛选器,IT从业者需将AI作为效率工具,聚焦业务理 阅读详情

系统工具开发者的能力模型:不只是写代码,还有设计、测试、文档和运维

一、一个让我重新定义"程序员"的项目

3 月份,我接了一个朋友的私活:帮他团队做一个内部使用的日志分析 CLI 工具。我对自己的能力很有信心——毕竟已经用 Rust 写了好几个小项目——于是拍胸脯保证"一周搞定"。

代码确实一周写完了。核心逻辑 1200 行,cargo build --release 编译通过,cargo clippy 零警告。我把二进制丢给他,附了一句"好了,试试"。

他试了半小时,给我发了 7 条消息:

  1. "怎么装?要装 Rust 环境吗?" —— 我没做安装说明。
  2. "配置文件放哪?" —— 我的代码硬编码了路径。
  3. "搜不出结果怎么提示的?" —— 空结果时我只打印了一个空行。
  4. "为什么每次搜索都要 5 秒?" —— 我没做日志索引,全文扫描。
  5. "能导出 CSV 吗?" —— 不能,我认为 JSON 就够了。
  6. "macOS 能用吗?我的是 Intel 芯片。" —— 我编译的是 ARM 版本。
  7. "这个错误什么意思?" —— 我的错误信息是英文的技术堆栈。

那一刻我明白了:"能跑"离"能用"还差一整个软件工程。 那一周之后我又花了三周——不是修 bug,是补全设计文档、测试用例、用户手册和 CI/CD 流水线。

这篇文章是我从这次教训里提炼出的系统工具开发者的完整能力模型。

二、五维能力模型

我的五维成长路径:一个的三年蜕变

上面这张图看起来很完整,但它不是我一口气画出来的——是我用三年时间一格一格填满的。

2024 年上半年(编码为主,其他为 0):我刚学 Rust 三个月,唯一关心的是"编译能不能过"。设计?随心所欲。测试?写完跑一遍 cargo run 就叫测试。文档?代码就是文档。那段时间写出了不少能跑的玩具,但没有一个"能被别人用的"。

2024 年下半年(加入测试和文档):朋友让我帮写一个日志聚合脚本,我交出去三天后被追问了 15 个问题。那之后我强迫自己给每个函数写 doc comment,给每个 crate 写集成测试。不是"优秀工程师"的觉悟,是"不想再被追问"的生存本能。

2025 年(设计能力觉醒):开始给 dayuan 设计 CLI 接口时,我反复问自己一个问题:"如果一个从没用过 dayuan 的人打开终端,他第一行会敲什么?" 这让我把原来的 12 个命令行参数砍到了 3 个,把"配置文件必须手动创建"改成了"dayuan init 一键生成"。用户量从 3 个朋友变成了 120 个陌生用户。

2026 年上半年(补齐运维):dayuan 的第一个正式 release 是手动上传的。用户反馈:"macOS Intel 版本在哪?"我才意识到我只编译了 ARM 版。花了一周搭 CI/CD——矩阵构建三平台、自动 release note、cargo-binstall 支持——现在每次打 tag 就能自动出三个平台的安装包。

这五个维度不是"一口气学会"的,而是在每个阶段解决"当前最痛的问题"。的优势是:你没有"科班包袱",你不会觉得"某个能力天生就归某个职能的人管"。你会把所有拦路的问题,一个一个啃下来。

三、设计:代码之前的"代码"

好的 CLI 设计不需要 README

这句话有点夸张,但核心是:如果你需要用户先读三页文档才能运行第一条命令,你的设计就失败了。

# ❌ 糟糕的 CLI 设计:用户需要记住所有参数
logtool --input ./logs --pattern "ERROR.*timeout" --format json \
  --output ./results.json --since 2024-01-01 --until 2024-01-31

# ✅ 好的 CLI 设计:智能默认值 + 渐进式复杂度
logtool search "timeout"                          # 最简单的用法:搜所有日志
logtool search "timeout" --since yesterday        # 需要时再加时间过滤
logtool search "timeout" --format csv > out.csv   # 需要时再改导出格式
/// dayuan 的 CLI 设计原则实现
use clap::{Parser, Subcommand};

/// AI 编程助手 - 在项目上下文中与 AI 对话
#[derive(Parser)]
#[command(name = "dayuan")]
#[command(about = "AI 编程助手", long_about = None)]
struct Cli {
    /// 子命令
    #[command(subcommand)]
    command: Option<Commands>,
    
    /// 直接传入的问题(不使用交互模式)
    /// 例:dayuan "解释这段代码"
    question: Option<String>,
    
    /// 指定 AI 角色风格
    #[arg(short, long, default_value = "architect")]
    role: String,
    
    /// 启用详细输出(调试用)
    #[arg(short, long)]
    verbose: bool,
}

#[derive(Subcommand)]
enum Commands {
    /// 初始化配置文件
    Init,
    /// 管理项目上下文文件列表
    Context {
        #[command(subcommand)]
        action: ContextAction,
    },
}

// 设计要点:
// ① 默认值有意义(role = "architect")
// ② 无参运行时直接启动交互模式
// ③ 所有参数都有 --help 说明
// ④ 复杂操作用子命令隔离,不污染 -h 输出

错误信息的"可操作性原则"

每一条错误信息必须回答两个问题:①发生了什么;②用户接下来应该做什么。

/// dayuan 的错误信息设计
use thiserror::Error;

#[derive(Error, Debug)]
pub enum DayuanError {
    /// 配置文件相关的错误
    #[error(
        "配置文件缺失。\n\
         原因:{path} 不存在。\n\
         解决方法:运行 'dayuan init' 初始化配置文件。"
    )]
    ConfigNotFound { path: String },
    
    /// API Key 问题
    #[error(
        "API Key 未配置。\n\
         请在 {path} 文件中设置 api_key 字段。\n\
         你可以在 https://platform.openai.com/api-keys 获取 API Key。"
    )]
    MissingApiKey { path: String },
    
    /// 网络错误
    #[error(
        "网络请求失败(已重试 {retries} 次)。\n\
         错误详情:{detail}。\n\
         排查步骤:\n\
         ① 检查网络连接\n\
         ② 检查代理设置(如使用代理,设置 DAYUAN_PROXY 环境变量)\n\
         ③ 检查 API 服务状态"
    )]
    NetworkFailure {
        retries: u32,
        detail: String,
    },
}

四、测试、文档与运维:让工具真正可用

测试:不要相信你的代码

为 CLI 工具写集成测试

CLI 工具最容易被忽略的测试是"用户从零开始安装、配置、使用的全流程"。以下是我给 dayuan 设计的集成测试结构:

/// CLI 集成测试:模拟完整使用流程
#[cfg(test)]
mod cli_integration_tests {
    use assert_cmd::Command;  // assert_cmd crate: 测试 CLI 程序
    
    /// 测试:用户从零开始到成功提问的完整路径
    #[test]
    fn test_first_time_user_journey() {
        // ① 创建临时目录,模拟用户的初始环境(没有配置文件)
        let temp = tempfile::tempdir().unwrap();
        
        // ② 运行 init 命令
        let mut init_cmd = Command::cargo_bin("dayuan").unwrap();
        init_cmd.current_dir(temp.path());
        init_cmd.arg("init");
        
        let output = init_cmd.output().unwrap();
        assert!(output.status.success(), "init 命令应该成功");
        
        // ③ 验证配置文件已生成
        let config_path = temp.path().join("dayuan.toml");
        assert!(config_path.exists(), "应该生成配置文件");
        
        // ④ 验证配置文件内容正确
        let config_content = std::fs::read_to_string(&config_path).unwrap();
        assert!(config_content.contains("api_key"), "配置文件应包含 api_key 字段");
    }
    
    /// 测试:缺少配置时的错误提示
    #[test]
    fn test_error_message_without_config() {
        let temp = tempfile::tempdir().unwrap();
        
        // 在没有配置文件的情况下,任意运行 dayuan
        let output = Command::cargo_bin("dayuan")
            .unwrap()
            .current_dir(temp.path())
            .arg("随便问个问题")
            .output()
            .unwrap();
        
        assert!(!output.status.success());
        
        // 把 stdout 和 stderr 转成字符串
        let stderr = String::from_utf8_lossy(&output.stderr);
        // 关键断言:错误信息必须是人能看懂的!
        assert!(
            stderr.contains("配置文件缺失") || stderr.contains("dayuan init"),
            "错误信息应该引导用户运行 init 命令。实际输出: {}",
            stderr
        );
    }
}

性能基准测试:不要让用户等到不耐烦

/// 用 criterion 做性能基准测试
use criterion::{black_box, criterion_group, criterion_main, Criterion};

/// 上下文构建是 dayuan 最耗时的操作之一,必须持续监控
fn bench_context_build(c: &mut Criterion) {
    c.bench_function("构建 100 文件的上下文图", |b| {
        let manager = ContextManager::new("/test/project");
        
        b.iter(|| {
            // black_box 阻止编译器优化掉计算
            manager.build_context(black_box(Path::new("src/main.rs")))
        });
    });
}

criterion_group!(benches, bench_context_build);
criterion_main!(benches);

文档和运维:代码写完只是 30%

README 的"5 分钟测试"

把 README 给一个不了解项目的人,看 TA 能否在 5 分钟内完成安装和第一个功能。如果做不到,README 需要重写。

好的 README 结构:

  1. 一句话是什么(什么是 dayuan?)
  2. 一分钟安装(brew install dayuan 或 cargo install dayuan)
  3. 第一个例子(复制粘贴就能跑的命令)
  4. 进阶功能(按场景分类,不是按菜单分类)

跨平台 CI/CD

# .github/workflows/release.yml
name: Release

on:
  push:
    tags: ['v*']

jobs:
  build:
    runs-on: ${{ matrix.os }}
    strategy:
      matrix:
        include:
          # 同时构建三个平台
          - os: ubuntu-latest
            target: x86_64-unknown-linux-gnu
            suffix: linux-amd64
          - os: macos-latest
            target: aarch64-apple-darwin
            suffix: macos-arm64
          - os: windows-latest
            target: x86_64-pc-windows-msvc
            suffix: windows-amd64
    
    steps:
      - uses: actions/checkout@v4
      
      - name: 编译 Release 版本
        run: cargo build --release --target ${{ matrix.target }}
      
      - name: 压缩二进制
        run: |
          # 为每个平台创建独立的压缩包
          tar -czf dayuan-${{ matrix.suffix }}.tar.gz \
            -C target/${{ matrix.target }}/release dayuan
      
      - name: 上传到 GitHub Release
        uses: softprops/action-gh-release@v1
        with:
          files: dayuan-${{ matrix.suffix }}.tar.gz

五、总结

系统工具开发者的能力模型是五个维度的平衡,而不是一个维度上的极致:

  1. 设计:用户不需要看文档就能开始用
  2. 编码:安全、高效、跨平台
  3. 测试:单元 + 集成 + 性能,缺一不可
  4. 文档:5 分钟上手 + 可操作的错误信息
  5. 运维:自动化构建 + 多平台分发 + 遥测监控

如果你是一个 solo 开发者(像我这样),这五个维度不需要同时做到 100 分。但你必须意识到它们的存在,并在每个版本迭代中有意识地提升一个维度。

我用了三年才从"能写代码"进化到"能做产品"。这个差距不是 Rust 语法能弥合的——它是一种思维方式的变化:从"我写完了"到"用户能用了吗"。


资料说明

本文中的协议、版本、性能、成本和行业趋势应以可核验的一手资料为准。未标注统计口径的比例、时间表和预测仅作工程讨论,不应视为行业事实。可参考 0731 资料来源索引,并在发布前将具体来源贴到对应断言之后。

大模型应用案例 | 大模型+金融运维,擎创携手某证券创新运维能力新范式 2022年底,ChatGPT的横空出世让AI技术彻底出圈;短短两年后,大模型已悄然潜入金融行业的“心脏地带”——运维系统。面对指数级暴增的告警信息、碎片化的处理流程,某头部券商联手擎创科技,用一场“AI+智能运维”的深度实验,为行业提供了突破性解决方案。 阅读详情

相关推荐

Multi-Agent系统的文档体系建设:从架构文档到运维手册的完整实践

在AI应用从“单模型单点突破”迈向“多Agent协同解决复杂问题”的今天,Multi-Agent系统(MAS)的复杂性呈指数级增长——它不再是单一的代码仓库,而是由多个具备独立感知、决策、执行能力的“智能体”组成的分布式生态系统。这样的系统如果没有完善的文档体系支撑,开发阶段会陷入“各自为战”的协作混乱,测试阶段会遭遇“Agent交互行为不可复现”的噩梦,运维阶段更是会在“某Agent突然宕机但没人知道它依赖谁/做什么”的茫然中手足无措。本文将从MAS的独特痛点出发,构建一套覆盖。

AGI×大数据,开启智能时代的认知跃迁;解码AGI,赋能数据驱动的智能革命。 366

技术文档六要素黄金结构模型:背景 × 目标 × 架构 × 实现 × 测试 × 运维

在当前 AI 工程体系不断演进的背景下,技术文档已不仅是项目的附属产物,更是贯穿开发、协作、部署与运维全过程的核心构件。本文将基于 2025 年企业研发团队对文档结构化、工程化与可维护性的最新诉求,系统提出“六要素黄金结构模型”:背景、目标、架构、实现、测试、运维。通过实战路径分析与标准化写作模板,帮助研发人员构建高可读性、易协作、便追溯的技术文档体系,支撑从 MVP 验证到大规模部署的全生命周期落地。

努力分享一些人工智能、计算机视觉、影像等相关的知识干货! 1731

AI应用架构师的可靠性设计手册:AI系统从测试到运维的全生命周期设计

想象你是一家医院的AI架构师,团队开发了一套肺癌影像诊断系统,准确率达98%。但上线后,偶尔会把肺炎误诊为肺癌,导致患者过度治疗;有时又漏诊早期肺癌,延误最佳治疗时机。医生抱怨:“这个系统还不如经验丰富的老医生可靠!聪明但不可靠。传统软件的可靠性问题(如崩溃、卡顿)已让人头疼,而AI系统的可靠性挑战更复杂:数据会"变质"(模型漂移)、模型会"失忆"(性能下降)、决策会"任性"(黑箱不可解释)。据Gartner统计,到2025年,70%的AI模型在生产环境中会因可靠性问题无法达到预期效果。

AI云原生与云计算技术学院 1066

关于自动化运维需要什么系统及常用工具

云效:DevOps 开发运维一体化 Yearning:满足大部分公司SQL审核需求的web端可视化SQL审核平台 wgcloud:极简&高效的主机监控系统

起而行动,方能平定心中的惶恐 1万+

国内开发者福音:手把手教你用微软Authenticator搞定GitHub 2FA验证(附Recovery Codes保存指南)

本文详细介绍了国内开发者如何使用微软Authenticator中国版轻松配置GitHub双重身份验证(2FA),解决短信验证不可用和国际验证器访问困难的问题。重点强调了恢复码(Recovery Codes)的安全备份策略,确保账户安全无忧。

weixin_28840143的博客 438

RWEQ土壤风蚀模型的估算与变化归因分析

本次以介绍RWEQ模型的基本原理及数据需求,再结合案例讲解RWEQ模型中区域地理空间数据库构建的方法和各个参量提取的原理与方法,最后结合典型案例进行综合讲解风蚀模数估算、制图及归因分析。空间分析与制图:提取分析、局部分析、邻域分析、区域分析、插值分析、平滑处理、像元提取、采样与重采样。以某实际应用为案例,掌握RWEQ模型进行当地土壤风蚀量空间分布分析整体流程。地图服务器、在线地图、范围指示器、格网、表格、基础地图服务使用规则介绍。掌握土壤风蚀模型的原理、优势点及因子组成。

2301_77413856的博客 1195

无监控、不运维

能解决这个问题就只能靠完善的线上流程来约束,通过线上流程自动维护资源数据,但如果流程一多或者说缺少人性化设计的线上流程,将导致不必要的工作量增加,很多人在工作量大的情况下,会显得力不从心(基本都喜欢偷懒,我也不例外:sunglasses:)。运维行业有句话:“无监控、不运维”,是的,一点也不夸张,监控俗称“第三只眼”。用监控数据给自己撑腰,这显得更加必要,有人说运维是背锅侠,那么,有了监控,有了充足的数据,一切以数据说话,运维还需要背锅吗,所以作为一个运维工程师,如何构建一套监控系统是你的第一件工作。

凯峰的日志 1060

面板数据分析中的随机前沿软件FRONTIER Version 4.1应用

随机前沿模型是一种用于评估单位效率的统计方法。它考虑了输入和输出的随机性,允许我们在效率评估中引入不确定性。随机前沿模型通常用于评估生产单位、金融机构、医院等各种类型的决策单元的效率。FRONTIER是一个广泛使用的随机前沿分析软件,具有用户友好的界面和强大的功能。它提供了估计效率、前沿分析和模型比较的工具,使用户能够深入研究单位的效率和绩效。面板数据是一种包含多个单位(通常是时间序列数据)的数据类型,可以用于分析单位在不同时间点的变化和效率。

目标检测专栏持续更新中,改进YOLO系列通用,适用v5、v7、v8、所有博客均是团队原创博客,所有文章禁止转载,违者必究。 2984

【AI 测试】测试用例设计:人工智能语言大模型性能测试用例设计

AI 语言大模型:性能测试用例详细编写(表格型),用例表格标题为:用例编号、测试场景、测试方法、监控指标、预期结果、通过标准。

顾三殇 —— 博客空间(软件测试) 8971

(ZOS-API)Matlab控制ZEMAX软件调整光学系统某镜面位姿

所用软件的版本:MatlabR2022a, Zemax OpticStudio2024R1交互扩展功能,Zemax和可以同时打开,操作会比较方便在ZEMAX软件中,调整次镜位置通常有两种方法:1.在次镜前后各添加一个坐标间断面,并修改其“偏心X”“偏心Y”等参数来调整次镜的位姿;2.或者直接在次镜属性选项中设置相关数值。这两种方法对Zernike系数的采集结果无显著影响。

ecilifurt的博客 913

OpenMV识别颜色源码

【代码】OpenMV识别颜色源码。

dxt258013的博客 404

关于开发者测试

关于开发者测试在软件行业中,一个程序从开始开发到交付使用,中间涉及了包括单元测试、集成测试、接口测试、性能测试等许多测试环节。其中由开发者完成的代码级测试部分称为开发者测试。什么是开发者测试 单元测试 开发者测试最重要的组成部分是单元测试。单元测试是在直接对代码的最基本逻辑进行的测试,一般而言,最基础的代码逻辑很难形成文档,只有开发者本人是最了解自己的代码逻辑,也只有开发者本人最适合写单元测试代码

王小黑的博客 9480

大规模GPU集群组网实战:从Spine-Leaf架构到RoCE无损网络调优

在分布式训练与高性能计算场景中,GPU集群的算力释放高度依赖数据中心网络的带宽、时延与可靠性。随着模型规模扩大,东西向流量成为主要瓶颈,服务器之间需要频繁执行AllReduce等集合通信操作,任何丢包或拥塞都会直接拖慢训练迭代。因此,现代AI基础设施普遍采用Spine-Leaf两层拓扑,配合ECMP实现高可用转发,并借助RoCEv2与无损网络技术(PFC、ECN)构建低延迟、零丢包的计算网络。与此同时,管理网、存储网与计算网的物理或逻辑隔离,以及合理的IP地址规划,是保障集群稳定运行的基础。本文从实际部署8

weixin_28712661的博客 128

AI 工具链选型评估:从模型能力到工程落地的决策框架

AI 工具链选型的本质是约束条件下的多目标优化:在能力基线、延迟、成本、合规、运维、降级路径六个维度上寻找最优解。最常见的选型错误是"先用最强模型跑通再降本"——这种路径会因 Prompt 深度绑定而堵死降本路径。六维评估模型的核心价值在于:将模糊的"这个模型好不好"转化为可量化的"这个模型在六个维度上分别得几分"。模型路由器的工程实现确保了成本与质量的动态平衡,而非一刀切的全量调用最强模型。落地路线建议:第一步,用业务真实数据构造评估集,对候选模型跑基准测试,确定能力基线;

jiang_style的博客 5617

【逆向实战入门】Lua Hook进阶:从函数拦截到流程控制的实战解析

本文深入解析Lua Hook技术的进阶应用,从基础函数拦截到复杂流程控制,提供实战技巧与避坑指南。通过保存原函数指针、条件性Hook及调用栈分析等高级方法,帮助开发者在游戏辅助、自动化工具等场景中精准控制程序行为,同时确保稳定性和反检测能力。

weixin_30613343的博客 331

通过miniconda conda安装jupyer的时候报错: InvalidArchiveError(“Error with archive

摘要:本文针对Windows系统使用Conda时出现的InvalidArchiveError错误(文件路径过长或压缩包损坏),提供了解决方案。建议以管理员身份运行PowerShell并执行命令启用长路径支持(LongPathsEnabled),然后重启电脑或终端。作者通过该方法成功解决了jupyter安装问题。附有错误截图和解决后的成功截图。

猿小白的博客 790

产品测试与运维:工具、技术与产品经理的角色

产品测试和运维是保证产品质量和稳定性的关键环节。测试通过发现并解决产品中的问题,确保产品在发布前能够满足用户需求和预期,而运维则负责产品发布后确保系统的稳定运行、性能优化和快速响应用户反馈。产品经理和测试、运维团队之间需要密切合作,形成一个完整的产品生命周期管理体系,从而推动产品的成功。产品测试和运维不仅是独立的职能,它们的协作对于产品的成功至关重要。测试确保产品在发布前的质量,而运维确保产品发布后的稳定性。

小宝哥Code的专栏 1418

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

当 AI 开始写代码:开发者的机遇、焦虑与破局

淘汰你的不是 AI,是那些比你早一步学会用 AI 的同行。

HUIBUR的博客 449

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

【初级测试工程师所需的能力及必掌握的工具等】

一、初级测试应具备的能力 (一)测试基础能力 测试用例设计能力 能够熟练运用等价类划分法。例如,对于一个要求输入1 - 100正整数的用户年龄字段,有效等价类就是1 - 100的正整数,无效等价类则是小于1的数、大于100的数和非整数。根据这些等价类可以设计出全面的测试用例来验证该输入框的功能。 边界值分析法也是重点。继续以年龄输入为例,除了等价类中的值,还要特别关注边界值1和100,以及边界值附近的值,如0、2、99、101等,因为在边界处软件很容易出现错误。 测试流程理解能力 清楚软件测试生命周期各个阶

Dreams°的博客 998

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

人工智能给软件研发带来的变革,从需求调研,需求整理,数据库设计、系统设计、代码开发、代码测试、代码集成、系统部署上线等做思考

AI持续监控用户行为数据,自动生成需求变更建议。AI根据TPS(每秒事务处理量)预测推荐架构方案,某票务系统采用AI建议的CQRS模式,峰值处理能力提升80%‌34。AI基于用户画像生成适老化/青少年模式界面,并通过眼动模拟测试优化按钮布局,某政务系统用户操作效率提升45%‌16。输入业务实体关系图,AI自动生成包含分库分表策略的DDL语句,某物流系统数据库设计时间从2个月压缩至3天‌46。AI分析代码变更影响范围,自动选择蓝绿发布或金丝雀发布策略,某金融系统版本回滚率从15%降至1.2%‌36。

慧香一格的专栏 2018

开发者必备工具箱:从代码开发到系统运维的高效工具链指南

在软件工程实践中,掌握高效的工具链是提升开发与运维效率的关键。从概念层面理解,工具链是连接技术理论与工程实践的桥梁,其核心原理在于通过自动化、可视化与集成化,降低认知负荷与操作成本。技术价值体现在加速开发周期、保障系统稳定性、促进团队协作与知识沉淀。典型应用场景包括代码编写与调试、版本控制、API测试、系统监控、容器化部署及团队项目管理等。本文聚焦于构建一套涵盖开发、运维、学习与协作的实用工具箱,重点解析如Visual Studio Code、Git、Docker等热门的开发工具,以及如htop、ELK S

weixin_26749245的博客 243

AI编程时代开发者核心能力重塑:从代码实现到人机协同架构设计

在人工智能技术深度融入软件开发的今天,AI编程工具正从新奇事物转变为标准生产力。理解人机协同的核心原理,关键在于重新定位开发者与AI的关系——AI如同拥有海量知识库和高效生成能力的智能助手,而开发者则需扮演架构师与定义者的角色。这一转变的技术价值在于将开发者从繁琐的代码实现中解放出来,使其更专注于高层次的问题抽象、架构设计和业务逻辑梳理。在实际应用场景中,这体现为开发者需要掌握清晰定义需求、编写精准提示词、进行批判性代码审查以及与AI进行迭代式对话等新技能。通过构建以人为本的工作流,开发者能够驾驭AI工具,

weixin_30443075的博客 340

通用大模型不香了?国产数据库智能运维:小模型 + AI Agent 实战方案

通用大模型不香了?国产数据库智能运维:小模型 + AI Agent 实战方案

2301_76168381的博客 1215

CubiFS社区贡献指南:文档、代码与测试

欢迎来到CubiFS开源社区!🎉 作为一款优秀的分布式文件系统,CubiFS的发展离不开每一位贡献者的支持。无论你是编程新手还是经验丰富的开发者,都可以通过文档编写、代码贡献和测试参与等方式为项目添砖加瓦。本文将为你详细介绍如何成为CubiFS社区的活跃贡献者。 ## 🤝 社区治理结构概览 CubiFS社区采用分层治理模式,确保项目的健康发展: - **技术指导委员会(TSC)**:由5

gitblog_00587的博客 859

软件工程-软件测试和系统运维

⭐⭐⭐⭐⭐ 一、软件测试概念和目标 概念:为了发现错误而执行程序的过程 目标(《软件测试的艺术》) 是为了发现错误而执行程序的过程 好的测试方案能够发现迄今为止尚未发现的错误 成功的测试将发现至今尚未发现的错误 二、软件测试原则 应尽早并不断地进行测试 程序员避免测试自己设计的程序:测试工作应避免由原开发软件的人或小组来承担(单元测试除外) 不仅要包括合理、有效的输入条件,也要包括不合理、失效的输入条件 不仅要确定输入数据,而且要从系统的功能出发确定输出的结果 不仅要检测程序是否做了该做

小毕超博客 5214

系统运维、应用运维、硬件运维之间的关系解析

硬件运维、系统运维和应用运维是三个不同的方向,虽然现实中存在一些交叉,比如硬件运维需要掌握服务器操作系统,运维工程师同时负责系统运维和应用运维工作,但是他们的架构体系、岗位职责和未来发展都不太一样,下面就和大家简单聊聊这三者的区别: 一、架构体系 为了说明三个运维工作所处的架构层面,这里借用云计算的概念,并加上了IDC层。 硬件运维处于IDC层,因此又称为IDC运维/机房运维,主要是管理IDC的物理设备,比如服务器、交换机、路由器、存储设备等。比如机房物理服务器网卡坏了,硬件运维工程师需要及时替换

weixin_42556618的博客 7123
上一篇: WebAssembly AI 推理实战总结:浏览器端的推理能力现在到了什么量级
下一篇: AI Agent 的工程化实践全景图:从 prompt 工程到系统架构的完整知识体系
第一程序员
博客等级 码龄1年 1万+粉丝 1822原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值