从报表分析师到智能分析Agent:权限和日志卡住了多少人?

LangChain在数据工程中的实战:结构化输出与可维护性设计 大语言模型(LLM)在数据工程中并非简单API调用,而是需深度融入ETL、BI和自动化分析流水线的关键组件。其核心挑战在于如何确保AI输出稳定、结构化、可解析,并能无缝对接Pandas、SQL引擎等传统数据工具。LangChain通过PromptTemplate、OutputParser、ChatMessageHistory和Chain四大抽象,重构了LLM交互的数据流范式,将非确定性生成转化为可测试、可灰度、可回滚的工程模块。尤其在SQL生成、报表自动解释、客户知识库问答等场景中,结构化输出与可维护性成为 阅读详情

聊《别急着换赛道:数据分析经验在 AI 项目里到底值多少?》之前,先说一句实在的:别急着背概念,先看它在真实项目里到底解决什么问题。

摘要

做了五年数据分析师,最近半年把方向转到了大模型应用开发。说实话,转型这件事我一开始想简单了,觉得就是把SQL换成自然语言、把报表换成对话界面。结果第一个团队项目上线第一天,我就被权限和日志这两个东西打脸了——Demo在我机器上跑得飞起,客户那里连基本的访问都控制不住,出问题时连日志都定位不到根因。

这篇文章想聊聊真实经历,特别是从数据分析转到智能分析Agent这个过程中,哪些能力可以直接复用,哪些坑需要避开,以及怎么在简历和面试里展示你的项目价值。

目录

  • 数据分析能力的迁移:哪些真的值钱
  • 自然语言BI的真实场景
  • 指标解释Agent:核心实现逻辑
  • 失败原因拆解:三类错误的区分
  • 项目案例:从Demo到上线的完整链路
  • 适用边界:什么情况下不该照搬
  • 总结

数据分析能力的迁移:哪些真的值钱

文章插图 1

先说结论:你的数据分析经验大部分是有用的,但用法不一样了。

以前做报表,你关心的是数据准不准、维度拆得对不对、指标口径有没有问题。这些能力在Agent项目里直接迁移到了数据理解和业务逻辑层面。但缺了一块——工程化能力。

我接触的几个转型案例,最容易卡住的地方是这三个:

第一,不知道自己的数据从哪来、怎么去。以前你有权限访问Hive、ClickHouse,知道怎么提数。现在Agent要调用这些工具,你需要学会怎么把数据源封装成工具接口,怎么配置权限。这不是技术问题,是权限体系理解的问题。

第二,不知道什么时候该用规则什么时候该用模型。以前你写Python脚本处理数据,现在你要判断哪些查询可以硬编码,哪些应该交给大模型动态生成。我见过太多人把整个分析流程都扔给模型,结果准确率根本没法保证。

第三,不知道怎么写可观测的东西。以前你只需要看报表输出对不对,现在你需要看日志、看链路追踪、看模型调用成本和延迟。这是很多分析师的盲区。

自然语言BI的真实场景

文章插图 2

我最近做的一个项目是金融风控部门的智能分析Agent。需求很简单:业务方可以用自然语言提问,系统返回分析结果和可视化图表。

但真正做起来,发现比想象中复杂得多。

输入是业务方的自然语言问题,比如"帮我看看最近一周高风险客户的分布情况"。输出不仅要准确,还要可追溯、可复现。这意味着你不能只把问题丢给模型就完事,你需要:

  • 把问题解析成结构化查询
  • 确认查询的权限范围
  • 执行查询并获取结果
  • 用模型解释结果
  • 记录完整的调用链路

我最初的做法是把所有逻辑都写在Prompt里,让模型"自己想办法"。跑了三天,结果完全不可控。后来我换了思路:把查询构建这个过程拆出来,用规则引擎处理结构化的部分,模型只负责语义理解和解释。

关键转变是从"让模型做一切"变成"让模型做它擅长的,其他用代码解决"。

指标解释Agent:核心实现逻辑

我们最终设计的Agent架构是这样的:业务方提问 → 意图识别 → 权限校验 → SQL生成 → 执行查询 → 结果解释 → 返回输出。

其中权限校验这一步,是我踩过最大坑的地方。

最初我没有做权限控制,模型生成的查询直接打到数据库上。结果有一次,模型生成了一个全表扫描的查询,把生产库拖慢了五分钟。那一刻我才意识到,权限控制不是可选的,是上线的前置条件。

排查过程如下:

现象:线上查询慢,有时甚至超时。

验证动作:查看日志,发现部分查询没有WHERE条件;检查数据库慢查询日志,确认是全表扫描;追溯Agent调用链路,发现某些查询绕过权限校验。

排除结果:问题不是模型能力问题,是权限配置缺失。修复方案是增加查询白名单机制,限制可以查询的表和字段。

代码层面,权限校验的核心逻辑是这样写的:

async def query_with_permission_check(user_id: str, raw_query: str) -> dict:
    """带权限检查的查询执行"""
    # 1. 解析查询,提取目标表和字段
    parsed = parse_sql_query(raw_query)

    # 2. 校验用户权限范围
    allowed_tables = await get_user_allowed_tables(user_id)
    allowed_fields = await get_user_allowed_fields(user_id, parsed.table)

    # 3. 检查是否在权限范围内
    if parsed.table not in allowed_tables:
        raise PermissionError(f"用户无权限访问表: {parsed.table}")

    unauthorized_fields = set(parsed.fields) - allowed_fields
    if unauthorized_fields:
        raise PermissionError(f"用户无权限访问字段: {unauthorized_fields}")

    # 4. 构造安全查询
    safe_query = construct_safe_query(parsed, allowed_fields)

    # 5. 记录查询日志,用于可观测
    await log_query_event({
        "user_id": user_id,
        "raw_query": raw_query,
        "safe_query": safe_query,
        "table": parsed.table,
        "timestamp": datetime.now()
    })

    # 6. 执行查询
    result = await execute_query(safe_query)
    return result

代码解释:这段代码的核心逻辑是先把自然语言查询解析成结构化SQL,然后对照用户的权限范围做校验,最后构造安全查询并执行。异常处理放在校验阶段,如果用户无权访问某张表或字段,直接抛PermissionError而不是继续执行。日志记录这一步很关键,它不仅是为了审计,也是后面排查问题时的重要依据。

优快云资料领取方式

失败原因拆解:三类错误的区分

我的项目早期踩了很多坑,复盘下来主要是三类错误:

业务错误:模型理解错了问题意图,生成的查询和业务方想要的不一样。这种错误的特征是查询能跑通,但结果不对。排查方法是看原始问题和最终SQL之间的映射关系,往往需要补充更多的业务上下文信息。

配置错误:权限配置不当导致合法查询被拦截,或者数据源连接失败。这种错误的特征是查询直接报错,通常日志里会有明确的错误信息。排查时要区分是权限配置问题还是数据源配置问题。

环境问题:数据库连接池耗尽、模型API限流、网络超时。这种错误的特征是偶发的、与查询内容无关。排查时要看监控指标,比如并发数、响应时间、错误率的变化趋势。

我见过最典型的案例是,一个分析师把环境问题和业务问题混为一谈,花了一周时间调Prompt,最后发现只是数据库连接池配置太小。这个坑我帮同事踩过一次,教训是:先确认环境稳定,再排查业务逻辑。

项目案例:从Demo到上线的完整链路

我负责的这个项目,金融风控部门用自然语言查询风控指标。最初是个单人Demo,一周就跑通了。但接入团队项目后,问题一个个冒出来:

第一周的问题集中在权限。不同角色的分析师能访问的数据范围不一样,我们之前没做角色划分,模型生成的查询直接打到全量数据上。修复方案是按角色配置不同的数据视图,并在查询前做权限校验。

第二周的问题集中在日志。出问题的时候不知道是模型生成的SQL有问题,还是数据源本身有问题。修复方案是增加完整的调用链路日志,包括用户ID、原始问题、解析后的SQL、执行耗时、返回结果行数。

第三周的问题集中在可观测性。业务方反馈结果不准,但我们不知道是哪个环节出了问题。修复方案是增加结果校验逻辑,对关键指标设置阈值告警,异常时自动回退到规则引擎生成结果。

这个项目最终上线后,业务方的平均查询响应时间从之前的10分钟缩短到30秒,准确率也达到了90%以上。

适用边界:什么情况下不该照搬

这个方案适合的场景是:数据源相对稳定、查询模式比较规律、业务方有一定的数据分析基础。不适合的场景是:数据源频繁变化、查询逻辑非常复杂、业务方完全没有技术背景。

我的判断标准是:如果你的业务方每天会产生超过50种不同的查询需求,并且这些需求变化很快,那Agent的价值可能有限。因为维护成本和调试成本会很高。这种情况下,不如先做好数据治理,把常用指标固化成报表,Agent作为补充工具。

另外,权限和日志的投入是长期收益,但在项目初期很容易被忽视。如果你正在准备简历项目,建议不要只展示Demo能跑通,而是把你在权限设计、日志规范、问题排查上的思考写出来。面试官问的细节往往不在模型本身,而在这些工程化能力上。

总结

从数据分析转到智能分析Agent,核心能力的迁移是顺畅的,但工程化门槛是真实存在的。权限、日志、可观测这三个东西,是Demo和上线之间的鸿沟。我的建议是:不要急于追求模型能力,先把基础工程能力补齐;在简历项目里多写排查过程和判断标准,这比列技术栈更有说服力;如果条件允许,参与一个从Demo到上线的完整项目,比做十个孤立的Demo有价值。

转型不是换赛道,是换工具箱。你的数据分析经验不会白费,只是需要用工程化的方式重新组装。

资料展示

下面是我整理的AI大模型学习资料和工具包预览,适合收藏后按主题逐步学习。

AI大模型资料展示 1

AI大模型资料展示 2

AI大模型资料展示 3

需要这份AI大模型资料清单的话,在评论区回复「清单」即可;我会根据大家的问题继续补充对应的实战内容。

优快云官方大礼包

AI办公自动化实战:WorkBuddy与Codex集成DeepSeek全栈方案解析 这次我们来看一个关于 AI 办公自动化的付费训练营项目:WorkBuddy + Codex AI 办公自动化训练营。这个项目瞄准的是当前职场和开发者群体最迫切的需求——如何将 AI 大模型能力,特别是像 DeepSeek 这样的国产模型,无缝集成到日常办公和编程流程中,实现真正的自动化提效。 从网络热词和搜索趋势来看,WorkBuddy 和 Codex 这两个工具的关注度非常高,大家普遍关心它们的安装、使用、与 DeepSeek 的对接,以及如何解决实际办公中的文档、表格、PPT 等问题。这个训练营的核心价 阅读详情

相关推荐

从数据平台到数智平台:湖仓一体、语义层与Data+AI双循环架构实践

随着企业数字化转型深入,传统数据平台以报表为中心的单向链路已难以支撑智能应用对数据的灵活消费。湖仓一体架构的出现,将数据湖的灵活性与数仓的规范性结合,为数据和AI提供统一的存储底座。在此基础上,语义层成为连接物理表与业务指标的关键桥梁,也是ChatBI等大模型应用落地准确率的决定因素。Data+AI的核心理念是让数据资产与模型资产双向循环,通过统一元数据、DataOps治理和模型血缘回流,实现数据质量与模型效果的联动优化。这一架构已在腾讯等大规模数据团队的实践中验证,为正在规划数智平台升级的架构师提供了落地

cuiji1279的博客 519

报表转智能分析 Agent:权限日志才是生产上线的真正门槛

摘要从报表分析师到智能分析 Agent,很多人以为会写 SQL 就能上手。实际做完项目才发现,Demo 能跑通和真正上线是两回事。权限控制、日志追踪、可观测性,这些才是横在中间的真实门槛。本文用一次需求评审的冲突开场,拆解数据分析背景的优势与短板,给出具体的验收标准和工具设计思路。---目录需求评审上的那次冲突数据分析转大模型:优势与短板自然语言 BI:不是把 SQL 丢给 LLM 就行指标解释 Agent:把"口径"变成可执行逻辑数据工具调用:权限和日志怎么设计。

2601_96189255的博客 301

物理学建模及仿真平台Chrono安装

Chrono是一个基于物理学的建模和仿真基础设施,它是在C++中实现的独立于平台的开源设计。一个projectchrono库可以嵌入到一个软件项目中,例如在可变形地形上运行的轮式和履带式车辆、机器人、机械电子系统、顺应性机构和流体固体相互作用现象。系统可以由刚性和柔性/顺应性部件组成,并带有约束、电机和接触;部件可以具有三维形状,以便进行碰撞检测。然而安装还是出现了一些问题,所以在此总结。已经装好visual studio。

Already8888的博客 6501

数据分析转大模型:为什么报表分析师做Agent,权限和日志比模型更关键?

摘要:从报表分析师到智能分析Agent开发,很多同行以为转的是模型能力,实际上卡住项目上线的是权限边界、调用日志和可观测性。本文结合一个真实的指标查询Agent项目,拆解从SQL报表到自然语言BI的迁移路径,以及Demo跑通后团队最先遇到的三个工程化问题。---目录数据分析的新机会自然语言BI:从SQL到意图理解指标解释Agent:工具调用比提示词更重要数据工具调用:权限和日志是生死线项目案例:一个指标查询Agent的上线复盘总结:报表分析师的转型路径建议---

2601_96285276的博客 311

Unity URP风格化水面Shader全流程实现与性能优化指南

在游戏开发中,Shader是实现特定视觉风格的核心技术,它通过编写在GPU上运行的程序,控制模型每个像素的最终颜色与光照表现。其原理在于对顶点位置、纹理坐标、光照信息及深度等数据进行一系列数学运算与插值。这项技术的价值在于能够以极高的自由度创造从写实到卡通的各种渲染效果,同时通过算法优化实现对硬件资源的精准控制。在移动游戏、独立游戏等对性能与风格化有强烈需求的场景中,自定义Shader尤为重要。本文聚焦于使用Unity URP渲染管线,从零构建一个高效的风格化水面Shader,详细拆解了深度色、波浪动画、边

weixin_34320724的博客 372

陀螺仪与加速度计的姿态融合——互补滤波

本篇文章我们来讲讲如何将陀螺仪和加速度计的数据结合起来,获取更准确的姿态数据,使用的是互补滤波的方法。

小白白学电子 2万+

从报表到智能分析Agent:权限和日志,才是简历项目的真正分水岭

做数据分析的人转大模型,其实有很多现成的能力可以直接用。SQL 写得溜,模型能帮你写代码;业务指标理解深,Prompt 里你更知道该问什么;数据清洗的耐心,调试 Agent 时同样需要。但问题也出在这儿——很多分析师转过来后,简历上写的项目看起来都很像 Demo:能跑通,能演示,但面试官一问"上线了没有""权限怎么管的""日志怎么看的",就卡住了。今年我观察到一个大趋势:大模型应用从 Demo 转向权限、日志和可观测。这不是空话,是团队在真实项目里踩出来的。

资料免费分享,点击名片 174

STM32外部中断与事件机制深度解析:从硬件触发到软件响应

本文深入解析STM32外部中断与事件机制,从硬件触发到软件响应的完整流程。通过对比中断和事件的应用场景、响应速度及配置方法,帮助开发者优化嵌入式系统设计,特别适合需要低功耗或高实时性的项目。

weixin_29175469的博客 411

告别报表搬运工:数据分析师如何靠权限与日志构建智能分析Agent

以前做数据分析,我的日常就是写 SQL,跑数,然后填进 Excel 或 BI 大屏里。那时候觉得“自动化”就是把报表定时发送,或者写个 Python 脚本自动更新。但自从身边开始流行“大模型+BI”的概念后,我发现大家提到的“智能分析 Agent”往往只停留在 Demo 阶段:在 Jupyter Notebook 里跑个 LangChain 的示例,问一句“上个月销售额为什么跌了?”,它确实能返回一段漂亮的文本分析。但这离真正的生产环境差着十万八千里。

2601_96189255的博客 208

飞塔防火墙CVE-2022-40684漏洞复现:手把手教你搭建靶场环境(附调试技巧)

本文详细指导如何搭建Fortinet飞塔防火墙CVE-2022-40684认证绕过漏洞的靶场环境,涵盖虚拟机部署、网络配置、调试模式开启及漏洞原理分析。通过手把手教程,读者可掌握漏洞复现与深度调试技巧,深入理解该认证绕过漏洞的利用与防御。

h6i7j8的博客 695

Claude Code启动失败解决方案,执行文件不兼容一键修复

Claude Code命令行工具突然报错,显示"不支持的16位应用程序"。作者排查Node版本无果后,发现是Anthropic更新导致Windows兼容性问题。解决方法很简单:卸载旧版、切换npm镜像源、重装最新版即可恢复。经验教训:遇到类似问题应先搜索社区反馈,避免无谓排查,同时注意npm源使用后及时还原。整个踩坑过程虽折腾,但最终只是简单的重装问题。

1463

从报表到智能Agent:数据分析转大模型,为什么总死在权限和日志上?

数据分析师转大模型,很多人以为门槛在算法或Prompt工程,实际上真正卡住项目上线的往往是权限控制和日志可观测。本文结合一个从Demo到生产环境的智能分析Agent项目,拆解从报表到智能分析转型的实际路径,以及为什么你的Agent总在上线路前翻车。---数据分析转大模型,我的建议是:1. 不要一上来就搞复杂Agent。先从自然语言BI做起,解决"让模型正确查数据"的问题。2. 重视工程化能力。权限控制、日志记录、错误处理,这些比Prompt工程更重要。3. 发挥业务优势。

2601_96120158的博客 312

glibc手动升级高版本导致系统(RedHat/Centos)异常(无法开机等)的解决方法(回退低版本glibc)

我的系统是Redhat7.6, 理论上Redhat7/Centos7都可以使用该方法解决问题。 首先慎重提醒各位:glibc升级会产生无法预料的后果!由于Android NDK需要高版本的glibc才可以使用,所以作死手动去更新了glibc2.18,使得重启系统后图形界面消失。(Redhat/Centos升级此类安装包最好用yum升级,因为系统内的程序对他们的依赖很大,升级会导致大部分程序无法使用...

weixin_42881528的博客 9698

从报表到Agent:能写报表的人,为什么写不出能上线的?

很多人以为从数据分析转大模型,就是把报表换成自然语言问答。实际上真正卡住团队的,从来不是 Prompt 怎么写,而是权限怎么管、日志怎么记、文档怎么交接。这篇文章从我最近一个项目的踩坑经历出发,讲清楚报表分析师转型智能分析 Agent 时最容易忽略的三件事:权限隔离、调用日志、交付文档。从报表分析师转型智能分析 Agent,最大的坑不是技术,而是工程化。Demo 阶段,大家关注的是"模型能不能跑通"。生产阶段,关注的是"模型能不能安全、可控、可追溯地跑"。三个建议:1. 先想清楚权限边界,再写代码。

2601_96189255的博客 161

2026年MathorCup数学应用挑战赛大数据竞赛赛道A论文分享

本文基于250款啤酒的化学与感官数据,构建以化合物-感官关系为核心的风味解析框架。通过多输出偏最小二乘与稀疏多任务建模,实现化合物组成到感官强度的稳健映射,并分离连续预测与等级校准;结合Spearman相关网络与重复抽样稳定性分析,筛选各感官属性的关键候选化合物;在低维潜在空间中保留真实风格统计结构,生成Tripel、Kriek等风格的合理化合物谱,并实现Pils/Lager向Tripel的受约束迁移,确保缺陷指标不恶化。三问共享统一数据尺度与模型逻辑,形成可检验的“预测—解释—生成”闭环,强调化学合理性与

180

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

报表分析师做 Agent,Demo 跑通后团队为啥不敢接?

摘要:从报表到智能分析 Agent,很多分析师 Demo 能跑,但团队接手时发现权限、日志、可观测性才是真正门槛。本文结合真实项目,讲清数据分析经验在 AI 项目里的价值与盲区。数据分析转大模型,优势在于懂业务、懂指标、懂数据。但这些优势在工程化面前不够用。我见过太多项目,模型选得不错,Prompt 写得也很精细,但上线后因为权限问题被叫停,或者因为日志缺失无法排查,或者因为文档不全交接困难。

2601_96285276的博客 178

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

五年报表分析转大模型,我在Agent项目里踩过的权限和日志坑

摘要从写SQL出报表到搭建智能分析 Agent,很多人以为大模型接上数据库就算完了。真正卡住线上效果的,反而是权限配置、日志追踪和可观测性。本文从一个真实项目出发,拆解我在简历里如何把这段经历写清楚,以及为什么你的 Demo 能跑通,上线第一天就崩。---回到最初的问题:数据分析经验在大模型项目里值多少?值,但前提是你写对了。简历里不要只写"使用了 LangChain 搭建 Agent",那只是工具,体现不出你的价值。

老男孩的架构路 414

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

数据分析转Agent,Demo能跑就敢投简历?真正卡住的是权限和日志

摘要:从报表到智能分析Agent,数据分析经验的迁移路径并不像想象中顺滑。很多人在Demo阶段就沾沾自喜,但真正上线后才发现,权限控制、日志追踪、可观测性才是横在中间的大山。本文结合近期落地项目,聊聊为什么权限和日志比调API更考验基本功,以及数据分析背景的同学如何补足这块短板。---数据分析转大模型,不是换个工作方式,而是换一套能力体系。SQL会写、看板会做,这些是基础。权限控制:理解业务数据边界,能在代码层面实现管控日志追踪:建立完整的链路记录,排查问题时不抓瞎。

资料免费分享,点击名片 191

数据分析转大模型:权限日志才是Demo和上线的生死线

摘要:从报表分析师到智能分析 Agent 开发者,很多人以为补上 LLM 调用就够了,真正卡住项目上线的是权限控制、日志追踪和可观测性。本文复盘一个从 Demo 到生产踩坑的过程,说明为什么权限和日志比模型智商更重要。---目录数据分析的新机会自然语言 BI 的幻觉陷阱指标解释 Agent 的权限翻车数据工具调用的日志黑洞项目案例:一个从 Demo 到生产崩掉的智能分析 Agent总结---数据分析转大模型开发,模型智商不是最重要的,权限控制和日志追踪才是。

2601_96120158的博客 204

Agent跑通Demo就敢上线?真正卡住数据分析转大模型的是这三项工程

很多数据分析师看到"智能分析Agent"这个词就心动了,觉得自己写个LangChain Demo就能跳槽。但真实情况是:Demo能跑和能上线之间,隔着权限、日志、可观测性这三道工程门槛。本文结合一个电商团队从报表到智能分析Agent的转型实战,拆解技术选型时的判断标准和踩过的坑,帮你算清楚这笔账。---数据分析转大模型,Demo能跑只是第一步。真正值钱的是工程化能力:权限控制、日志追踪、可观测性。这三样做好了,Agent才能从玩具变成工具。

m0_62051288的博客 372

别急着换赛道:数据分析经验在 AI 项目里到底值多少?

去年年底,我带团队接了一个智能分析项目。前端用 Gradio 搭了个聊天界面,后端接了国产大模型,能根据自然语言生成 SQL 查数据。产品经理演示的时候挺流畅,"帮我看看上月华东区销售额"——报表出来了。客户点头,准备上线。结果联调那天,直接翻车。不是模型不会写 SQL,是权限被卡住了。模型生成的 SQL 里带了DROP TABLE,虽然被数据库拦截了,但日志里没有记录这个请求从哪来、谁发起的、用了什么 prompt。运维找上门的时候,我们连责任人是谁都查不出来。

2601_96189167的博客 343

数据分析转大模型,真正值钱的为什么不是会调 API?

从报表开发转向智能分析Agent,很多人卡在"Demo能跑、上线就崩"。这篇文章复盘我带过的一个真实项目——把BI报表升级成NL2SQL智能分析,中间踩的权限、日志、可观测性坑,以及如何把它们写进简历里让面试官眼前一亮。---懂业务指标会写SQL理解数据模型权限控制:不能只靠模型"自觉",要有规则引擎兜底日志审计:出问题能回溯,优化有依据Demo能跑通谁都会,能把Demo变成生产级系统的人,才值钱。简历里别只写"做过NL2SQL",要写清楚你解决了什么生产环境问题。

资料免费分享,点击名片 150

数据分析转大模型到底解决了什么问题?

从报表分析到智能分析 Agent,数据分析工程师的转型路径看起来清晰,但真正卡住你的往往不是模型能力,而是权限控制、日志追踪和可观测性。本文结合近期招聘 JD 和行业趋势,拆解从 Demo 到生产所需的关键能力,给出练习顺序和项目展示建议。从 Demo 到生产,数据分析工程师转大模型最大的门槛不是模型能力,而是工程化能力。权限控制、日志追踪、可观测性,这些在教程里很少被强调,但恰恰是面试和项目落地中最关键的部分。

LLM_9528的博客 340

数据分析转大模型:用项目结果反推能力

很多数据分析同学转做大模型应用时,觉得最难的是 Prompt 工程或者 Agent 框架。但最近几个项目的交付复盘告诉我,业务方提需求时最先问的从来不是"模型精度多少",而是"谁能调数据、谁看了什么、出问题怎么追溯"。这篇文章从一个金融分析 Agent 的交付过程出发,聊报表分析师转大模型时真正需要补的几块能力。---数据分析转大模型,最大的门槛不是算法,也不是框架,而是工程化能力。具体来说,有三个判断标准:1. 权限边界清晰吗?你的 Agent 能访问什么、不能访问什么,有没有明确的规则?

2601_96285276的博客 300

腾讯Agent Suite办公智能体套件:从单点AI到多智能体协作的落地实践

在办公软件全面AI化的今天,单点工具已难以应对复杂业务流程,真正的价值在于构建具备感知、决策与执行闭环的智能体体系。多智能体协作架构通过任务编排引擎将文档处理、数据分析、流程自动化等能力解耦为独立服务单元,结合RAG技术接入企业私有知识库,实现跨系统的自动化工作流。这种模式不仅提升信息处理效率,更让AI从辅助对话走向深度参与业务执行,在金融合规、政务协同、供应链管理等场景已产生显著效益。文章从技术原理与工程实践出发,梳理了智能体构建、知识库调优、工具选型及部署检查清单,为企业落地办公智能体提供了可参考的路径

weixin_29058331的博客 185

视频隐私脱敏工程化:CSRT/KCF追踪算法在本地推理中的实现与边界

在短视频内容合规审查中,动态遮挡(Dynamic Masking)是高频且高耗时的环节。传统手动关键帧打码不仅效率低下,且在目标快速移动或遮挡时极易出现遮罩漂移。本文从计算机视觉工程角度,解析基于CSRT与KCF算法的目标追踪方案在视频隐私处理中的技术路径、性能权衡及落地实践。

Mysssone的博客 302
上一篇: 单人 Demo 跑通很快,团队上线才暴露 Hermes 的三个隐藏门槛
下一篇: Demo能跑通只是及格线:2026年面试官真正在意的是什么
Java技术那些事儿
博客等级 码龄5年 2306粉丝 2584原创
评论 9
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值