- 博客(841)
- 资源 (16)
- 收藏
- 关注
原创 Andy系列文章序
说明博文写的面比较杂,这里做一个汇总梳理1 Python实现决策树更确切的说是「Python实现树族算法系列」。使用Python实现CART决策树,并基于此实现GBDT,Random Forest , XGBoost等模型开始页面:Python实现决策树(系列文章1)–从最简单的算法开始2 Python 函数字典系列这里指的是一种自定义的函数方法。将函数都作为某个字典可以引用的键值,然后可以使用参数化的方法调用链条比较长的函数。未来这部分会打包,以包装其他普通函数的方式来充实里面的函数。
2020-06-07 22:39:33
1337
2
原创 【203篇系列】056 我的Agent系统
上一篇简单说了一年以来到现在的变化,我想现在可以把我现在使用agent 进行日常开发的细节说一下。现在主要是用zcode, 模型基本上只用 glm 5.3 flash。这个模型本身是多模态的,不太需要切换。而且执行过程比较稳,一般不会乱来。glm 5.3 可能强点,但有限,我觉得没有很大差别。每天只在对话中管理任务其实不止任务,包括查找打印机,浏览器操作,压缩文件等,基本上所有的任务都是在工具中用对话完成。从形式上,的确是只通过文本就可以实现几乎所有的操作了。
2026-10-02 14:23:10
327
原创 【203篇系列】055 十个月Agent变革回顾
一个很客观的是,从一月到现在,我真的没再写过代码;而且已经逐渐不核代码;前向的逻辑,采用架构,比如状态机来进行可靠性设计;反向的逻辑,依赖回归,特别是e2e 测试。
2026-10-02 00:56:15
186
原创 【203篇系列】054 Agent 通用执行框架-TOE-DAC
大模型的发展仍然在突飞猛进,回顾一下这7个月的变化,真的非常惊人。虽然agent从年初的glm4.7,到现在chatgpt5.6, 大模型(及其harness)的进展已经很惊人了,但如何去用 agent 真正实现价值,仍然是挺复杂的问题。具体来说:你可以用很简单的语言让codex 帮你完成项目。然后随着时间推移,你会发现许多功能似乎需要修改,于是需要不停的修修补补。这个过程中你会进一步发现还是离不开人,每一步几乎都要你确定。所以最终从体验上来说,codex也没有完全解放生成力。
2026-08-08 10:06:48
280
原创 【203篇系列】053 agent 创建技能
1 skill creator里的经验和我的体验是一致的,例如正文长度小于5000词(和我之前理解的一致:大模型表现最好的时候prompt最好在10k以内,其中5k用于基本的prompt, 5k用于具体业务相关的prompt)2 模板化。大模型可以很灵活,但其实背后恰恰是通过一些固定的模板来约束这种灵活的。一般往上需要建立若干层的模板(2~3层)才能实现很灵活的应用。3 用在哪里?SKILL.md 支持的四种模式Workflow-Based — 基于工作流的技能。
2026-03-28 20:47:20
752
原创 【203篇系列】051 魔改mini-agent
能够基于用户目标理解任务、拆解步骤、调用可用工具、结合上下文记忆持续执行,并在约束条件下自主完成查询、分析、生成与操作。它具备明确的角色边界、可扩展的技能体系、可控的执行策略和人机协作机制,适用于信息检索、内容生成、流程执行、系统操作与多步骤任务编排等通用场景。对于openclaw 来说:此处不继续展开关于openclaw的其他内容(openclaw集成了一套自洽的工具生态),我希望先抓住核心,也就是从agent本身的设置开始一步步的搭建。
2026-03-25 16:40:45
735
原创 【203篇系列】050 关于量化的一些思考
本文探讨了量化交易的本质与价值。作者指出,量化不仅是高频交易,更是将模糊决策规则化的过程,其核心在于稳定执行策略并管理风险。量化交易具有双重优势:固定执行确保策略精准实施,主动学习则通过数据驱动不断优化决策。文章将量化定位为一门"风险生意",通过承担和管理风险获取稳定收益,同时也是一项"决策事业",其深层价值在于将人类决策能力系统化、算法化。量化交易的特殊性在于它既是金融工具,又是决策实验室,最终指向人工智能决策的未来发展。作者强调,量化追求的不是单次高收益,而是在可
2026-03-21 15:45:55
485
原创 【203篇系列】049 顶层Agent层级与能力设计
本文探讨了大模型在替代人类工作方面的潜力与局限,并提出AndyBot框架来优化人机协作。作者基于200万行代码的AI辅助编程经验指出:大模型本质是概率模型,擅长低逻辑复杂度任务,但缺乏深层推理能力。针对这一局限,文章提出AndyBot Schema 0.1框架,将任务分解为三层结构:规划层(目标定义)、细化层(技术转化)和实现层(代码生成)。该框架通过结构化流程约束大模型行为,强调需求对齐、模块化设计和渐进式验证,并配套AGENTS.md、SPEC.md等规范文件。最后展示了半自动化开发场景的工作流,说明如
2026-03-15 00:22:35
528
原创 【203篇系列】047 基于openclaw的一些使用情况
本文主要介绍了OpenClaw系统的几个关键组件和功能: 版本升级:OpenClaw升级过程简单快速,但可能导致插件丢失,需要通过Code Buddy修复。尽管系统不够稳定,但其高层抽象设计值得期待。 ACPX:作为Agent Spawn功能的运行时后端,ACPX管理子Agent的生命周期,类似于Docker容器。文章详细说明了其工作流程和配置要求。 ACP协议:定义了AI代理与客户端应用之间的标准化通信框架,支持动态交互和断点续传,包含两种应用模式。 subagent与ACP区别:比较了两种运行模式在运行
2026-03-09 14:44:28
1175
原创 【203篇系列】046 基于openclaw的agent swarm
摘要:本文探讨了Agent Swarm(智能体蜂群)架构及其在大模型应用中的价值。文章指出,随着openclaw等工具的出现,大模型正从专业领域扩展到更广泛的非专业用户群体。Agent Swarm通过多个功能专一的智能体协同工作,采用任务分解和协作通信机制,能更好地处理复杂任务。核心组件包括调度器、智能体集群、通信机制和共享内存等。文章分析了四种实现技术路线,并强调群体智慧的重要性——简单个体通过局部交互产生复杂智能行为。最后作者结合实践经验,认为这种架构能有效突破单个大模型的逻辑复杂度限制。
2026-03-09 00:13:30
1084
原创 【203篇系列】043 Agent 执行引擎
Agent执行引擎(AEE)是大模型与外部工具间的智能协调系统,通过自动化"提问-思考-调用-反馈"循环提升任务完成效率。核心架构包含推理规划层(任务分解与动态决策)、工具管理层(注册/调用/认证)和记忆状态层(短期/长期记忆管理)。典型应用如编程助手Opencode和电脑管家Openclaw,通过结构化设计实现高效开发与多任务处理。当前大模型在逻辑思维、任务规划与细节处理上的进步,使Agent系统展现出更强的自主解决问题能力。单步引擎设计可优先实现核心的推理与工具管理功能,基于Clau
2026-02-23 23:02:17
942
原创 【203篇系列】042 AndyBotFS
本文探讨了构建安全透明的文件操作MCP(AndyBotFS)的必要性和设计方案。作者基于对AI助手安全性的担忧,提出需要通过代码透明和可读性来确保文件系统操作的安全性。文章详细描述了一个基于FastMCP开发的文件操作工具集规范(st-0012),包括服务架构设计、目录结构要求(如server.py、.env、funcs.py等文件)和核心功能实现(文件读写、编辑、移动、删除等操作)。该方案采用Python实现以提高可读性,并采用微服务架构进行两级划分,避免性能浪费。作者强调将主要担任设计和验收角色,保持代
2026-02-19 18:50:58
672
原创 【203篇系列】041 Websocket Server
本文介绍了WebSocket的核心原理与Python实现方案。WebSocket通过HTTP升级建立长连接,实现高效双向通信,适用于实时聊天、数据推送等场景。文章对比了Python中五种WebSocket方案:websockets适合学习原型,FastAPI适合新项目整合,Tornado适合定时推送,picows追求低延迟,websocket-rs性能最优。通过50行代码实现了一个基础的Echo服务器,并进一步演示了连接管理功能,包括用户区分、会话记录和心跳保活机制。实验证明WebSocket能有效维持长连
2026-02-15 21:07:33
1184
1
原创 【203篇系列】040 大模型辅助部署
摘要:本文探讨了利用大模型优化三类常见技术工作的效率提升方案。针对ETL类工作,通过图结构处理+规范文档已实现2倍效率提升,预计可达4-5倍;复杂数据处理建议简化为单对象处理,预期效率翻倍;部署运维方面,借助腾讯云Code Buddy工具实现自动化操作,但需注意安全限制(物理机沙箱优先)。文章以JWT服务部署为例,展示了nginx配置的挑战性,发现Caddy比nginx更易配置。最后提出建立部署知识库(结构文档+样例)的优化方向,并肯定大模型在文档编写方面的优势。
2026-02-09 20:50:47
696
原创 【最后203篇系列】039 JWT使用
本文介绍了JWT(JSON Web Token)的身份验证与授权机制实现方案。文章首先阐述了JWT的基本结构(Header.Payload.Signature)和使用流程,强调必须配合HTTPS确保安全。然后详细说明了采用JWT的原因:解决微服务架构下的授权问题,并支持智能网关的路由策略。核心部分设计了JWT的Payload字段(包括iss、aud、sub等)及其功能,并配套设计了用户注册表和权限表的数据库结构。最后描述了实现过程,包括创建数据模型、连接函数和交互式命令行工具,以及使用Gradio构建前端界
2026-02-08 22:11:04
894
原创 【最后203篇系列】036 MDP学习思考
本文介绍了马尔可夫决策过程(MDP)的基本概念及其在强化学习中的应用。MDP通过五元组(S,A,P,R,γ)描述决策环境,其中策略π是核心优化对象。文章比较了两种策略(随机策略和向右策略)在一维环境中的表现,通过状态价值函数V和动作价值函数Q评估策略优劣。代码示例展示了策略评估过程,表明向右策略能更快达到目标状态并获得更高回报。MDP为强化学习提供了理论基础,即使在不完全了解环境(P,R)的情况下,也能基于此假设进行策略优化。
2026-02-05 23:47:27
877
原创 【最后203篇系列】037 大模型编程
摘要: 2026年起,大模型编程工具升级表明AI替代人工编程已成趋势。国产大模型如GLM4.7、MiniMax2.1在编程能力上表现优异,未来将有更多优化。编程工具(如OpenCode)围绕大模型提供规范与辅助功能。目前,大模型擅长解决流程性问题(如ETL),但复杂逻辑仍需人工抽象与示例引导。实践表明,结构化规范(如ST-0001/0002/0009)能提升大模型生成代码的稳定性,而“抽象+打样”模式可解决逻辑性问题。未来,大模型编程将覆盖全栈开发,显著提升效率与质量,推动开发者转向更高阶的设计与规划工作。
2026-02-04 14:32:07
879
原创 【最后203篇系列】035 数据表同步简单方案
有一个常见的任务:将数据从事务表搬到分析表。整个过程比较长,所以是可能中断的,那就会比较麻烦:不知道在哪里断了,怎么衔接。在034里,我试着用sqlite进行简单的任务持久化,每次根据持久化结果执行任务。原理没问题,逻辑没问题。但实际执行还是出了幺蛾子:我发现有些重服务的任务执行。一方面是terminal中断导致的问题,另一方面sqlite的读写怎么会有影响???照理说,每次处理完我都commit状态更新,最坏的情况应该也是差一个区块。
2025-08-23 13:29:29
379
原创 【最后203篇系列】034 使用SQLite构建简单的任务管理
每次启动时,读出未处理的任务。任务里有tuple参数,根据tuple的起止区间获取数据后进行处理,如果成功就根据任务名将状态更新为2,异常则更新为3。这样每次重复执行这个就可以了,因为数据持久化在文件中,所以即使和服务器断开连接也没关系。有时候需要将一个表的数据复制到另一个表,循环是常用的方式。我希望可以比较简单的跑数,所以做一个简单的任务系统。SQLitre是嵌入式数据库,这样脚本可以不必考虑太多依赖,又可以用到数据库的持久化功能。同步任务,可以按照id分为若干区间,每个区间任务额可以称为lot。
2025-08-20 21:28:18
632
原创 【最后203篇系列】033 Mongo副本集修复过程
今天又经历了一次修复Mongo副本集的过程,我觉得得写下来。大约在3年前搭建了Mongo集群(Mongo5),然后我使用ip代理的方式让集群的机器可以公网访问。ip代理机器一般只能租3年,所以到期就会更换,此时就会出现问题:集群的机器不能通信,访问失败首先,肯定是要登录到终端。在查询大概会是这样的:此时整个集群已经属于不可用状态, node1, node2和node3都已经失联了。
2025-08-18 23:58:55
779
1
原创 【最后203篇系列】032 OpenAI格式调用多模型实验
OpenAI比较早推出,也就基本定了大模型的一些事实标准。另外就是现在大模型,特别是国产大模型发展的比较快,可能同时要使用多个。我是希望进行比较选优的,所以能统一一个函数进行调用比较好。openai的版本用Tornado来包装一个通用对象str大模型的调用按使用上可以分为:普通-流式、字符串-json、独立调用-缓存调用。这里先锁定普通非缓存的方式,只是区分字符串和json两种输出。我分别调用了豆包、智谱和deepseek,我发现几种模型的指令遵循还是略有不同的。
2025-08-16 21:28:28
534
原创 【最后203篇系列】031 构建MCP尝试
到这里,复现先告一段落。主要还是时间原因,后面up主展开了日志追踪来分析MCP交互的过程,里面有一些方法是高于这个实验本身的,比如做一个代理的OpenAI Compatible服务。然后我又和大模型确认了一下MCP的定位,在视频中,up主也是提到目前大部分mcp都是走stdio方式通信的。应该是没有必要吧,mcp服务如果等同于脚本,起到的是和大模型交互的作用,完成工具注册和调用等功能。而重负载服务可以通过http服务进行,mcp server只要通过异步方式调用就可以了。
2025-08-10 22:59:01
948
原创 【最后203篇系列】029 基于Machinations构造回测系统
做完了之后我反思了一下,这和我之前写的程序有什么不同。仅仅是一种口味的变化,还是层次的上升?原来的代码,有一个即时手搓的,是这样的,逻辑是都在里面了,逻辑都在里面了,但是比较难看,也比较难改。这里没有什么组件设计,只是把需要的逻辑堆叠在一起。有点像直接翻过一堵矮墙,姿势比较难看,也没有什么复用性。这次做的多少有点设计感,各功能部件还是高度抽象的,这意味着调试更简单,而且不只可以用在量化,还可以用在普通的程序设计中,复用性很好。else:# 计算结果。
2025-04-20 11:18:58
1296
2
原创 【最后203篇系列】028 FastAPI的后台任务处理
一个比较笨(现在有在用)的方法是在处理时将数据采样发送到kafka,然后担心kafka服务出问题,又做了try…当然,在接口中logging和redis这样的操作倒是没关系,因为时间足够短。某种程度上来说,logging+ logstash可能是更好的方案,redis都还有可能挂。CeleryWorker已经搭好了,但是我一直想在用户请求时进行额外的处理会比较影响处理时间,用这个正好可以搭配上。这样既不会影响请求时间,又可以把需要做的操作,例如在内存中记录,修改状态;实验成功,感觉还挺好的。
2025-04-19 00:08:56
542
原创 【最后203篇系列】027 基于消息队列的处理架构
这个项目下周就要交付了,挺有意思的。一方面,这是对于设计理念的实证。就一个要求很高的既要又要还要需求,我们是否可以通过良好的设计来保证实现。有些场景我已经进行了初步验证,接下来就要进行大规模检验了。另一方面,这次实现的范式应该是一种更优解,应该可以使未来的同类工作大幅简化。所有的任务都可以规约到这样的统一输入,而且入口可以是同一服务(微批次),这样就不必为每个新的任务单独开辟新的微服务。
2025-04-13 17:28:00
1162
原创 【最后203篇系列】026 FastAPI+Celery(续)
使用相同的配置文件,是因为在服务向celery_app传递信息时,需要使用一致的消息队列(redis)。最后,还应当给到一个ORM(就叫FastCelery),使得任务的操作非常简便。,大致把我对celery的研究历史梳理了一遍,然后按照最新的方法重新包了一次,明确了其定位,使用方法。想了一下,我觉得最重要的还是不要烂尾,所以先进行使用封装,定时任务搞了好几遍了,先不花时间。当然,因为webhook是我胡编的,后台应该有一个webhook失败的日志,但可以不理会。测试之前的微服务调用任务,也是没有问题的。
2025-04-01 23:09:48
1191
1
原创 【最后203篇系列】025 FastAPI+Celery
我记得后来我有看了一些工具,airflow, prefect,发现这些工具似乎背后还是celery,那我问题就不在celery,而是我的认知可能有偏差。SSE看起来是Stream的方式,这个和大模型实时返回有点像,websocket主要是用了新的协议,是可以在连接中双向交互的,适合实时对话的场景。当服务开500并发,然后就出错了,正好单个任务的时间超过了之前设定的30s,重新改60s,问题解决。callback 和 webhook,我的理解是一样的东西,实现的机制不同。看来是线程之间切换的问题。
2025-03-30 00:02:04
1426
1
原创 【最后203篇系列】023 MacMini的ollama服务
以deepseek-r1-14b为例,执行效率上,m4入门级芯片的算力大约为4060ti一半,比我预想的要差一些。mac 毕竟是一台完整的电脑 ,还能执行多种功能,能耗低,无需额外散热,没噪音,体积小。对大模型来说,关键是UMA,16G相对还是便宜的,再高就要贵很多。我问了豆包,最初它的回答正确了99%,可惜大小写搞错了。我估计它的资料是更早一些的,后来的ollama变了。在mac上用ollama跑大模型也是最方便的,安装一下软件,pull一下就好了。反正之后又摸索了好一会,大约半小时到一小时,整明白了。
2025-03-23 11:50:42
674
原创 【最后203篇系列】022 用Deepseek14b提取新闻事件
这算是之前一直想做的一件事,趁周末赶快做了。业务意义:现实中有大量的舆情,这对我们的决策会有比较重要的作用。
2025-03-22 23:42:03
1369
原创 【最后203篇系列】021 Q201再计划
在找基准策略的过程也是挺戏剧的,只能说,对的东西往往都出奇的简单。基准策略的盈亏比已经显著超过了2,这是一个很有意义的数字,而且这是在一个相对比较大的统计数字下得到的,很可靠。说起来,我周末的记得开始处理一部分新闻数据了,至少先提取处罚类的数据,这两天发现还是挺有预测性的。未来的变化,是交给算法去做的,我只是定了一个基础框架而已。实际上,一个code的探索,应该有非常庞大的计算量,例如在任何时间开始回测,采取多种策略的pk。纵的部分是为了能够无差别处理大量的逻辑计算,横的部分是为了确保这些纵都是有意义的。
2025-03-21 23:33:15
636
原创 【最后203篇系列】020 rocksdb agent
我还真没想到一个专职的前端,加测试,以及其他一堆人,竟然不知道后端返回的markdown,在前端渲染成html展示后,如果字体太大,应该去改css这件事。最好的选择当然是redis,目前也是这么干的,还能直接设置一个ttl,很方便。然后我就像装一个环境来着,之前我以为rocksdb是像mysql那样,要专门起个服,后来发现是嵌入式的,类似sqlite的方式,只要pip就好了。总体上的效果还是让人满意的,每条大约是2ms-6ms的读写,有相当一部分会损耗在json序列化和反序列化上,但这也是必须的。
2025-03-21 00:00:06
713
原创 【最后203篇系列】016 Q201架构思考
Q200已经达到了我既定的目标,在最近的3个月,我需要进一步完善,达到可以试产的程度。在这个过程当中,许多知识和体会一直在变。qtv200到目前,虽然通过习惯(每晚运行离线策略和比对)方式维持了注意力的集中,但是仍然有一种睡一觉就容易忘掉的感觉。而今天在思考队列作用时,突然意识到,etl的流应该通过kafka来执行,只有通用的核心能力才需要做微服务。类似这样的灵感,然我觉得有必要在下一步实施之前重新约定整体的架构。在谈架构之前先看看业务上的要求和设计。
2025-03-15 23:40:12
1200
原创 【最后203篇系列】015 几种消息队列的思考
队列还是非常重要的中间件,可以帮助我们:提高处理效率、完成更复杂的处理流程最初,我觉得只要掌握一种消息队列就够了,现在想想挺好笑的。
2025-03-15 20:47:13
843
原创 【最后203篇系列】014 AI机器人-1
终于开张了,我觉得AI机器人是一件真正正确,具有商业价值的事。把AI机器人当成一笔生意,我如何做好这笔生意?一端是业务价值,另一端是技术支撑。如何构造高质量的内容和服务,如何确保技术的广度和深度?正好在做这件事,所以我想不太多谈技术,把核心的理念和故事串一串。为技术而技术是没有价值的,为商业价值而产品又是没有生命力的,怎么让商业背后自然衔接到技术,而技术又如何自然衍生出商业价值,这是最为关键的。
2025-03-12 22:13:07
570
原创 【最后203篇系列】011 Mongo异步代理开发回顾
出于我自身的使用特性,我较早就确定了以Mongo为主库,然后其他业务形态根据实际场景进行细分的框架。最初的时候做了一版同步版的Mongo Agent,用于代理数据库操作,后来发现在大量使用的时候数据库会承受很大压力,浪费CPU。这大概是与我最初是做数据分析、建模有关系的,在这种场景下的确是批量操作大量数据;而在应用的场景下,往往是大批量的小数据操作-- 这会占据太多数据库连接不释放,网络情况越糟,这种情况越严重。也就是说在分布式的场景下,Mongo Agent不适用,这是由于同步和异步的基本特性产生的。
2025-03-09 17:43:34
956
原创 【最后203篇系列】010 关于矩阵的一点思考
今天拿起一本矩阵的书又翻了翻,毕竟AI搞到最后还得是数学。我是感觉自己高数始终有点学的迷迷糊糊的,就打算这一年慢慢把矩阵部分扫一遍,毕竟这快肯定是实打实有用的。其他高级部分就等我发财之后再说了,哈哈。
2025-03-01 22:31:15
1097
原创 【最后203篇系列】006 -使用ollama运行deepseek-r1前后端搭建
这块已经不算新内容了,年前搭完了后端(ollama),本来想早点分享的,但是当时的openwebui有点不给力,有些地方不适配,然后配置项找不到。所以前端没搭好,也就不完整:只能通过命令行或者接口调用,可用性、体验感不强。今天看到别的文章推荐了chatbox,试了一下还是挺方便的,所以就顺带补完。
2025-02-03 20:56:35
646
原创 【最后203篇系列】004 -Smarklink
是一个非常有挑战性但也非常灵活的选择。通过 Tornado 的异步特性和强大的编程能力,你可以实现非常精细的控制,满足特定的业务需求。
2025-02-02 10:48:18
1091
netflix_titles.csv
2020-05-29
1 python的三种类方法
2021-01-10
DataManipulation-0.1.12.1-py3-none-any.whl
2020-07-11
DataManipulation-0.1.6-py3-none-any.whl
2020-05-24
DataManipulation-0.1.7-py3-none-any.whl
2020-05-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅