- 博客(342)
- 资源 (17)
- 收藏
- 关注
RSS订阅
原创 10-leveldb repair流程及优化方法
leveldb做为一个单机存储引擎，难免遇到数据损坏的情况：比如意外断电、磁盘坏块等。轻者文件损坏无法读取，严重者则导致数据库无法启动。这个时候就需要进行数据修复了。leveldb提供的修复流程如下：(1) wal日志文件转化为sstable文件(2) 扫描所有的sstable文件(3) 生成MANIFEST文件:由上述流程可知，leveldb修复后会将所有的文件添加到level 0,根据level 0层的规则，由于文件之间key有重叠，读取时会在每个文件都读取一次，速度是很慢的；同时，我们知道Lev
2022-06-13 11:45:00
1578
2
原创 09-leveldb性能优化(三)
本文主要讲述如何设置WriteOptions参数、ReadOptions参数以及compact参数，来提升读写性能。
2022-06-01 22:13:18
1070
原创 08-leveldb性能优化（二）
本文主要介绍leveldb写缓冲区大小、块缓存大小、块大小、文件大小等参数的原理，以及如何合理地设置这些参数以达到性能优化的目的。
2022-05-30 12:30:00
2379
原创 07-leveldb性能优化（一）
1-Compaction：清除冗余数据，减少磁盘IOCompaction为什么能提升查询性能，我们从leveldb的原理说起。如图所示，数据写入leveldb的过程如下：数据写入MemtableMemtable达到一定大小后变为Immutable MemtableImmutable Memtable通过Minor Compaction写入0层SSTable数据读取流程如下：从Memtable中查询；从Immutable Memtable中查询；遍历level 0所有文件，若未查找到
2022-05-18 22:01:43
1701
原创 06-Leveldb实现-sstable
本文主要介绍leveldb中sstable文件的组成及格式，数据块、元数据块、元数据索引块、索引块、footer的结构，并结合源码进行分析。
2022-05-14 20:53:26
389
原创 05-Leveldb实现-Memtable
Memtableleveldb数据写入时并非直接落盘，而是先保存在内存中，在内存中的数据按key进行排序。当内存中的数据达到一定大小时，再将这批数据批量写入磁盘。在内存中的数据结构我们称之为Memtable，本节将介绍Memtable的实现。先看代码：class MemTable { public: // MemTables are reference counted. The initial reference count // is zero and the caller must c
2022-05-08 22:13:10
865
原创 04-Leveldb实现-Log
日志文件包含了一系列的32K大小的块。每个块包含了一系列的记录（record):block := record* trailer?record := checksum: uint32 // crc32c of type and data[] ; little-endian length: uint16 // little-endian type: uint8 // One of FULL, FIRST, MIDDLE, LAST data: uint
2022-04-24 12:00:00
681
原创 03-Leveldb原理
01-简介谷歌曾经发布过三篇大名鼎鼎的论文，《GFS-Google FileSystem》、《BigTable》、《MapReduce》，其中BigTable中描述了分布式数据库的实现，而leveldb正是该论文中所描述的tablet的具体实现。同时，leveldb的作者就是《BigTable》论文的作者。leveldb是一个非常简洁且具有代表意义的基于LSM TREE的存储引擎，堪称经典。掌握了LEVELDB，也就掌握了LSM TREE思想的精髓。leveldb存储引擎的原理框架如下图所示：上图简
2022-04-17 08:38:13
855
原创 02-leveldb入门
01-leveldb编译和使用在github下载开源代码：git clone --recurse-submodules https://github.com/google/leveldb.git进入项目根目录，执行以下命令：mkdir -p build && cd buildcmake -DCMAKE_BUILD_TYPE=Release … && cmake --build .以上命令运行之后会编译全部代码包括测试程序，windows下编译生成文件在leveldb
2022-03-20 19:27:48
1822
原创 01-leveldb概述
01-存储背景数据存储是信息时代的一项基础技术，是各种互联网应用背后的重要基石。例如我们每天用到的各种APP，看头条，刷抖音，以及个人的各种电子数据的保存等等，都离不开存储技术。在开发者的角度，数据存储大多是使用数据库，而大家广泛使用的又是比较成熟的关系型数据库，例如mysql、oracle、db2、sqlserver等。一直以来，关系型数据库得到大家的青睐。但随着互联网和信息技术的发展，以及各种新的应用场景的需求，各种数据库不断涌现，也出现了新的数据库类型，比如kv数据库、文档数据库、图数据库、时序数
2022-03-13 19:07:24
2042
原创 椭圆曲线密码原理
椭圆曲线密码概述⾃从公钥加密被发明之后，⼀些合适的数学函数被提出，譬如：素数幂和椭圆曲线乘法。这些数学函数都是不可逆的，就是说很容易向⼀个⽅向计算，但不可以向相反⽅向倒推。基于这些数学函数的密码学，使得⽣成数字密钥和不可伪造的数字签名成为可能。⽐特币正是使⽤椭圆曲线乘法作为其公钥加密的基础算法。 在⽐特币系统中，我们⽤公钥加密创建⼀个密钥对，⽤于控制⽐特币的获取。密钥对包括⼀个私钥，和由...
2018-04-03 11:25:14
5187
原创 公钥密码体制RSA算法原理
RSA概述假如你已经了解了对称密码体制，你肯定知道对称密码中存在着密钥分发和管理的难题。为了解决这一问题，Whitefield与Martin Hellman在1976年提出了一个奇妙的密钥交换协议，称为Diffie-Hellman密钥交换协议/算法(Diffie-Hellman Key Exchange/Agreement Algorithm)。这个机制的巧妙在于需要安全通信的双方可以用这个方...
2018-04-03 10:22:47
10223
1
转载 用Python从零开始创建区块链
原文地址：https://learnblockchain.cn/2017/10/27/build_blockchain_by_python/ 本文通过python编程实现了区块链的一个原型，通过代码可以形象地理解区块链的工作原理，具体细节请看原文。代码地址：https://github.com/anda0109/pyblockchain 下面是完整代码：import hashlibi...
2018-03-14 17:10:49
777
原创 Ubuntu搭建以太坊开发环境—使用truffle框架
环境ubuntu-14.04 ubuntu-14.04-desktop-amd64.iso ，不多解释。 nodejs用来安装truffle等工具truffle ，目前最好用的以太坊开发框架 ganache ，可以跑开发环境下的私有区块链步骤1、前提是ubuntu已经可以正常使用，包括上网。 2、下载nodejs,按经验apt-get安装的nodejs不可用，估计apt...
2018-03-09 10:33:09
2285
转载 Windows下编译bitcoin
编译windows版的比特币程序，基本上有两种方法，一种是在linux平台(推荐ubuntu 13.10)通过交叉编译的方法来编译，另外一种就是直接在windows平台编译。第一步:安装变编译环境QT和MINGW,msys1、msys是一个在windows平台模拟shell的程序。访问http://sourceforge.net/projects/mingw/files/Install...
2018-03-06 14:55:46
1766
原创 Ubuntu下编译windows版本bitcoin
要编译windows版的比特币程序，基本上有两种方法，一种是在linux平台(推荐ubuntu 13.10)通过交叉编译的方法来编译，另外一种就是直接在windows平台编译。下面就详细介绍一下如何在Ubuntu平台编译比特币程序。官方参考：https://github.com/bitcoin/bitcoin/blob/master/doc/build-windows.mdUbun...
2018-03-06 14:54:53
1629
原创 centos7环境下编译bitcoin
centos7虚拟机安装虚拟机安装完成后需要配置好网络，能连接上互联网后再进行后面操作。vi /etc/sysconfig/network-scripts/ifcfg-ens33 (ens33为网卡名称)TYPE=EthernetBOOTPROTO=static #启用静态IP地址DEFROUTE=yesPEERDNS=yesPEERROUTES=yesIPV4_F...
2018-03-06 09:51:36
1946
原创 A2UI 协议: AI 直接画界面，而不是只会打字
A2UI 是由 Google 主导的 Agent 驱动界面协议，解决 AI 无法安全生成可交互界面的难题。它通过声明式组件数据流，让 AI 以结构化方式输出界面描述，客户端用原生组件渲染，实现“说”与“画”的统一。其核心优势在于安全（无代码执行）、对大模型友好（扁平可流式输出）、框架无关与渐进渲染。结合 A2A 协议，构建闭环交互，已在订餐、图表等场景落地。未来，AI 应用将从文字对话迈向动态界面，开发者需构建专属组件库，抢占“界面生成”先机。
2026-09-28 11:55:29
363
1
原创 Anthropic工程实践：解耦大脑与双手，构建可扩展的托管代理系统
Anthropic在2026年提出“托管代理”架构，核心是解耦代理的“大脑”（模型与控制框架）与“双手”（执行环境）。面对模型能力快速迭代导致传统框架假设失效的问题，该设计借鉴操作系统抽象思想，将系统分为会话、harness和沙箱三类稳定接口，实现组件独立演进。通过引入“牲畜式”可替换架构，提升容错性、安全性和扩展性，支持多脑多手协同，显著降低首令牌延迟，为复杂系统应对未来不确定性提供长期演进范式。
2026-09-16 09:05:44
107
原创 Anthropic：面向长时运行应用开发的Harness 设计
回过头看，这项工作的每一个阶段都在验证同一个规律：模型在变强，但好的 Harness 设计能撬动的增量也在变。上下文重置和生成-评估分离，解决了长运行 Agent 最容易失控的两个环节。GAN 式的多轮迭代，从前端设计的审美突破到全栈应用的功能完整性，都带来了单次生成无法企及的提升。而 Opus 4.6 的升级过程则提醒我们：Harness 不是搭好就一劳永逸的——新模型来了，要敢于拆掉不再承重的组件，同时在新能力边界之外搭建新的支撑。
2026-08-25 14:05:52
309
原创 Agent Harness 工程：让大模型从「能聊天」到「能干活」的关键一层
Agent Harness 是大模型应用落地的「最后一公里」。模型能力再强，没有好的 Harness 也无法转化为可靠的产品。让我们回顾一下七个关键维度：01 Agent Loop——驱动「思考、行动、观察」的循环引擎。Devin 的核心不是更强的模型，而是精密的循环控制和错误恢复。02 工具层设计——模型与真实世界的接口。Anthropic 的经验表明，优化工具描述可以降低 40% 的误用率。03 上下文管理——在有限窗口里做无限的事。
2026-08-25 13:57:20
328
原创 2025年度10大AI事件盘点。
2025年已经悄然过去，回望这一年，AI不再是科幻电影里的概念，而是真真切切地走进了我们的生活。从年初的"Deepseek火爆全球"到年末的"Manus被Meta收购"，整个AI圈简直像一场全年无休的“神仙打架”。今天，我们就来盘一盘2025年最值得关注的10大AI事件，看看有哪些让我们惊呼的瞬间！
2026-01-05 10:37:00
1249
原创 DeepSeek-OCR：用“一张图“压缩万字长文，大模型记忆的新思路
DeepSeek-OCR 突破传统OCR局限，实现图像到文本的高效转换。这项技术不仅能精准还原文档内容，还创新性地将图像作为文本压缩媒介，100个视觉token可还原近1000字文本，准确率达97%。其核心在于新型视觉编码器和30亿参数语言模型的协同工作，支持多语言、公式、图表等复杂内容解析。更深远的意义在于，它为大模型提供了模拟人类记忆机制的新思路——通过控制图像分辨率和token数量实现渐进式遗忘，有望突破长上下文处理瓶颈。实际应用中，单台A100每天可处理20万页文档，展现出强大的商业潜力。这项技术或
2026-01-04 14:33:23
1011
原创 面向 AI 智能体的有效上下文工程
摘要： 《上下文工程：构建高效智能体的新兴艺术》探讨了AI领域从提示词工程向上下文工程的演进趋势。文章指出，随着大语言模型应用从单次交互转向长期运行的智能体系统，优化上下文token集合成为关键挑战。作者分析了上下文工程的必要性，强调LLM存在"注意力预算"限制，长上下文会导致信息检索能力下降。文章提出了有效上下文的构成要素：精炼的系统提示、设计良好的工具集和代表性示例，并介绍了"即时"上下文检索策略和长期任务的压缩技术。最后指出，随着模型能力提升，智能体设计将趋向更
2026-01-04 14:11:35
1086
原创 智能体开发实战：用Deepseek做一个生成思维导图的智能体
【摘要】在信息过载时代，一款基于ZAI智能体平台的"智能图表"工具应运而生。该工具利用大语言模型分析文档/网页内容，一键生成思维导图、鱼骨图或树状图，可视化呈现核心观点与逻辑结构。用户可通过上传文档、输入网址或主题三种方式快速获取内容精华，大幅提升阅读效率。该工具仅用一天开发完成，依托Antv/G6框架实现前端渲染，现已在ZAI平台开放体验，帮助用户从海量信息中高效提取关键内容。（150字）
2025-08-15 17:37:26
781
原创 All In AI两个半月，我的成长路径、总结与未来规划。
摘要：作者分享了自己从接触DeepSeek AI到全职投入AI创业的历程。春节期间被AI推理能力吸引后，经历了本地部署模型、购买工作站等探索，最终开发出智能体平台ZAI（Zero to AI）。平台包含模型管理、工具管理、知识库管理和智能体编排四大功能模块，支持多种大模型接入和RAG应用开发。目前已完成线上部署（zycdai.com），未来计划扩展工具库、开发通用模板智能体并持续优化性能。文章记录了作者从AI爱好者到创业者的转变过程，展现了当前AI领域的发展机遇与挑战。
2025-08-15 10:56:56
1294
原创 一个例子看LLM的工具调用流程
前面在我们使用langchain等框架做多工具调用的时候，我们不清楚具体的交互流程。LLM的推理过程是怎么样的，是一次做完规划还是逐个调用工具。我们今天直接使用openai的接口，用原始的写法来看它具体执行的过程是怎样的。
2025-05-12 14:29:37
549
原创 10-小米开源的MINO模型，到底什么水平。
总的来说，MiMo-7B如果是6个月前发，可能算得上推理模型的顶流。今天发，应该不会引起太多关注。对于我们普通的推理模型使用者，也不用关注这个模型。Deepseek-R1、Qwen3系列4b以上模型，任一个性能都比它要好。他的价值在于将探索过程公开，使用推理数据做预训练，使基础模型天然具备推理潜力，同时在强化学习奖励机制和性能方面做了一系列优化。为开源社区提供见解和思路，也是一种贡献。深度探索AI应用。
2025-05-01 09:49:52
1716
1
原创 09-Qwen3开源，性能全面碾压deepseek，本地部署实测来了
对于阿里新开源的模型Qwen3，用相对少的参数获得了更高的性能，将会进一步降低模型的使用成本。这将进一步促进大模型应用的发展。同时，思考和非思考模式合二为一，不管对于使用体验还是部署成本也是一个重大的进步。还有，工具调用支持能力，对于Agent极其重要。虽然在我的测试中存在瑕疵，相信官方版本中会解决这个问题。好了，Qwen3的分享就到这里。今天的Qwen3力压deepseek，同样期待明天deepseek-R2的再次超越。深度探索AI应用。
2025-04-30 09:04:36
2182
原创 08-5分钟用langchain实现一个能查天气的Agent
Agent可以经过反复调研为我们出股票分析报告，可以根据我们的需求和预算帮我们制定旅游计划，甚至可以根据我们的需求帮我们写一个网站。它不再是简单的只能对话的“玩具”，而是可以规划和执行的帮手。也就是具有了Resoning + Action的能力。能根据模型的推理和规划，来调用工具，完成复杂任务，这就是对Agent最基本的理解。重点是根据模型的推理和规划来调用工具，而不是人为硬编码固定流程来调用工具，后者我们一般称为workflow。
2025-04-28 14:46:51
1463
原创 07-轻松实现文字转语音 - Coqui TTS部署实践
Coqui TTS是一个开源的文本转语音（TTS）工具包，旨在提供高质量、灵活且易于使用的语音合成解决方案。它由 Mozilla 的 TTS 项目发展而来，并在社区的支持下不断改进和扩展。Coqui TTS 支持多种语言、模型架构和声码器，适用于从研究到生产的各种场景。
2025-04-18 11:10:29
2859
原创 06-A2A协议：解锁多Agent协作的无限可能
功能发现：Agent可以使用 JSON 格式的“Agent card”公布其功能，从而允许客户端Agent确定可以执行任务的最佳Agent，并利用 A2A 与远程Agent进行通信。简单来说，A2A协议是由谷歌发起的，用于Agent之间协作的一个协议标准，旨在构建Agent之间协作的生态，推动Agent协作标准，以帮助人类完成复杂的任务。这种协作努力标志着一个共同的未来愿景，即 AI Agent，无论其底层技术如何，都可以无缝协作以自动化复杂的企业工作流程，并推动前所未有的效率和创新水平。
2025-04-17 21:42:32
912
原创 05-一文读懂MCP：连接AI模型与外部世界的桥梁
MCP由Anthropic于2024年11月底推出，目的是解决大语言模型与外部环境交互时的连接问题。它通过建立一种安全、双向的链接，使得大模型能够以一致的方式访问外部资源，同时确保数据的安全性和可控性。MCP（Model Context Protocol，模型上下文协议）是一种开放标准协议，旨在统一大型语言模型（LLM）与外部数据源和工具之间的通信方式。它可以被看作是AI应用程序的“USB-C接口”，为大模型提供了一种标准化的方法来连接不同的数据源、工具和服务。
2025-04-14 14:22:47
1209
原创 13-Leveldb快照原理及其实现
LevelDB 的快照（Snapshot）机制在实现一致性读取的同时，对 Compaction 的行为也有一定的影响。为了更好地理解这种影响，我们需要从 LevelDB 的快照机制、Compaction 的原理以及两者之间的交互关系入手。例如，如果某个键在版本 100 被删除，但有一个快照的版本号是 99，那么这个键的旧版本数据必须保留，直到该快照被释放。通过合理的快照管理和参数调优，可以缓解快照对 Compaction 的负面影响，从而在一致性和性能之间取得平衡。：无效数据的存在增加了读取路径上的负担。
2025-04-07 17:55:06
991
原创 12-leveldb优化读性能的方法
LevelDB 是一个高性能的键值存储引擎，其设计目标之一就是优化读性能。为了实现这一目标，LevelDB 在多个方面采用了特定的技术和方法来提高读操作的效率。一、内存中的快速读取：MemTable 和 Immutable MemTable。：Table Cache 和 Block Cache 提高热点数据的访问速度。：利用 MemTable 和 Immutable MemTable。：无锁设计和快照机制提升并发读取能力。：利用操作系统缓存和预读取技术。：减少文件数量和读取范围。：快速排除不存在的键。
2025-04-02 16:10:27
879
原创 11-leveldb compact原理和性能优化
LevelDB 的 Compaction 和垃圾回收机制在保证数据一致性和读写性能的同时，也面临写放大、空间放大等问题。通过调整策略（如分级 Compaction）、并行化、冷热分离等优化手段，可以显著提升性能。实际应用中，需根据工作负载（读/写密集型）和硬件环境（SSD/HDD）选择合适的配置。
2025-04-01 17:38:28
1199
原创 04-参数量差20倍！QwQ 32B性能竟超越DeepSeek 671B？性能对比实测
QwQ 是 Qwen 系列的推理模型。与传统的指令调优模型相比，具备思考和推理能力的 QwQ 在下游任务中，尤其是在处理难题时，能够显著提高性能。QwQ-32B 是一个中等规模的推理模型，能够在与最先进的推理模型（例如 DeepSeek-R1、o1-mini）的竞争中取得优异的表现。
2025-03-12 21:48:33
943
原创 03-超简单，小白也能使用deepseek构建本地知识库！
想必大家都听说过用大模型构建知识库，目前大模型对于我们个人来说，最容易落地的就是构建自己的知识库了。虽然有很多的在线应用，如腾讯的ima等，但是有些内容我们并不想公开。而且我们与大模型聊天对话的内容也容易泄露个人隐私。因此，本节我就教大家一个最简单的方法使用deepseek部署本地知识库。
2025-03-09 22:06:00
453
xulrunner-1.9.0.17.en-US.win32.sdk.zip
2015-12-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人