Python过气,Hadoop凉了?零基础项目实战诠释何为经典

2ad72cd879608f45f3c72732592105f0.png

a1b040ee96504e758e260a04b0a69ea4.gif

👉导读

工欲善其事,必先利其器。Python 作为一种跨平台的编程语言,具有解释性、变异性、交互性和面向对象的特点,可应用于独立的项目开发。今天,我们特邀了公众号“冰河技术”作者、腾讯云 TVP 冰河老师,他将为我们带来基于 Python+Hadoop 手把手教学如何实现单词统计。

👉目录

1 Hadoop 原理与运行机制

2 搭建 Hadoop 单机环境

3 安装 Python3 运行环境

4 基于 Python+Hadoop 统计单词数量

5 总结

在过去的十数年间,Python 和 Hadoop 一直是大数据处理方向的黄金组合,而在近年来,号称将要取代 Python 的 Mojo 火了,唱衰 Hadoop 的言论也一直在持续。随着以 ChatGPT、腾讯混元为代表的大模型技术的横空出世,更是让这个领域迎来了新的挑战与转机。Python+Hadoop,这对黄金搭档在 2023 年的今天,还有值得学习的价值吗?今天我们通过一篇手把手实战的项目案例,诠释经典背后的技术魅力。

在当今的大数据环境下,数据无时无刻不在产生着,每天处理的数据量已经远远超出了单台计算机所能存储和计算的数据量。如何对这些数据进行存储和处理成为了大数据领域中的两大难题,而 Hadoop 的出现则有效解决了这一难题,其提供的两大核心技术:HDFS 分布式文件系统和 MapReduce 并行计算成功地为大数据的存储和计算提供了可靠保障。

本文将简单介绍 Hadoop 的基础知识、原理与运行机制,并且会从零开始搭建 Hadoop 本地模式,并基于 Python+Hadoop 实现单词统计功能。

01

Hadoop 原理与运行机制

众所周知,Hadoop 作为一个开源分布式系统基础框架,主要包含两大核心组件:HDFS 分布式文件系统和 MapReduce 分布式并行计算框架,这两大核心组件是 Hadoop 进行大数据处理的基础和基石,此外,Hadoop 的重要组件还包括:Hadoop Common 和 YARN 框架。目前,Hadoop 主要由 Apache 软件基金会进行开发和维护。

其实,我们在使用 Hadoop 的过程中,不需要了解分布式系统底层的细节,在开发 Hadoop 分布式程序的时候,只需要简单地编写 map() 函数和 reduce() 函数即可完成 Hadoop 程序的开发,并且能够充分利用 Hadoop 集群的大规模存储和高并行计算来完成复杂的大数据处理业务。

同时,Hadoop 分布式文件系统的高度容错性和高可扩展性等优点使得 Hadoop 可以部署在廉价的服务器集群上,它能够大大节约海量数据的存储成本。MapReduce 的高度容错性,有效保证了系统计算结果的准确性,并从整体上解决了大数据的可靠性存储和处理。

实际上,Hadoop 核心(或重要)组件主要包括:Hadoop Common、HDFS 分布式文件系统、MapReduce 分布式计算框架、YARN 资源调度框架,接下来,我们来简单了解 HDFS、MapReduce 和 YARN 的运行流程。

   1.1 HDFS 分布式文件系统

首先,Hadoop 会将一个大文件切分成 N 个小文件数据块,分别存储到不同的 DataNode 上,具体如图1所示。

1c0611a8fa343871766dcd9329a3a4c1.png

(图1)

当我们向 Hadoop 写入一个大文件时,客户端首先会向 NameNode 服务器获取元数据信息,得到元数据信息后向相应的 DataNode 写入文件,Hadoop 框架会比较文件的大小与数据块的大小,如果文件的大小小于数据块的大小,则文件不再切分,直接保存到相应的数据块中;如果文件的大小大于数据块的大小, Hadoop 框架则会将原来的大文件进行切分,形成若干数据块文件,并将这些数据块文件存储到相应的数据块中,同时,默认每个数据块保存3个副本存储到不同的 DataNode 中。

由于 Hadoop 中 NameNode 节点保存着整个数据集群的元数据信息,并负责整个集群的数据管理工作,所以,它在读/写数据上与其他传统分布式文件系统有些许不同之处。

Hadoop 读数据的简易流程如下图所示。

08cc2bb5e29895f8ce00d298fbfa33dc.png

(图2)

  • 客户端发出读数据请求,请求 NameNode 节点的元数据。

  • NameNode 节点将元数据信息返回给客户端。

  • 客户端根据 NameNode 节点返回的元数据信息,到对应的 DataNode 节点上读取块数据,如果读取的文件比较大,则会被 Hadoop 切分成多个数据块,保存到不同的 DataNode 上。

  • 读取完3的数据块后,如果数据未读取完,则接着读取数据。

  • 读取完4的数据块后,如果数据未读取完,则接着读取数据。

  • 读完所有的数据之后,通知 NameNode 关闭数据流。

Hadoop 写数据的简易流程如下图所示。

96b0e16dd1fbef14227f10599a92994e.png

(图3)

  • 客户端向 NameNode 节点发起元数据请求,指定文件上传的路径,此时,NameNode 节点内部会进行一系列的操作,比如:验证客户端指定的路径是否合法,客户端是否具有写权限等。验证通过后,NameNode 节点会为文件分配块存储信息。

  • NameNode 节点向客户端返回元数据信息,并给客户端返回一个输出流。

  • 客户端获取到元数据和输出流之后,开始向第一个 DataNode 节点写数据块。

  • 第一个 DataNode 节点将数据块发送给第二个 DataNode 节点,第二个 DataNode 节点将数据块发送给第三个 DataNode 节点,以此类推,写完所有的数据块。

  • 每个 DataNode 节点会向上游的 DataNode 节点发送结果确认信息,以保证写入数据的完整性。

  • DataNode 节点向客户端发送结果确认信息,保证数据写入成功。

  • 当所有的数据块都写完,并且客户端接收到写入成功的确认信息后,客户端会向 NameNode 节点发送关闭数据流请求,NameNode 节点会将之前创建的输出流关闭。

   1.2 MapReduce 分布式计算框架

值得一提的是,Hadoop 的 MapReduce 分布式计算框架会将一个大的、复杂的计算任务,分解为一个个小的简单的计算任务,这些分解后的计算任务会在 MapReduce 框架中并行执行,然后将计算的中间结果根据键进行排序、聚合等操作,最后输出最终的计算结果。

我们可以将这一整个 MapReduce 过程分为:数据输入阶段、map 阶段、中间结果处理阶段(包括 combiner 阶段和 shuffle 阶段)、reduce 阶段以及数据输出阶段。

数据输入阶段:将待处理的数据输入 MapReduce 系统。

map 阶段:map() 函数中的参数会以键值对的形式进行输入,经过 map() 函数的一系列并行处理后,将产生的中间结果输出到本地磁盘。

中间结果处理阶段:这个阶段又包含 combiner 阶段和 shuffle 阶段,对 map() 函数输出的中间结果按照键进行排序和聚合等一系列操作,并将键相同的数据输入相同的 reduce() 函数中进行处理(用户自身也可以根据实际情况指定数据的分发规则)。

reduce 阶段:reduce 函数的输入参数是以键和对应的值的集合形式输入的,经过 reduce 函数的处理后,产生一系列键值对形式的最终结果数据输出到 HDFS 分布式文件系统中。

数据输出阶段:数据从 MapReduce 系统中输出到 HDFS 分布式文件系统。

上述简要执行过程如图4所示。

b0786e80388cf96d449bf5e722b06560.png

(图4)

原始数据以“(k, 原始数据行data)”的形式输入到 map 阶段,经过 map 阶段的 map() 函数一系列并行处理后,将中间结果数据以“{(k1, v1), (k1, v2)}”的形式输出到本地,然后经过 MapReduce 框架的中间结果处理阶段的处理,此中间结果处理阶段会根据键对数据进行排序和聚合处理,将键相同的数据发送到同一个 reduce 函数处理。

接下来我们就进入到 reduce 阶段,reduce 阶段接收到的数据都是以“{k1,[v1, v2]…}”形式存在的数据,这些数据经过 reduce 阶段的处理之后,最终得出“{(k1,v3)}”样式的键值对结果数据,并将最终结果数据输出到 HDFS 分布式文件系统中。

   1.3 YARN 资源调度系统

YARN 框架主要负责 Hadoop 的资源分配和调度工作,其工作流程可以简化为图5所示。

2e0d92616e8c8545c124ccd09739d230.png

(图5)

  • 客户端向 ResourceManager 发出运行应用程序的请求。

  • ResourceManager 接收到客户端发出的运行应用程序的请求后,为应用程序分配资源。

  • ResourceManager 到 NodeManager 上启动 ApplicationMaster。

  • ApplicationMaster 向 ResourceManager 注册,使得 ResourceManager 能够时刻获得运行任务的进程状态信息;同时,ResourceManager 会为 ApplicationMaster 分配资源,并将分配资源的信息发送给 ApplicationMaster。

  • ApplicationMaster 获得分配的资源信息后,启动相应节点上的 Container,执行具体的 Task 任务。

  • Container 时刻与 ApplicationMaster 进行通信,向 ApplicationMaster 汇报任务执行的情况。

  • 当所有的任务运行完成之后,ApplicationMaster 向 ResourceManager 发出请求,注销自己。

02

搭建 Hadoop 单机环境

为了演示简单,这里我们搭建一套 Hadoop 单机环境为大家进行演示,并且默认大家已经安装好 CentOS7 操作系统并搭建好 JDK 环境。具体的环境信息如下所示。

  • 操作系统:CentOS7

  • 主机名:binghe102

  • IP 地址:192.168.184.102

  • JDK 版本:1.8

  • Hadoop 版本:Apache Hadoop 3.2.0

注意:此部分操作是以 Hadoop 用户登录 CentOS7 服务器进行的。

   2.1 配置操作系统基础环境

我们主要是 Hadoop 用户来安装并启动 Hadoop,所以,我们需要先在服务器中添加 Hadoop 用户。

(1)添加 Hadoop 用户组和用户

首先,我们需要登录 root 账户,执行如下命令添加 Hadoop 用户组和用户。

groupadd hadoop
useradd -r -g hadoop hadoop

(2)赋予 Hadoop 用户目录权限

为了方便安装 Hadoop 环境,我们需要将服务器的 /usr/local 目录权限赋予 Hadoop 用户,具体命令如下所示。

mkdir -p /home/hadoop
chown -R hadoop.hadoop /usr/local/
chown -R hadoop.hadoop /tmp/
chown -R hadoop.hadoop /home/

(3)赋予 Hadoop 用户 sudo 权限

在这里,我们主要通过 vim 编辑器编辑 /etc/sudoers 文件来赋予 Hadoop 用户 sudo 权限,具体操作如下:

vim /etc/sudoers

然后找到如下代码。

root    ALL=(ALL)       ALL

接着,在此行代码后添加如下代码。

hadoop  ALL=(ALL)       ALL

注意:由于“/etc/sudoers”是只读文件,所以保存并退出“/etc/sudoers”文件使用的是“wq!”。

(4)赋予 Hadoop 用户密码

我们采用如下方式赋予 Hadoop 用户密码。

[root@binghe102 ~]# clear
[root@binghe102 ~]# passwd hadoop
Changing password for user hadoop.
New password: 输入密码
BAD PASSWORD: The password is shorter than 8 characters
Retype new password: 再次输入密码
passwd: all authentication tokens updated successfully.

(5)关闭防火墙

并在命令行输入如下命令,关闭 CentOS7 防火墙。

systemctl stop firewalld
systemctl disable firewalld

(6)配置 Hadoop 用户免密码登录

最后,以 Hadoop 用户登录服务器,分别输入如下命令来配置 Hadoop 用户免密码登录。

ssh-keygen -t rsa
cat /home/hadoop/.ssh/id_rsa.pub >> /home/hadoop/.ssh/authorized_keys
chmod 700 /home/hadoop/ 
chmod 700 /home/hadoop/.ssh 
chmod 644 /home/hadoop/.ssh/authorized_keys 
chmod 600 /home/hadoop/.ssh/id_rsa
ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub  主机名(IP地址)
   2.2 搭建 Hadoop 本地模式

其实,Hadoop 本地安装模式是三种安装模式中最简单的一种,我们只需要在 Hadoop 的 hadoop-env.sh 文件中配置 JAVA_HOME 即可。

(1)下载 Hadoop 安装包

首先,我们需要在 CentOS7 命令行输入如下命令下载 Hadoop 安装包。

wget https://archive.apache.org/dist/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz

(2)解压 Hadoop 安装包

然后,在 CentOS7 命令行输入如下命令解压 Hadoop 安装包。

tar -zxvf hadoop-3.2.0.tar.gz

(3)配置 Hadoop 环境变量

接着,在 /etc/profile 文件中追加如下内容。

HADOOP_HOME=/usr/local/hadoop-3.2.0
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export PATH HADOOP_HOME

然后输入如下命令使环境变量生效。

source /etc/profile

(4)验证 Hadoop 的安装状态

在 CentOS7 命令行输入 hadoop version 命令验证 Hadoop 环境是否搭建成功,如下所示。

-bash-4.2$ hadoop version     
Hadoop 3.2.0
Source code repository https://github.com/apache/hadoop.git -r e97acb3bd8f3befd27418996fa5d4b50bf2e17bf
Compiled by sunilg on 2019-01-08T06:08Z
Compiled with protoc 2.5.0
From source with checksum d3f0795ed0d9dc378e2c785d3668f39
This command was run using /usr/local/hadoop-3.2.0/share/hadoop/common/hadoop-common-3.2.0.jar

可以看到,我们输出了 Hadoop 的版本号,说明 Hadoop 环境搭建成功。

(5)配置  Hadoop

这里,我们主要通过配置 Hadoop 安装目录下的 /etc/hadoop 目录下的 hadoop-env.sh 文件,例如我们将 Hadoop 安装在了 /usr/local/hadoop-3.2.0 目录下,所以,hadoop-env.sh 文件在 /usr/local/hadoop-3.2.0/etc/hadoop 目录下。

首先,使用 vim 编辑器打开 hadoop-env.sh 文件,如下所示。

vim /usr/local/hadoop-3.2.0/etc/hadoop/hadoop-env.sh

然后找到如下代码。

# export JAVA_HOME=

接着打开注释,我们将 JDK 的安装目录填写到等号后面。

export JAVA_HOME=/usr/local/jdk1.8.0_321

至此,Hadoop 搭建环境搭建完成。

03

安装 Python3 运行环境

CentOS7 操作系统中默认安装的 Python 版本是2.7.5,这里,我们将 Python 的版本升级为3.7.4。

注意:此部分操作是以 root 用户登录 CentOS7 服务器进行的。

   3.1 查看原有的 Python 版本

我们直接在命令行输入 Python 即可查看当前的 Python 版本,如下所示。

[root@binghe102 ~]# python
Python 2.7.5 (default, Oct 14 2020, 14:45:30) 
[GCC 4.8.5 20150623 (Red Hat 4.8.5-44)] on linux2
Type "help", "copyright", "credits" or "license" for more information.

可以看到,CentOS7 默认安装的 Python 版本为2.7.5。接下来,我们就将 Python 的版本升级为3.7.4。

   3.2 安装 Python3 环境

(1)安装基础编译环境

首先,我们需要在服务器命令行输入如下命令安装基础编译环境。

yum install -y zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel zlib* libffi-devel readline-devel tk-devel

(2)下载 Python 安装包

然后,我们在服务器命令行输入如下命令下载 Python 安装包。

wget https://www.python.org/ftp/python/3.7.4/Python-3.7.4.tgz

(3)解压 Python 安装包

接着,输入如下命令解压 Python 安装包。

tar -zxvf Python-3.7.4.tgz

(4)安装 Python 环境

再进入 Python 解压目录,如下所示。

cd Python-3.7.4

随后我们依次输入如下命令安装 Python 环境。

./configure
make && make install

(5)验证安装结果

最后,我们在命令行输入 Python3 命令即可验证安装结果,如下所示。

[root@binghe102 ~]# python3
Python 3.7.4 (default, Nov 26 2023, 15:04:38) 
[GCC 4.8.5 20150623 (Red Hat 4.8.5-44)] on linux
Type "help", "copyright", "credits" or "license" for more information.

我们可以看到,输入 Python3 后成功输出了 Python 的版本为3.7.4,说明我们 Python3 环境安装成功。

04

基于 Python+Hadoop 统计单词数量

我们在实现统计单词数量的过程中,我们可以基于 Python 分别实现 Hadoop 的 Mapper 程序和 Reducer 程序。

注意:此部分的操作是以 Hadoop 用户登录 CentOS7 服务器进行的。

   4.1 实现 Mapper 程序

首先,我们在服务器的 /home/hadoop/python 目录下创建 mapper.py 文件,具体代码如下所示。

import sys
#读入标准输入中的数据
for line in sys.stdin:
    #去除首尾空格
    line = line.strip()
    #以空格拆分每行数据
    words = line.split()
    #遍历单词列表,输出中间结果数据,以\t分隔
    for word in words:
        print('%s\t%s' % (word, 1))

上述我们可以看到,mapper.py 中的代码主要是从标准输入读取数据,并且去除读取数据的首尾空格,然后按照空格进行拆分后,遍历拆分后的数组,即可将数组的每个元素输出到标准输出。

   4.2 实现 Reducer 程序

我们在服务器的 /home/hadoop/python 目录下创建 reducer.py 文件,具体代码如下所示。

import sys
#当前处理的单词
handler_word = None
#当前处理的数量
handler_count = 0
#当前中间结果中的单词
word = None
#从标准输入读取数据
for line in sys.stdin:
    #移除首尾空格
    line = line.strip()
    #以\t拆分map的中间结果数据
    word, count = line.split('\t', 1)
    try:
        count = int(count)
    except ValueError:
        continue
    if handler_word == word:
        handler_count += count
    else:
        if handler_word:
            #当前处理的统计结果到标准输出
            print('%s\t%s' % (handler_word, handler_count))
        handler_word = word
        handler_count = count
#输出最后一个处理的单词统计信息
if handler_word == word:
    print('%s\t%s' % (handler_word, handler_count))

可以看到,reducer.py 的功能是读取 mapper.py 输出的结果数据,并且会统计每个单词的数量,然后输出最终的结果数据。

   4.3 构建输入数据

我们在服务器的 /home/hadoop/input 目录下新建 data.input 文件,文件内容如下所示。

hadoop mapreduce hive flume
hbase spark storm flume 
sqoop hadoop hive kafka
spark hadoop storm

可以看到,我们在 data.input 文件中添加了一些单词数据作为测试数据文件。

   4.4 基于 Hadoop 运行 Python 程序

基于 Hadoop 运行 Python 程序,我们在命令行输入如下:

hadoop jar /usr/local/hadoop-3.2.0/share/hadoop/tools/lib/hadoop-streaming-3.2.0.jar -file /home/hadoop/python/mapper.py -mapper "python3 mapper.py" -file /home/hadoop/python/reducer.py -reducer "python3 reducer.py" -input /home/hadoop/input/data.input -output /home/hadoop/output

其中,上述命令的参数含义如下所示。

  • hadoop jar:使用 Hadoop 运行程序。

  • /usr/local/hadoop-3.2.0/share/hadoop/tools/lib/hadoop-streaming-3.2.0.jar:Hadoop 流式 API 所在的 Jar 包,主要提供了其他语言的编程接口。

  • -file /home/hadoop/python/mapper.py:指定 Map 阶段 Python 程序的目录位置。

  • -mapper "python3 mapper.py":指定 Map 阶段 Python 程序的执行命令。

  • -file /home/hadoop/python/reducer.py:指定 Reduce 阶段 Python 程序的目录位置。

  • -reducer "python3 reducer.py":指定 Reduce 阶段 Python 程序的执行命令。

  • -input /home/hadoop/input/data.input:指定测试文件的目录。

  • -output /home/hadoop/output:指定输出结果的目录。

在输出的日志中存在如下信息,说明我们成功基于 Hadoop 运行了 Python 编写的 MapReduce 程序。

INFO mapreduce.Job:  map 100% reduce 100%
INFO mapreduce.Job: Job job_local307776602_0001 completed successfull

接下来,我们查看 /home/hadoop/output 目录下的输出内容,如下所示。

-bash-4.2$ ll /home/hadoop/output
total 4
-rw-r--r--. 1 hadoop hadoop 76 Nov 26 15:32 part-00000
-rw-r--r--. 1 hadoop hadoop  0 Nov 26 15:32 _SUCCESS

接着,查看 part-00000 文件的内容,如下所示。

-bash-4.2$ cat /home/hadoop/output/part-00000 
flume   2
hadoop  3
hbase   1
hive    2
kafka   1
mapreduce       1
spark   2
sqoop   1
storm   2

我们可以看到,在 part-00000 文件中输出了每个单词和对应的统计数量。

05

总结

最近一段时间以来,以 ChatGPT 为代表的大模型非常火热,但这些大模型背后需要海量的数据作为人工智能学习和分析的依据。就其参数模型而言,也是动辄几千亿、上万亿的参数模型,其背后同样需要海量的数据作为分析的依据。尽管当今在线实时分析技术已经非常成熟,但是离线批处理技术作为数据分析的兜底措施与数据校对机制,在当今大数据和人工智能时代仍旧是不可或缺的重要技术组成部分。

Hadoop 不仅仅支持以 MapReduce 为核心的离线批处理技术,其提供的 HDFS 分布式文件系统更是支持海量数据的可靠存储。另外,尽管 Hadoop 内部的核心功能是使用 Java 编写的,但是 Hadoop 支持多种编程语言来实现海量数据的离线批处理技术,考虑到 Python 在数据分析和统计方面的优势,Hadoop 自然也支持基于 Python 实现海量数据的离线批处理技术。所以,Python+Hadoop 仍旧是 ChatGPT 时代,实现海量数据离线批处理分析和统计的重要组合技术。

本文部分内容节选自《海量数据处理与大数据技术实战》,主要介绍了 Hadoop 的基础知识,并通过 HDFS、MapReduce 和 YARN 三个角度分别介绍了 Hadoop 的原理与运行机制,并以实战角度搭建 Hadoop 单机环境、安装 Python3 运行环境,最后基于 Python+Hadoop 实现了统计单词数量的案例程序。

希望大家可以从本文中有所收获,更多精彩内容欢迎阅读《海量数据处理与大数据技术实战》一书。

-End-

原创作者|冰河

  bee4f15cd9ba7c4a16bf340b515cc589.png

面对海量数据,你有什么处理的好方法吗?欢迎评论分享你的看法。我们将选取1则最价值的评论,送出腾讯云开发者社区定制鼠标垫1个(见下图)。12月21日中午12点开奖。

dc6c6cd777d14c3daef52658c3f72e16.jpeg

📢📢欢迎加入腾讯云开发者社群,社群专享券、大咖交流圈、第一手活动通知、限量鹅厂周边等你来~

78c13708329a1758d213ec9d36e569f8.png

(长按图片立即扫码)

1dd86381a758a71c222e6606c61ff646.png

b49f5511077d9c4319d169f8f287279c.png

51b45aa6e83bce5ef8449392fdaf0b8f.png

b73163a40f25882c5d5f12c82fd4fae2.png

相关推荐

大模型的Agent Skill功能,在LLM HTTP底层交互流中是怎么承载的?

网络文章文本的 skill,昨天我实现了之后也就开始好奇起 Skills 的底层原理了——相比起各种花里胡哨的 agrnt 应用,我一直以来都很对大模型在纯粹的 HTTP 交互层面是如何交互的更感兴趣。Skill 的全部"魔法"都发生在 system prompt 的措辞和 SKILL.md 文件的编写质量上——本质上是一种 prompt engineering + 文件系统的组合。但是各种天花乱坠的 skills,是如何在底层的 HTTP 中,与大模型——这个只会嘴遁的工具交互的呢?

QcloudCommunity的博客 407

万字入门AI Infra:深入理解大模型中的数学与Infra优化

关注腾讯云开发者,一手技术干货提前解锁👇AI Infra科普、入门或者进阶 ~~ 不到 5 万字,带你融会贯通理解大模型的数学、算法、硬件到系统工程。任何问题欢迎沟通交流。可怕,我竟然有点认同这句话。当然大概率是因为姚顺宇太懂AI了,而我则是因为无知者无畏。不过仔细想想,大模型推理中的数学逻辑确实不复杂,很多原理只需要高中数学知识就能看懂。但是为什么像 vLLM 这种推理系统这么复杂呢?本文将拆解大模型中几个核心操作(RMSNorm、Softmax、Causal Mask、Sampling)背后的数学与

QcloudCommunity的博客 1168

平平无奇的源码,竟藏着Agent的核心秘密?

System Prompt 是剧本,Skill 是剧本的扩展包,Agent Loop 是演员按剧本行动。欢迎留言,我们将邀请作者针对性回复你的评论,我们将选取1则优质的评论,送出腾讯云定制文件袋套装。,让 Agent 能主动"巡逻",而不只是被动等待用户消息。OpenClaw 的 System Prompt 分层结构。的"行为底线",任何 Skill 或用户命令都无法覆盖它。精华 2:Skill 的"按需加载"避免 token 浪费。精华 1:System Prompt 是"分层乐高积木"

QcloudCommunity的博客 426

QQ音乐Harness Engineering实践

一个看似简单的需求,背后可能牵动服务调用链、配置、灰度、埋点、错误码、接口契约和历史兼容性。当 AI 开始快速生成大量代码,真正的瓶颈就不再是"写不出来",而是"看不完、想不清、管不住"。在对话式编码阶段,一种典型的工作模式逐渐流行:开发者把需求丢给 AI,扫一眼输出"看起来对"就直接采纳,不审 diff、不追问逻辑、不验证边界。以音乐商业化业务为例,一个需求可能从 TAPD 单开始,经过需求评审、技术方案、服务影响面分析、IDL 契约变更、业务代码实现、测试验证、CR、灰度上线,最后才进入稳定运行。

QcloudCommunity的博客 715

从Prompt、Context到Harness,工程的三次进化与终局之战

同时,强制要求散落各处的决策记录(Slack、邮件、文档)全部迁移至代码仓库,确保 Agent 的唯一信息来源是可信的、版本受控的仓库。更坑爹的是,研究表明,当上下文过长时,模型会出现"中间遗忘(Lost in the Middle)"现象:它对开头和结尾的内容记忆较好,对中间大段内容的关注度大幅下降。这篇文章,我想带你完整走一遍这三次进化的逻辑:它们分别解决了什么问题,它们之间是什么关系,它们的边界在哪里,以及:当三者融合,AI 工程师的终极形态究竟是什么?大语言模型的本质,就是这位金鱼助理。

QcloudCommunity的博客 719

让Skill自己训练自己:8阶段Loop、3层评测、5维AND门控,从此实现自进化

所以每一轮改动都是有据可查的,不是「感觉这里可以优化」,而是「Case 41 挂了,因为 agent 把离职问题路由到了邮箱分类,但正确答案在通讯录,所以我改 root_index.md 加个易混淆提示」。但让我最后决定把它记录下来的,不是这的个「吸收」过程,而是它真的在替我探索我不想费脑力触达的边界,这看起来更像是一个机器智能应该有的样子。不准跨层,每轮只改一层的东西。但我经过这 19 轮之后觉得,更准确的描述是互补——你在明处看着,AI 在暗处替你试错,你看不见的那一半就是 AI 能贡献的地方。

QcloudCommunity的博客 1127

只加两行代码,为什么要两天?一文深度理解业务系统的复杂性

关注腾讯云开发者,一手技术干货提前解锁👇业务系统复杂性一直是令开发者头痛的问题。复杂的不是增加一个需求需要耗费多少时间,而是在增加一个需求后带来的蝴蝶效应:其它功能会不会受到影响、要如何去找到这些影响,最终如何实现系统正常运行......功能之间隐秘增加的耦合、不可避免的代码腐化在导致业务复杂性增加。大家都在说的软件开发提效到底在提什么?程序员日常工作中应该如何提升开发效率?敏捷开发、瀑布流式开发孰是孰非?欢迎阅读。业务背景与目标我依然非常清晰地记得某个时候,我所在团队 Leader 曾讲过一段话:“我担

QcloudCommunity的博客 713

从零设计生产级 Multi-Agent Harness:架构、评估、记忆、成本与 MCP 工具接入全拆解

在 AI Agent 领域,Multi-Agent Harness 指的是把多个 Agent 的能力、工具、状态、通信、编排、监控统一收束在一个运行时之内的框架。第三,Agent 路由。一个输入框,一个大模型,几个工具,一段写得很漂亮的 System Prompt,再配上一个炫酷的前端,看起来就像一个能干活的“数字员工”。Multi-Agent 完全不一样——它有计划、有中间步骤、有工具调用、有 Agent 协作、有重试、有反思、有最终合成。增加 Budget、权限、重试、压缩、轨迹评估、审计、回归测试。

QcloudCommunity的博客 710

拆完Hermes源码,我发现Agent的“自我进化“根本不需要训练模型

两个月 5.2 万 Star,Hermes Agent 用一个"LLM 审判官"机制实现了 Agent 的自我进化——不改模型权重,只改"怎么用模型"的策略。OpenClaw(社区昵称"龙虾"🦞)是 2025-2026 年最火的开源 Agent 框架,30 万+ Star,插件市场 ClawHub 里有数千个插件,能接入 Telegram、WhatsApp、Slack、飞书、企业微信——几乎是一个"个人 AI 操作系统"。Skill 是英语写的,Memory 是英语写的,审查 Prompt 也是英语写的。

QcloudCommunity的博客 910

AI Infra 其实没有多少新东西

传统 Infra 追求横向扩展,而 AI Infra 呈现 “AI 大型机”特性,是因为传统后台服务的可以容忍毫秒级延迟,但 AI 集群不行,GPU 的算力是 CPU 的数百倍,微秒级的延时等待也会造成很大的算力损耗,需要硬件的高度集成。在可预见的1-3年的未来,这样的专用硬件+网络的集中式架构很难发生比较大的改变。与之相似,模型推理的批处理就是将多个输入样本打包(batch),将原本串行的 N 次轻量的推理计算,合并为 1 次重量的计算,实现单位时间内处理更多的请求,提高了 GPU 利用率。

QcloudCommunity的博客 826

程序员越早想通这些越好

永远没有正确架构,你永远无法偿还完所有的技术债务,如同你永远不会设计出完美的界面,请避开完美主义的陷阱,永远没有完美的代码,能够满足当前需求,又为未来不管是自己还是他人留有扩展空间,就很好了。我们努力的方向就是将现实世界映射到有限的数据结构中,这就需要用户自定义类型,如果你的代码中包含类似 trader portfolio 这样的概念,你就可以使用他们的名称来建模,而不是使用基本数据类型复杂嵌套表述你的目的。从另一个角度看,代码里的注释都是补丁,是碎片化的,局部的注释很难推导模块整体的顺序及耦合关系。

QcloudCommunity的博客 466

RAG已死?不,是Grep回归了!

这样一来可以直接复用已有的计算缓存,只为新增的增量部分付全价,前面累积的大头按约 1/10 的缓存价计费。所以实际的工具组合方式是灵活的:Grep(默认模式)→ Read 是最常见的路径,但 Grep(content 模式)可以独立使用,LLM 也可以直接调 Read(如果已经知道文件路径),或者一次同时发起多个 Grep 并行搜索。它从零开始构建自己的对话历史,不继承主对话的消息,这意味着它搜索过程中产生的大量 grep 结果、代码片段都留在自己的 context 里,主对话只收到一段总结性的文本结论。

QcloudCommunity的博客 576

深入浅出Harness Engineerring之核心模式与理念

在智能体生命周期的关键节点(如会话开始、工具调用后)自动触发预设动作(如代码格式化),由系统确保关键流程被执行,不依赖可能被模型遗忘的指令。简单讲就是利用向量存储这个技术,来实现模糊检索,原理是:即使字面不同,但语义相近的文本,其向量在数学空间中的位置也很接近。根据命令类型、参数和影响,自动评估其风险等级(安全、有风险、危险),并采取自动执行、请求确认或直接拦截等不同策略。关键特性是可隔离、可重建、可扩展。不是一次判断就定终身,允许你改变、允许情况复杂,通过不断观察、思考、调整,越来越懂真实的你。

QcloudCommunity的博客 624

Harness Engineering实践心得:如何高效驾驭AI?

但如果这些经验被拆成一条条 Rule、一个个 Skill、一项项 Script 检查——"XAML 不能有中文"、"编译要用这个路径的 MSBuild"、"SVN 命令必须带认证参数"——AI 就能在秒级时间里"吸收"十年的踩坑经验。然后可以看到下方的图,我的PM会很顺利的调度其他agent分别负责不同的事项,遇到问题的时候也能准确的找到合适的agent。MCP 本质上是在扩展 AI 的"感知范围"——Rule 管"该怎么做",Skill 管"怎么操作",MCP 管"能看到什么、能碰到什么"。

QcloudCommunity的博客 843

从第一性原理思考 Agentic Engineering

需要注意的是,这一结论是有条件的:如果 AI 缺乏领域知识,过早介入反而可能引入 1.2 节所述的"似是而非"损耗——因此上下文供给(实践 1)是 AI 全链条参与的前提,而非结果。通过一个专门的自迭代 Skill 实现——当 AI 在协作过程中识别到自己被纠正(用户否定了 AI 的输出并给出了正确方向),它自动评估这个错误的根因,搜索现有的 Rules 和 Skills 中是否已有针对该类问题的处理规则。事实上,越是复杂的项目,工程师的认知负担越重(公理 3),AI 分担认知负担的潜在边际价值也越大。

QcloudCommunity的博客 757

万字干货!Harness Engineering如何工程化落地?

关注腾讯云开发者,一手技术干货提前解锁👇Harness Engineering 的概念已经火了有一阵了,全网很多文章基本都是在讲理念,讲为什么今天做 AI 开发,不能只靠一段提示词,也不能把模型当一个“更聪明的代码补全”。但与此同时,一个问题也在持续地发酵:这个问题特别重要。因为 Harness 这个词听上去很大,很像一个抽象的方法论,但它如果不能落到工程、目录、文档、脚本、工作流里,那它最后就只是一句漂亮的话。事实上,不同项目落地出来的 Harness,表面上可能完全不一样。有的项目是 CI 很强,有的

QcloudCommunity的博客 1170

全方位对比:Hermes VS OpenClaw

多账号矩阵运营 如果你的业务涉及同时管理多个社交媒体账号、多个平台的内容分发、多渠道的客户互动——OpenClaw是目前市场上的"无可替代的底座"。一个有专业背景的个人,现在可以快速构建一个垂直领域的AI助手:比如"财务分析Hermes"、"法律咨询Hermes"、"技术架构Hermes",直接通过微信提供服务,积累自己的专业IP。跨平台生态融合 如果你的工作流涉及飞书、Slack、Discord等多个平台的深度集成,需要这些平台之间的数据流转和联动——OpenClaw的生态支持是强大的。

QcloudCommunity的博客 1217

一文讲透:Harness Engineering即控制论!

而研发模式的升级我认为将会是一个飞跃的过程,之所以现在我们仍然需要需要参与编码,一个非常大的原因就是缺乏传感器和基建,仍然需要人来串流程,比如需要人来验证UI是否正确、需要人来告诉AI代码不符合代码规范,因此在有些场景我们仍然感觉 AI 完成的很吃力,但这不是 AI 能力不行,而是我们并没有为 AI 提供友好的环境……控制论中的突变理论介绍了矫枉过正和飞跃现象之间的矛盾,如果质变中经历的中间过渡态是不稳定的,那么他就是一个飞跃的过程,如果中间过渡态是稳定的,那么他就是一个渐变的过程。但是这些阶段要解决的。

QcloudCommunity的博客 1204

神级开源插件!一句话让QClaw变3D小镇,Agent工作可视化,赛博云监工

这个架构是翻了几次车才想通的—原有AI的实现机制是用 setTimeout 猜动画时长导致了幽灵 NPC、工位撞车、越改越崩,后面我停下来换了思路,推翻原有的架构,按照“意图+回传”的架构进行重构,之前的问题一次性全部解决。15 天,我和 AI 吵了 185 次架, 4.5 万行代码,开发了一款 QClaw / OpenClaw 的UGC游戏插件,这可能是人类跟 Agents 交互的新范式,插件已完全开源,有需要的欢迎自取~我天天用,用着用着我就在思考,Agent 产品现在的交互体验,基本都一个样。

QcloudCommunity的博客 1197

一文搞懂Hermes:新顶流Agent如何从经验中自我进化

Voyager 是一个能在 Minecraft 中自主探索、学习技能、无限积累能力的 AI Agent,它提出了 "Skill Library"(技能库)的概念——Agent 将成功的行为序列编码为可复用的技能函数,存储在一个持续增长的代码库中。如果 Skill 的名称和描述不够精准,或者用户的任务描述与 Skill 的触发条件有语义差距,Agent 可能会错过相关的 Skill。如果进程在写入过程中崩溃,目标文件要么是旧内容(还没被替换),要么是新内容(替换已完成),绝不会出现写了一半的损坏文件。

QcloudCommunity的博客 2636

自掏腰包一万元,拥抱AI这一年,我的工具、实践和思考

其实也很好理解,过往的每个领域(比如前端、后端、设计、测试等等)都主要是这个领域的从业者在为它添砖加瓦,但是大模型时代的 AI 应用领域却几乎是所有使用 AI 的人类一起在迭代,无分领域,无分文理,无分老少。因为每个时期的 AI 都有着不同的特点,很多时候当我费尽心思去钻研,自以为有点弄明白 AI 应该怎么玩的时候,基座模型和行业范式常常就会迎来颠覆式的变革,很多过往的经验都会倾覆,然后只能从头再来。过去一年多,被热议的 AI 范式大概是沿着四个阶段递进演化,每一个阶段其实都在解决前一个阶段的核心问题。

QcloudCommunity的博客 627

办公Agent的CI/CD时刻到来了

核心观点是:企业给员工配了一堆 AI 工具,试点跑了几百个,但真正拖慢 AI 转型速度的瓶颈不在模型能力,在"最后一公里":AI 输出和实际工作流之间的那道鸿沟。代码写完,打个 tar 包,开 FTP 传到服务器上,SSH 进去解压,改配置文件,重启服务,刷一下页面祈祷别 500。你复制,切窗口,粘贴到腾讯文档里,发现 Markdown 格式全乱了,手动调标题层级,代码块重新标记语言类型,表格散架了重排一遍。模型是越来越聪明了,但"生成"到"落地"之间那段路,还是你自己在走,一步一步,手动搬运。

QcloudCommunity的博客 608

4亿token买来5个教训:让6个AI Agent连写4天代码发生了什么?

Watchdog 检测到崩溃 → 启动诊断 Agent 分析原因 → 诊断 Agent 跑满 20 轮没搞定 → Watchdog 判定“已修复”,重启系统 → 重启的系统因为诊断 Agent 留下的环境变量被继承,连续 3 次拒绝启动 → 触发连续失败保护退出 → Watchdog 第 3 次巡检,发现进程和记录文件都没了,尝试手动重启,自己也停了。启动前我翻了论文、做了架构设计、写了监控+修复异常的脚本。这个发现让我的情绪从沮丧变成了兴奋——不是那种"终于修好了"的释然,是"我找到根因了"的快感。

QcloudCommunity的博客 584

赛博斗蛐蛐:9大模型决战三国志,天命在谁?

我猜是这样的,当Gemini面临决策的时候,一系列关键词比如 守城,劣势,粮草,三国等等,在语义层面的关联性中LLM发现了竖壁清野这个关键词概率非常高,所以以此为策略,然后再根据这个策略完美执行操作。MiMo 的外交是三方中最精明的。Kimi作为国产模型,也同样颠覆了我对他的看法,最后的比赛他甚至一度是优势者,存在很多夺冠的可能性,要知道他的对手可是claude和gemini,而他经常出兵慢,回过头来想想或许正是他的策略,毕竟中后期他的优势都来自于稳健的发展和较少的战斗频率(和claude比).

QcloudCommunity的博客 874

Claude Code是怎么知道你在骂他的?这 12 条发现值得关注

确实存在——5,500+ 行,集成了消息队列、工具装配、MCP 编排、会话状态、权限、分析、文件持久化和优雅关闭,基本上一个文件干了所有事。对抗虚假声明——"不要在输出显示失败时声称所有测试通过,不要压缩或简化失败的检查来制造绿色结果"。完整的 KAIROS 是一个持续驻留的守护进程,能感知你在不在电脑前、主动寻找有用的工作做,更像是住在终端里的全职同事。源码里藏着一个叫 "Buddy" 的电子宠物系统,完整度令人惊讶——这不是一个 TODO,而是一个从数值系统到 ASCII 动画都实现了的完整功能。

QcloudCommunity的博客 701

逆向深扒Claude Code源码,我发现了什么!?

Anthropic 内部用户获得更严格的质量控制 prompt、更好的验证机制(独立 Verification Agent)、以及针对 model 弱点的专门对策(如 Capybara v8 的 29-30% 错误声明率对策)。这不是代码混乱的标志——它是整个 Agent Loop 的心脏,所有的流式处理、工具调度、上下文压缩、子代理管理都在这个文件中协调。这种"胖核心"设计是刻意的:保持核心循环的原子性,避免分散到多个模块导致的协调复杂度。核心价值:Fork 代理的工具输出不会回到主代理的上下文窗口。

QcloudCommunity的博客 892

一文讲透如何构建Harness——六大组件全解析

本文将从"裸模型的四个硬伤"出发,逐一拆解 Harness 的六大组件——文件系统、Bash + 沙箱、记忆(AGENTS.md)、Web Search + MCP、上下文工程、编排 + Hooks——带你看清 AI Agent 真正的竞争壁垒,不在模型层,而在 Harness 层。如果你用过 Agent 做复杂任务,你一定有过这样的体验:一开始 Agent 的表现很好,但随着对话变长,它开始"变笨"——遗忘之前的约定,重复之前犯过的错误,甚至对同一个问题给出前后矛盾的回答。对于简单的问答场景,这无所谓。

QcloudCommunity的博客 761

Harness Engineering 来了,SDD 还有意义吗?

他们的解法是把「品味」编码进规则,然后用一个定期运行的「doc-gardening」Agent 自动扫描漂移、发起修复 PR——「技术债务就像一笔高息贷款,不断地以小额贷款的方式偿还,总比让债务不断累积要好」。代码仓库本地的、已版本化的工件,才是 Agent 所能看到的全部。在 Vibe Coding 模式下(即不做规划、随意向 AI 提需求的开发方式),大量设计决策、跨服务约定、「为什么不选另一个方案」的讨论,全部停留在一次性的 AI 对话里——下一个人,或者下一次 AI 会话,完全无从获取。

QcloudCommunity的博客 419

零废话!一文讲透从0构建AI Agent

每个工具都要写一套"定义→解析→执行"的胶水代码。上下文管理就是在"记住足够多"和"别超标"之间找平衡,常见策略包括滑动窗口、摘要压缩、RAG 检索增强。上下文窗口是 Agent 的"工作记忆",但它有硬性限制。LLM 负责"动脑"决策,代码负责"动手"执行。这是从"聊天机器人"进化到"Agent"的关键一步。每次调 API 都把完整对话历史发过去,LLM 本身是无状态的,"记忆"完全靠客户端的数组模拟。这样 Agent 一开始就知道自己"在哪里"、"手头有什么",不需要先花一轮工具调用去探索环境。

QcloudCommunity的博客 711

距离AI把小编我裁掉还有72小时

这是一个基于 OpenClaw 开源生态打造的本地化 AI Agent 助手,已于上周开启全量公测,无需复杂配置,三步即可上手,自带安全防护,支持微信直连绑定,内置多款优质国产大模型,现阶段也是完全免费使用,基本上前面提到过的痛点都可以靠它解决。对了,这里特别强调一点,上面的截图让产品同事汗流浃背,再三找我确认 QClaw 思考过程中优美的“草”字说法,不会是默认出现的吧?AI 好,AI 得学,但更重要的是,在你的工作和生活里,哪些东西是能结构化地被 AI 所接入的,不要死守着那些脏活累活不放。

QcloudCommunity的博客 674
上一篇: 回归单体成为潮流?腾讯文档如何实现灵活架构切换
下一篇: 累了,代码异常!
腾讯云开发者
腾讯云开发者 企业官方账号 企业官方账号
博客等级 码龄10年 6291粉丝 1962原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值