Yocto项目实战教程-第5章-5.1-5.2小节-BitBake的起源与源代码讲解

Yocto 系列讲解 - BitBake 全过程 本文介绍了 BitBake 的全过程,包括配置文件的编写、任务的调度和执行。通过编写 recipe 文件,我们可以定义软件包的构建规则和任务的执行命令。对于每个任务,BitBake 会执行相应的 shell 命令,完成特定的构建操作。每个软件包都有一个对应的 recipe 文件,其中包含了构建该软件包所需的所有信息。的 Python 脚本来解析 recipe 文件,并根据依赖关系调度和执行不同的任务。本文将详细介绍 BitBake 的全过程,包括配置文件的编写、任务的调度和执行。目录中找到所需的构建结果。 阅读详情

🔍

B站相应的视频教程:
📌 Yocto项目实战教程-第5章-5.1-5.2小节-BitBake的起源与源代码讲解
记得三连,标为原始粉丝。


在这里插入图片描述

📚 系列持续更新中,B站搜索 “嵌入式 Jerry”,系统学 Yocto 不迷路!


一、引言:BitBake 是 Yocto 的灵魂

在 Yocto 项目中,BitBake 是整个构建系统的核心引擎。它负责解析“元数据”(Metadata)、调度“任务”(Tasks)、管理依赖、控制构建流程,是支撑整个 Yocto 项目自动化构建机制的关键组件。

我们常说,“Yocto 项目 = BitBake + Metadata”,这并非夸张,BitBake 不仅是技术架构的中心,更是构建模型思想的实践载体。

那么 BitBake 究竟从何而来?它的设计思想与源代码结构又是如何组织的?本篇将带你从源头了解 BitBake 的来龙去脉。


二、BitBake 的起源:从 Gentoo 到 OpenEmbedded

2.1 起源于 Gentoo 的 Portage 构建系统

BitBake 的灵感来源于 Gentoo Linux 的 Portage 构建系统,尤其是其中的 ebuild 脚本。Gentoo 提倡“从源码编译一切”,Portage 系统通过 ebuild 定义每个包的构建规则(如依赖、安装、清理等),并自动处理这些流程。

这种构建方式对嵌入式开发非常有启发性:定制系统时,不同硬件、内核、库、软件包之间存在复杂依赖,手工管理非常困难,急需自动化。

于是,开发者们开始思考是否可以做一个更加轻量、灵活、专注于嵌入式的构建系统。

2.2 OpenEmbedded:BitBake 的第一个家

2003年左右,OpenEmbedded 项目诞生。它最早是为 Sharp Zaurus(当时流行的嵌入式掌上电脑)服务的构建系统,用于生成交叉编译的根文件系统和内核映像。

为了实现元数据驱动构建,OpenEmbedded 需要一个类似 ebuild 的工具 —— 于是 BitBake 在此背景下应运而生。

最初,BitBake 是 OpenEmbedded 的一部分,采用 Python 编写,设计上强调:

  • 元数据可读性与可扩展性
  • 构建任务自动化执行
  • 多平台交叉编译支持
  • 自定义任务与变量支持

2.3 Yocto 的崛起与 BitBake 的独立

到了 2010 年,Linux 基金会发起 Yocto 项目,旨在规范和整合分散的嵌入式 Linux 构建工具链。

BitBake 作为 OpenEmbedded 中成熟的构建引擎,被 Yocto 直接吸纳,并作为其默认的构建核心。

自此,BitBake 从一个“附属脚本工具”,升级为 Yocto 项目的核心引擎,获得独立发展。


三、BitBake 的功能职责简述

在实际构建流程中,BitBake 承担如下关键职责:

职责说明
解析元数据读取 .bb、.bbappend、.bbclass 和 conf/*.conf 等
执行任务图执行如 do_fetch、do_compile、do_install 等任务
管理依赖自动解析任务之间的依赖关系,构建依赖图
环境隔离每个任务都在干净的 shell 环境中执行,确保可复现性
支持并行构建使用 bitbake -j 配置多线程加速构建
支持扩展机制通过 bbclass、bbappend、python hook 插入自定义逻辑

理解这些核心职责,是进一步深入 BitBake 源码的前提。


四、BitBake 源码结构总览

BitBake 是用 Python 语言实现的,源码仓库为:

git clone git://git.openembedded.org/bitbake

其主目录结构如下(以 BitBake v2.4+ 为例):

bitbake/
├── bin/
│   └── bitbake         # 命令入口脚本(Python)
├── lib/
│   └── bb/             # BitBake 核心模块
│       ├── cache.py
│       ├── cooker.py
│       ├── data.py
│       ├── fetch2/
│       ├── runqueue.py
│       ├── taskdata.py
│       ├── parse/
│       └── ...
├── doc/
├── conf/
└── ...

下面我们从核心模块逐个解析:


五、核心模块源码详解

5.1 bin/bitbake:主入口脚本

bin/bitbake 是整个系统的主入口,用 Python 编写,其作用包括:

  • 初始化 Python 路径
  • 加载配置参数(如 bitbake.conf)
  • 启动 bb.cooker 进行调度

核心启动代码如下:

from bb import cooker
cooker = bb.cooker.BBCooker(configuration, server)
cooker.parseCommandLine(args)
cooker.updateCache()
cooker.buildTargets(targets)

可见,最终调用的是 BBCooker 类的接口。


5.2 bb/cooker.py:BitBake 的调度中心

这是 BitBake 的“大脑”。

BBCooker 类负责:

  • 加载配置和元数据
  • 调用解析器处理 .bb 文件
  • 构建任务队列(RunQueue)
  • 控制任务执行流程

关键方法:

  • parseConfiguration()
  • loadConfigurationData()
  • parseRecipeFiles()
  • buildTargets()

5.3 bb/data.py:变量系统管理器

BitBake 所有的变量(如 SRC_URI、DEPENDS、S、D 等)都是动态管理的,变量系统支持:

  • 延迟展开(lazy evaluation)
  • shell 表达式解析
  • Python 表达式支持

示例代码:

d = bb.data.init()
d.setVar('PN', 'busybox')
d.getVar('PN')  # => 'busybox'

这个变量系统是整个 Yocto 元数据解析与继承机制的基础。


5.4 bb/fetch2/:源码下载机制

这个目录包含 BitBake 中实现的下载协议插件,例如:

  • git.py:支持 Git 源码下载
  • http.py:支持 HTTP 下载
  • local.py:本地文件拷贝
  • wget.py:使用 wget 方式下载

每种协议都实现了统一接口,如:

def fetch(self, urldata, d):
    ...

BitBake 通过 SRC_URI 指定源地址时,会自动匹配合适的 fetcher 类。


5.5 bb/runqueue.py:任务调度器

RunQueue 是 BitBake 的任务执行引擎,负责:

  • 解析每个 bb 文件中定义的任务(如 do_fetch)
  • 按依赖顺序构建 DAG(有向无环图)
  • 多线程并发调度
  • 异常捕获与重试机制

核心结构:

class RunQueue:
    def runTasks(self):
        ...

运行顺序受制于任务的 depends 属性与配置的最大并发数。


5.6 bb/parse/:元数据解析模块

支持 .bb、.bbclass、.inc 等文件的解析。

  • parse_py/ 是 Python 格式的默认解析器
  • 支持条件语法、inherit、require、匿名 Python 函数等

BitBake 会递归解析所有 recipe,并缓存构建图。


六、BitBake 与 Python:扩展机制详解

BitBake 允许 recipe 中嵌入 Python 代码,例如:

python do_hello_world() {
    bb.plain("Hello from Python!")
}

也支持装饰器与 hook,如:

addtask mytask before do_compile after do_configure

这是 BitBake 的强大之处 —— 你可以像写 Python 一样灵活定义构建行为,又能享受任务依赖与隔离执行带来的构建安全。


七、BitBake 构建流程概览图

下面用一张图总结 BitBake 的整个执行流程:

      +------------------+
      |  bitbake 命令行  |
      +--------+---------+
               |
         [初始化配置]
               ↓
     +---------------------+
     | BBCooker: 加载层与元数据 |
     +---------------------+
               |
         [解析所有 .bb]
               ↓
     +---------------------+
     | RunQueue 构建任务图  |
     +---------------------+
               |
        [调度并执行任务]
               ↓
     +----------------------+
     | do_fetch → do_compile |
     |   → do_install → ... |
     +----------------------+
               ↓
          [输出映像文件]

每一步都可通过 bitbake -v -D 查看详细日志,非常适合调试与性能优化。


八、总结与实战建议

BitBake 虽然是一款构建工具,但其设计哲学远超传统构建系统。它以“元数据 + 构建图”的方式实现了自动化、可复现、可定制的嵌入式 Linux 构建流程。

实战建议如下:

  • 熟悉 bb.data 系统,有助于理解变量解析过程
  • 通过 bitbake -e <target> 查看变量展开效果
  • 阅读 cooker.py 和 runqueue.py,掌握任务调度逻辑
  • 借助 oe-pkgdata-util 等工具,验证依赖链与输出内容

📺 视频教程请关注 B 站:“嵌入式 Jerry”


yocto | 基于Linux的定制系统跑Qt app(第二集)bitbake工作流程 >>bitbake是OpenEmbedded构建系统的引擎,通过解析一系列配置文件(主要为recipes,即bb/bbappend文件)来创建任务列表,并根据依赖关系依次执行。通过bitbake -c listtasks xxx(模块名或映像名)命令可以查看编译一个模块或整个映像所需任务名称。编译一个模块/映像的主要执行过程如下(内核除外)>>>本节内容很多,但是你要想真正学会使用yocto必须学习这些,这个对于你的简历是一个亮点。自己制作linx系统,发布到嵌入式板子。后面还有很多实战,先消化这些。 阅读详情

相关推荐

Yocto系列探讨 - BitBake流程详解

在配置文件被解析之后,BitBake会根据配置文件中定义的软件包和依赖关系构建一个任务图(task graph)。它通过解析配置文件、构建任务图以及执行各种类型的任务来实现软件包的构建、编译和打包。它通过解析配置文件、构建任务图以及执行各种类型的任务来实现软件包的构建、编译和打包。除了编译和打包任务,BitBake还支持其他各种类型的任务,如下载任务、配置任务、安装任务等。用户可以根据需要自定义和扩展这些任务。除了编译和打包任务,BitBake还支持其他各种类型的任务,如下载任务、配置任务、安装任务等。

CyberSphinx的博客 574

寻志同道合之人,共同完成这本-Yocto项目实战教程:高效定制嵌入式Linux系统

寻志同道合之人,共同完成这本-Yocto项目实战教程:高效定制嵌入式Linux系统

Interview_TC的博客 2061

Yocto系列讲解[理论篇]25 - BitBake全过程(3)

BitBakedo_prepare_recipe_sysroot任务do_configure任务EXTRA_OECONF变量EXTRA_OECMAKE变量EXTRA_OEMAKE变量干货演示

fulinux的博客 5189

Yocto项目实战教程 · 第4章:4.2小节-菜谱

菜谱是 Yocto 项目中最关键的元数据单元,通过对菜谱结构和语法的深入理解,结合实例调试与最佳实践,能够快速集成、定制上游软件,实现高效、可维护的嵌入式 Linux 镜像构建流程。希望本文所述内容,有助于你在实际项目中编写更精准、清晰、健壮的菜谱。🔍B站相应的视频教程📌Yocto项目实战教程-第4章-4.2小节-菜谱记得三连,标为原始粉丝。

Interview_TC的博客 2078

19、嵌入式Linux开发:Yocto项目实战指南

本文详细介绍了基于Yocto项目的嵌入式Linux开发实践,涵盖镜像定制、BSP构建、SDK生成、许可证审计、开发工作流优化、自定义Linux发行版以及远程包服务器配置等关键内容。通过具体的示例和步骤,帮助开发者快速掌握在BeagleBone Black和Raspberry Pi 4等硬件平台上进行高效开发的技巧。

o0p1q2r3的博客 260

yocto实战之-systemd服务创建

在 Yocto 工程中创建服务主要是通过创建一个 systemd 服务文件,并将其集成到 Yocto 项目中。在你的配方目录下创建一个 files 目录,并将 my_service.service 和 my_script.sh 文件放入该目录。完成后,服务会自动被启用,并在系统启动时运行。将服务文件和脚本文件添加到 files 目录。添加配方到你的 Yocto 镜像中。

甜航一直在的博客 491

Yocto项目实战教程 · 第4章:4.1小节元数据

在嵌入式Linux系统构建中,Yocto项目凭借其高度模块化、可配置的特性成为主流工具。而其背后的关键支撑之一,便是“元数据(Metadata)”。元数据不仅定义了整个构建系统的行为,更是构建过程的灵魂所在。

Interview_TC的博客 1415

DexProtector内存态匿名段检测绕过与dex重组技术

Dex文件是Android应用的核心执行单元,其结构规范(如header_item、class_def_item、code_item)决定了运行时加载与解析的底层逻辑。DexProtector通过将dex数据拆解为多个无文件名、受保护的内存匿名段(如[anon:dp_header]、[anon:dp_code]),规避传统基于文件特征或标准加载路径的检测机制。该策略依赖Android mmap内存管理与ART虚拟机对dex结构的刚性要求,形成可被观测的布局规律。理解其内存态组织原理,结合权限/大小/命名/内

weixin_30855761的博客 694

Yocto项目日常练 Day 1:基础架构概述与最小镜像实战

在 Yocto 项目中,Layer 是组织元数据的基本单位。每个 Layer 是一组功能集合,可以包含菜谱、类、配置文件等。Layer 支持按需组合与重写,提升系统模块化和可维护性。Layer作用metaOE-Core,基础元数据层,提供常用软件包和构建逻辑meta-pokyPoky 的默认配置层提供参考硬件平台的 BSP 层用户自定义的扩展层layer 的启用通过文件管理,支持灵活添加、覆盖、替换已有逻辑。关键名词说明BitBake构建引擎Poky。

Interview_TC的博客 1661

用ESP32-S3和USB摄像头DIY一个无线图传监控(附完整代码和接线图)

本文详细介绍了如何利用ESP32-S3开发板和USB摄像头打造一套高性价比的无线图传监控系统。从硬件选型、接线图到代码实现,提供了完整的DIY方案,特别适合家庭监控、宠物看护等场景。通过优化WiFi传输和双核任务分配,实现了稳定的视频流传输,整套方案成本控制在200元以内。

weixin_33701251的博客 519

FFmpeg流媒体开发避坑指南:avformat_open_input超时设置的那些坑

本文深入剖析了FFmpeg流媒体开发中avformat_open_input函数的超时设置难题。针对默认阻塞行为、无效的timeout参数以及不稳定的线程取消方案等常见误区,文章详细解读了官方推荐的interrupt_callback机制,并提供了健壮的超时控制器实现方案与最佳实践,帮助开发者构建稳定可靠的流媒体应用。

weixin_29239279的博客 239

Yocto项目实战教程-第7章定制镜像菜谱与内核菜谱-7.2小节-定制应用程序

如何创建新layer与recipe如何组织源码并适配bitbake规则如何处理依赖与部署路径如何通过systemd服务实现应用启动Yocto的强大之处在于其模块化、可重用的构建系统。理解菜谱机制和构建流程,是掌握Yocto的关键第一步。希望这篇博文为你在实际项目中部署定制应用提供有力指导。🔍B站相应的视频教程📌Yocto项目实战教程-第7章-定制镜像菜谱与内核菜谱。

Interview_TC的博客 1494

从零到一:高通Memory QMVS测试环境搭建的避坑指南

本文详细介绍了高通Memory QMVS测试环境搭建的全流程避坑指南,涵盖硬件选择、软件配置、QMVS核心组件安装及测试执行技巧。重点解析了adb工具配置、QPST日志抓取等关键步骤,帮助工程师高效搭建稳定测试环境,避免常见兼容性和稳定性问题。

weixin_29251567的博客 558

Yocto项目实战教程-第8章-树莓派启动定制镜像-8.4小节-使用Wic工具创建分区镜像

Wic 是 Yocto 项目中oe-core它基于 Kickstart 脚本(.wks文件)定义分区结构,并使用底层工具(如partedmkfs.ext4dd等)构建磁盘镜像。最终可生成.wic.sdimg.img等格式的镜像文件,适用于 SD 卡、eMMC、U 盘或虚拟机磁盘。在 BSP 层或并通过local.confWic 工具为 Yocto 项目提供了灵活而强大的分区镜像创建能力。

Interview_TC的博客 2049

机械臂速成小指南(七):从旋转矩阵到齐次变换——机械臂位姿的数学表达

本文详细介绍了机械臂位姿描述的数学基础,包括旋转矩阵、欧拉角和齐次变换等核心概念。通过解析旋转矩阵的几何意义和合成方法,以及欧拉角的直观描述,帮助读者理解机械臂位姿的数学表达。文章还探讨了齐次变换在工程实践中的应用,并提供了数值稳定性、坐标系约定和计算效率等实用建议。

cuda7parallel的博客 836

基于fme和python-docx第三方库批量更新不动产调查表

最近应朋友需要批量更新在不动产成果中提交的各种word报表中的指定数据,根据初步的了解,我做了一个基于fme软件和python-docx第三方库进行一个批量的更新方案。

weixin_43229258的博客 1242

Yocto项目实战教程 · 第4章:4.3小节-层

元数据层(Layer)是组织元数据文件的逻辑单位。它本质上是一个包含特定目录结构和 `layer.conf` 配置文件的文件夹,按功能或供应商划分,用于模块化管理元数据内容。通过将元数据分布到多个层中,Yocto 实现了高内聚低耦合的构建体系,支持复用、继承、覆盖和扩展。

Interview_TC的博客 1902

yolov11添加P2小目标检测头与添加P6超大目标检测头

本文介绍了YOLO目标检测模型中上下采样的原理及应用。上采样通过插值算法放大特征图,YOLO通常采用最近邻插值;下采样则通过带步长的卷积缩小特征图提取高层语义特征。文章详细阐述了这两种操作在YOLO中的实现方式、结构特点及对称性问题,指出下采样后会使用C3模块进行特征整合,上采样后通过concat抑制分割感。此外,还分析了不同分辨率特征图适合检测不同尺寸目标的原因,并提出添加4倍小目标检测头的方法,即对上采样后的特征进行concat和C3模块处理。最后给出了YOLOv5原模型结构和添加4倍检测头后的结构对比

m0_64661770的博客 822

BitBake 执行流程深度解析:从理论到实践

通过深入解析 BitBake 的执行流程,可以发现其强大的模块化设计和高效的调度机制。它不仅为 Yocto 项目提供了可靠的支持,也为其他复杂任务的自动化执行提供了广泛的可能性。通过理解其配置解析、菜谱处理、任务调度与缓存机制,开发者可以更高效地优化构建系统,提高嵌入式项目的开发效率。BitBake 的强大不仅在于其功能,更在于其设计思想。未来,随着嵌入式开发需求的不断增长,BitBake 将在更多场景下展现其价值。

Interview_TC的博客 1680

5、自适应 RBF 神经网络控制方法解析

本文详细解析了基于RBF神经网络的多种自适应控制方法,包括针对函数未知、参数未知以及存在外部干扰的非线性系统的控制策略。通过李雅普诺夫稳定性理论设计自适应律,确保闭环系统稳定,并结合仿真示例和MATLAB代码实现,展示了方法的有效性。文章还对比了不同控制方法的适用场景,并给出了实际应用流程,为复杂系统控制提供了系统性解决方案。

ol789012的博客 75

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

Yocto项目实战教程-第8章树莓派启动定制镜像-8.3小节-树莓派BSP层

树莓派(Raspberry Pi)作为世界上最受欢迎的单板计算机之一,广泛应用于嵌入式开发和教育领域。Yocto项目则提供了一个强大的工具集,可以高度定制嵌入式Linux系统。本博文将详细讲解如何利用Yocto为树莓派定制专属的Linux系统。Yocto项目是一个开源的协作项目,提供了一套灵活且可重用的工具,帮助开发者创建自定义的Linux发行版。可通过修改菜谱和设备树文件,实现深度定制。通过本文详细指导,你应当能够轻松使用Yocto项目为树莓派构建高度定制化的Linux系统。

Interview_TC的博客 1623

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

Yocto项目实战经验总结:从入门到高级的全面概览

Yocto 项目不是一个操作系统,而是一套构建 Linux 分发版本的工具和基础元数据,包括 BitBake 构建引擎,元数据 Layer 和参考分发版 Poky。

Interview_TC的博客 1722

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

Yocto项目实战教程‑第6章‑Poky‑镜像菜谱‑机器配置文件‑发行版配置文件‑QEMU

Poky 是 Yocto 项目官方提供的参考发行版(Reference Distribution),位于poky/目录下,集成了最常用的层和配置。层模型示例:内置meta-pokymeta-yocto等示例层,展示层结构与依赖关系;默认镜像菜谱:如等,覆盖最轻量到图形环境的典型场景;标准化配置:提供示范性的local.confpoky.conf,帮助快速上手;自动化脚本脚本即可初始化构建环境;QEMU 支持:内置多种 QEMU 机器(qemux86qemuarm等)快速验证镜像。

Interview_TC的博客 1253

Yocto 项目训练 :搞懂 BitBake 的构建流程

本文深入解析了Yocto项目中BitBake构建流程的核心机制,重点介绍了Task执行模型及其依赖链。通过实际案例,如分析busybox的构建流程,展示了如何使用BitBake命令进行任务列表查看、变量展开和构建调试。文章还提供了构建失败时的调试技巧,如查看日志和使用devshell手动构建。最后,通过练习题巩固了BitBake中关键任务的作用和常用命令的使用。掌握这些知识,有助于高效定制嵌入式Linux系统,并提升排障与扩展能力。

Interview_TC的博客 1943

Yocto项目实战:手把手教你定制专属的镜像菜谱(从0到部署)

镜像菜谱是一个 BitBake.bb文件,告诉构建系统:“请为我构建一个包含这些软件包、具备这些功能的系统镜像。基础镜像类(inherit core-image / image / core-image-minimal 等)要安装的包列表启用的系统特性├—— conf/创建文件hello.c");return 0;

Interview_TC的博客 1689

一本书,能改变嵌入式行业格局吗? ——《Yocto项目实战教程》正式上市

一本书,能改变嵌入式行业格局吗? ——《Yocto项目实战教程》正式上市

Interview_TC的博客 394
上一篇: Yocto项目实战教程 · 第4章:4.3小节-层
下一篇: Yocto项目实战教程‑第6章‑Poky‑镜像菜谱‑机器配置文件‑发行版配置文件‑QEMU
嵌入式孙老师
博客等级 码龄7年 5688粉丝 903原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值