AliOS Things上移植 newlib 实践

HaaS技术社区

墨衍会员 · AI 创作全网分发码龄6年

关注

原创 2021-03-30 17:58:24 3.1k 阅读 AI 写同款· GEO 优化 ›

在这里插入图片描述

一、概述

newlib是嵌入式领域非常知名的开源C库，它在嵌入式系统上被广泛使用。本篇文章我们基于AliOS Things物联网OS上newlib的实践，来分析newlib的实现机制，探讨它被广泛使用的原因，为我们做物联网OS生态提供一些参考。

Newlib具有很强的灵活性：

（1）支持nano和非nano库两种形态的库。nano库具有更小的footprint，用于资源受限平台。非nano库功能齐全、性能高，用于内存资源较多的平台。

（2）支持裸机平台和基于OS的平台。在裸机平台上无需线程安全机制，而在OS平台上由于存在多线程，因此需提供线程安全机制。

（3）简洁的桩函数。Newlib通过桩函数对接，它提供了20多个桩函数，这些桩函数并非全部都要实现，可根据需求只实现最小桩函数子集。

二、newlib的组成

newlib包含多个库，它实际上是一个源码集合。主要包括newlib和libgloss两大部分。其中newlib目录主要包含libc和libm，分别实现C库和数学运算库。libgloss是平台相关代码，其内除了各CPU平台目录外，还有一个特殊的目录libnosys。某些裸机平台实际并不需要系统接口，但代码中却引用了系统接口，为了方便用户能够在这种场景下成功生成镜像，libnosys实现了空的系统接口。

三、适配桩函数

Newlib通过桩函数对接OS。这里桩函数的含义是：newlib没有实现这些接口，但会调用它们，需在外部实现。

桩函数总共20多个，分为三类：

（1）I/O和文件系统访问：open_r、close_r、read_r、write_r、lseek_r、stat_r、fstat_r、fcntl_r、link_r、unlink_r、rename_r、isatty_r、_mkdir_r；

（2）内存申请、释放：malloc_r、realloc_r、calloc_r、free_r、_sbrk_r；

（3）获得当前系统的日期和时间：gettimeofday_r、times_r；

（4）各种类型的任务管理函数：execve_r、fork_r、getpid_r、kill_r、_wait_r；

若需要支持64位文件系统，则需要如下桩函数：lseek64_r、fstat64_r、open64_r、stat64_r

可以根据对C库的需求只实现部分接口，比如open、read、write、close，其他桩函数仅仅实现一个返回-1的空函数，当然返回之前需将errno设置为ENOTSUP，表示系统不支持该函数。甚至，如果只需要使用newlib的数学库接口或字符串操作接口，可以把所有桩函数实现为空。

四、nano库与非nano库

newlib C库在编译将生成两套库，libc.a和libc_nano.a，其中带后缀nano的库（后续称为Newlib-Nano）将尽量降低内存消耗。其主要特点如下：

（1）printf和scanf系列接口只支持C89标准，不支持浮点格式化。这是通过功能降级来降低内存使用。

（2）降低reent结构内存消耗。比如结构体内的缓存数组调整为指针，在使用时根据需求动态申请内存。这里采取了时间换空间策略。

注：由于C库依赖C库，因此C库也会相应地生成两套：libstdc++.a和libstdc++_nano.a。

五、newlib的可重入

5.1、_reent结构体

struct _reent是newlib实现中最重要的结构体，通过它我们可以一窥newlib的机制。该结构体维护了newlib运行过程中的一些内部数据。比如：

int _errno;    //错误号

__FILE *_stdin, *_stdout, *_stderr;  //标准输入、输出，标准错误输出

struct __tm *_localtime_buf;       //用来转换时间的缓存

newlib内部定义了一个全局的reent结构体变量impure_data，同时定义了两个指针impure_ptr和global_impure_ptr，其中global_impure_ptr类型为常量，不可修改。

宏REENT定义为impure_ptr，newlib内部通过_REENT访问impure_data。比如errno的访问：

#define errno (*__errno())

int *__errno ()

{

    return &_REENT->_errno;

}

5.2、_reent结构体与可重入

reent结构体保存了newlib的内部数据，因此实现newlib的可重入关键在该结构体上。如果整个系统只使用一个全局reent，则不可重入，如果每个线程访问自己的私有_reent则为可重入。Newlib提供了三种支持可重入的方式。

（1）可重入接口

newlib提供了两套接口：可重入接口与标准接口。可重入接口是原生支持可重入的，其接口的第一个参数为可重入结构体。比如：

_vprintf_r (struct _reent *ptr, const char *__restrict fmt, va_list ap);

为了支持多线程，用户可以为每个线程分配一个私有的reent结构体变量，线程在调用newlib接口时，把各自的reent变量作为参数传入。

由于用户通常用的是标准接口，因此这种方式适合代码量较小，接口调整工作量不大的系统。

（2）切换_impure_ptr

标准接口没有可重入结构体参数，其能否支持可重入要看具体的适配。

一种嵌入式上普遍的做法是，为每个线程分配一个私有的reent结构体变量（通常是作为任务控制块的一个域），在任务切换时修改impure_ptr的值。以下图为例，一开始task1在运行，impure_ptr指向task1的reent结构体，当任务切换到task2时，impure_ptr指向task2的reent结构体。

由于_impure_ptr只有一个，因此这种方式只适合单核系统，对于多核系统就不够用了。

（3）__getreent()
这种方式也是AliOS Things采用的方式。在这种方式下，_REENT宏定义如下：

#define _REENT (__getreent())

Newlib库通过调用__getreent()获得线程的_reent结构体。

相比于之前的两种方式，这种方式调整了宏_REENT的定义，因此需要配置并重编C库，同时需要实现__getreent()接口，但对多线程支持的最为彻底。

5.3、资源互斥锁

Newlib内部维护了一些资源，这些资源提供给用户使用，最典型的是FILE结构体。当用户调用fopen接口时，newlib将分配一个FILE结构体并返回给用户。
FILE结构体由_glue链表进行管理，示意图如下：

在多线程场景下，同时访问该链表会导致问题，比如两个调用fopen分配到同一个FILE结构体。需要实现如下宏：

# define _newlib_sfp_lock_start()
# define _newlib_sfp_lock_exit()
# define _newlib_sfp_lock_end()
# define newlib_flockfile_start(fp)
# define newlib_flockfile_exit(fp)
# define newlib_flockfile_end(fp)

上述接口可对接为OS的互斥接口。