How to implement fiber

最新推荐文章于 2024-08-30 09:34:39 发布
最新推荐文章于 2024-08-30 09:34:39 发布
阅读量3.1k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： Win32 C++ 文章标签： alignment python assembly 工作 编译器 struct
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/seizeF/article/details/6567301
本文深入探讨了纤程（Fiber）的工作原理和技术细节，包括纤程与线程的区别、纤程的调度机制以及如何在Win32和Linux环境下实现纤程的创建与切换。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Introduction

我们知道线程是程序执行的一个最基本的单位，任何程序的执行，都依赖于线程的执行。而线程通常是操作系统的基本组成，通常创建一个线程，比如在Win32上，用CreateThread创建一个线程，操作系统实际会创建2个对象，一个是用户态的线程，另一个是内核态的线程，而我们的代码运行在用户态线程。当线程切换时，比如调用WaitForSingleObject，或者调用WriteFile执行阻塞IO时，通常会涉及到线程的切换，而切换需要进入到内核态，由此带来的开销是比较可观的。而Fiber，也就是纤程，完全运行在用户态，各个线程的切换也只在用户态完成，所以切换开销较小。线程的调度，通常是由操作系统的线程调度器完成，在现代OS中，通常使用抢占式调度策略。而纤程的调用，完全依赖于程序员自己，即实现一种合作式调度，只有在主动提出切换时，才会进行切换。

纤程，在其他的语言，比如Python、Lua中都有实现。Python中提供了generate，可以用来简单地模拟纤程，而另外一个强大的greenlet库，则是Python中纤程的另一实现。在Lua中，我们可以使用内置的coroutine库。

Basic Usage

 
Win32

在Win32中，我们可以使用ConvertThreadToFiber/ConvertFiberToThread，CreateFiber/DeleteFiber来管理纤程的创建与销毁。对于一个线程，如果要调用纤程，那么必须调用Convert，将一个线程转化为纤程。当需要切换到另一个纤程时，只需要调用SwitchToFiber，这样现有的线程的一些状态将被保存，等待以后恢复执行。

Linux

Linux中有context api，可以用来完成类似的功能。我们调用getcontext/makecontext，来初始化纤程，用swapcontext/setcontext来切换纤程。

setjmp/longjmp

说到这里，我们不得不提起另一个看似可以用来完成类似工作的古老的C API，setjmp/longjmp。setjmp用来保存当前的执行环境，longjmp用来还原上次的执行，这样可以实现non-local goto的功能。但是这里有一个问题，就是当我们调用longjmp回到setjmp保存的状态继续执行时，如果longjmp的调用者与setjmp的调用者不是同一个函数，那么longjmp所在的栈的状态将是undefined[1]。也就是说，我们不能通过在longjmp之前，save状态，之后再longjmp回来，这是未定义的行为。当然，在win32上，你可以这么做，而且还工作地很好（我在实现中使用了这一技巧）。但是在linux上，你将会遇到运行时错误，提示stack smashing（gcc的stack保护机制，__fortify_fail），也就是栈被破坏了（这令我debug了很长时间，最后放弃，网上看到许多实现用这方法，但是不奏效）。setjmp/longjmp还有其他陷阱，比如，在win32上，他不会保存/恢复SEH异常链，等等。

How Fiber works

其实无论是哪种方法，我们只需要明白Fiber是如果工作的，那么就可以实现出自己的fiber来（当然这里还需要考虑其他一些CPU相关的情况）。

Fibe类似于线程，都有一个栈用来保存当前的调用所需的状态。所以我们首先需要为fiber创建一个栈。其次由于每个fiber肯定需要一个入口函数（就像线程一样），在切换时，需要进入到这个入口，然后执行。其实代码的执行在x86 CPU上，就是修改EIP指针，将其指向这个入口函数即可。在切换纤程时，也就是保存我们的栈的状态，x86上，ESP和EBP是两个重要的寄存器，保存了当前的栈的状态。我们还需要保存其他的通用寄存器，EBX、EDI、ESI，因为不同纤程显然会修改寄存器。这里不保存其他3个寄存器：EAX、ECX、EDX的原因是，这些寄存器都是caller-save的[4]，也就是说，如果调用者使用了这些寄存器，那么在调用其他函数前，必须先保存这些寄存器。

这里涉及到两个问题，一个是修改EIP指针，另一个是保存/恢复寄存器值。

Modify EIP

因为EIP指针只有在特权模式才能够修改（操作系统工作在特权模式），我们用户态程序是无法直接修改的。但是我们知道，jmp指令时可以间接修改EIP的。还有另一个方法是用ret指令，ret指令会从栈顶取出值作为EIP的值，这样就实现了跳转。这里我选择使用push + ret的方式来修改eip，因为jmp要求使用相对于下一条指令的偏移作为操作数（Relative jumpping）。

Save/Restore GPR(general-purpose registers)

保存和回复GPR比较简单，用几条汇编指令即可完成。

Save/Restore Stack Pointer

在Save/Restore EBP/ESP时，需要格外小心，因为一旦我们修改了ESP，那么在之后所有的对栈的操作都将在新的栈上进行。

Implementation

先来看一下fiber_context的成员，这个struct用来保存寄存器和栈的指针/大小等。

struct fiber_context
{
#ifdef FIBER_X86
    // registers
    uintptr_t ebp;
    uintptr_t esp;
    uintptr_t eip;
    // callee-save general-purpose registers
    // see http://www.agner.org/optimize/calling_conventions.pdf
    uintptr_t ebx;
    uintptr_t esi;
    uintptr_t edi;
#else
#  error Unsupported platform
#endif

    char* stack;
    int   stack_size;
    void* userarg;
};
 

所有callee-save的GPR，以及ebp/esp/eip都会被保存。这个比较简单。
 

fiber_make_context
 

这个函数用来创建一个context，初始化执行环境。


void fiber_make_context(fiber_context* context, fiber_entry entry, void* arg)
{
    assert(context && entry);
    // default alignment of the stack
    const int alignment = 16;

    context->esp = (reinterpret_cast<uintptr_t>(context->stack) + context->stack_size) & ~(alignment - 1);
    context->ebp = context->esp;
    context->eip = reinterpret_cast<uintptr_t>(entry);
    context->userarg = arg;

    // push the argument onto the stack
    char* top = reinterpret_cast<char*>(context->esp);
    memcpy(top, &context->userarg, sizeof(void*));
    // make space for the pushed argument
    context->esp -= sizeof(void*);

    // clear all callee-save general purpose registers
    context->ebx = context->esi = context->edi = 0;
}

这里，我们初始化了esp，和ebp，同时指向栈顶。注意，x86 CPU使用full-descending stack，也就是逆向增长的栈。因为用户可以提供一个可选参数，所以我们必须事先将这个参数压栈，这样在将EIP重定向后，入口函数就可以正常存取这个参数了。自然，压栈后，我们必须减小esp的值，为参数留出空间。EIP的值指向入口函数的地址，这个很容易理解。其余部分只是简单地初始化GPR的默认值。

 

fiber_get_context
 

该函数用来保存当前的执行状态。因为我们可以通过fiber_set_context来从一个由fiber_get_context初始化的context中恢复执行，这里必须考虑这种特殊情况。我们不能简单地保存esp/ebp的值，因为一旦我们从fiber_get_context返回，该函数的stack frame将会被销毁，这样如果保存的esp/ebp指向的是fiber_get_context的frame的话，那么很显然会出现运行时错误。我们唯一能够做的就是，保存调用者的栈。
 

对于每一个c/c++函数，编译器都会在入口处安插指令来保存调用者的ebp，并且修改ebp/esp来创建新的stack frame。所以我们不能写一个普通函数来完成这个工作。我们需要一种方法，不让编译器生成prolog/epilog，这样我们就有更多的控制权。在VC中，我们可以使用naked函数，在GCC，我们只能写汇编源代码。
 

__declspec(naked) void fiber_get_context(fiber_context* context)
{
    // TODO: how much space need to reserve for assert ?
    //assert(context);
    // save the current context in `context' and return
    __asm
    {
        // save current stack pointer to context
        mov ecx, dword ptr [esp + 0x4] ;
        fixup, point to the argument, ignore return address
        mov dword ptr [ecx], ebp ; context->ebp
        mov eax, esp
        // fixup esp, ignore return address, as the eip is set to the caller's address
        add eax, 0x4
        mov dword ptr [ecx + 0x4], eax ; context->esp
        mov eax, dword ptr [esp]
        mov dword ptr [ecx + 0x8], eax ; context->eip
        // save callee-save general-purpose registers
        mov dword ptr [ecx + 0xc],  ebx; context->ebx
        mov dword ptr [ecx + 0x10], esi; context->esi
        mov dword ptr [ecx + 0x14], edi; context->edi
        ret
    }
}
这里在保存调用者的esp时，我进行了一些修正，以得到调用fiber_get_context之间的值（这个值包括被压栈的参数）。在x86上，当调用一个函数时，调用者与被调用者栈的布局是这样的
 


 
 

所以，要拿到返回值，只需要将ebp加上4即可。但是由于我们是一个naked function，所以，这里我们只能通过esp来取值，考虑压栈的eax, ebx，对esp加上8，即可得到返回地址。
 

fiber_set_context
 

该函数用于切换到另一个context，调用该函数后，会直接切换到新的fiber，而控制流不会返回，所以我们可以不用考虑栈的使用情况，而只需简单回复即可。 
 

void fiber_set_context(fiber_context* context)
{
    __asm
    {
        ; restore the enviroment for context
        mov eax, context
        mov ebp, dword ptr [eax]        ; context->ebp
        mov esp, dword ptr [eax + 0x4]  ; context->esp
        ; restore callee-save general-purpose registers
        mov ebx, dword ptr [eax + 0xc]  ; context->ebx
        mov edx, dword ptr [eax + 0x10] ; context->edx
        mov esi, dword ptr [eax + 0x14] ; context->esi
        mov edi, dword ptr [eax + 0x18] ; context->edi
        push dword ptr [eax + 0x8]      ; context->eip
        ret
        ; should never return here
    }
}
这个函数看上去比较简单，只是简单地恢复寄存器的值，并设置eip指针。
 

fiber_swap_context
 

这个函数会保存当前的context，并切换到新的context。这个函数可以用fiber_get_context/fiber_set_context来实现。
 


void fiber_swap_context(fiber_context* oldcontext, fiber_context* newcontext)
{
    assert(oldcontext && newcontext);
    // save the current context in the oldcontext and set the current context from newcontext
    __asm
    {
        push oldcontext
        call fiber_get_context
        // fixup oldcontext->esp, ignore pushed arguments, since we'll resume from restore
        mov eax, oldcontext
        add dword ptr[eax + 0x4], 0x4
        // fixup return address
        mov dword ptr[eax + 0x8], offset restore
        // switch to newcontext
        push newcontext
        call fiber_set_context
        restore:
    }
}
在保存当前执行环境时需要注意一点，因为我们调用fiber_get_context时save的eip指针的值应该是call的下一条指令的地址，在这里就是push eax，但是我们不希望这样，因为随后我们就会调用fiber_set_context。所以我们必须修正EIP，以跳过对fiber_set_context的调用。这里还有一点需要注意，那就是esp的值，由于我们调用fiber_get_context手动对参数进行压栈，所以在从restore恢复执行时，esp的值还包含oldcontext这个参数。但是restore之后我们就直接返回了，所以我们必须修正esp的值，减去压栈的oldcontext（其实这里理论上不用修正esp，因为在函数的epilog中，会自动将ebp赋值给esp，所以修正没有意义，但是由于VC会在函数最后安插栈完整性的检查代码，所以为了防止这个错误，必须修正）。

 

TODO
 

这里我们只保存了GPRs，没有对其他的寄存器，比如浮点控制寄存器等进行保存。
 

Summary
 

在无法大量创建线程的环境中，纤程提供了一定的解决方案，因为纤程更加轻量，从而可以实现更高的并发性。
 

Source Code
 

代码存放在github上便于下载，git url为git://github.com/alexshen/fiber.git，网页地址为https://github.com/alexshen/fiber
 

Reference
 

[1] setjmp.h Wikipeida
 [2] qemu coroutine
 [3]  Gcc Inline Assembly
 [4]Calling conventions for different C++ compilers and operating systems

                

        

    

    
  



    



                



	

		

			

				
					
t10_Adapting to Market Participantsand Conditions

				
			

			

				

					Linli522362242的专栏
				

				

					02-13
					
					4298
					
				

			

		

		

			
				
So far, we've gone over all the concepts and ideas involved in algorithmic trading. We went from introducing the different components and players of an algorithmic trading ecosystem to going over practical examples of trading signals, adding predictiv...

			
		

	



                

            
              



	

		

			

				
					
t8_Connecting to Trading Exchanges_WMFrame 5.1_PowerShell_quickFIX_colab

				
			

			

				

					Linli522362242的专栏
				

				

					01-24
					
					745
					
				

			

		

		

			
				
At this point, we have a good understanding of how to write a trading system and writing the code for all the critical components. We went into detail about book building, creating trading signals, and getting a market response.

  In this chapter,...

			
		

	



              


  
              

                


	

		

			

				
					
error C4235: 使用了非标准扩展: 不支持在此结构上使用“_asm”关键字

					
热门推荐

				
			

			

				

					swanabin的专栏
				

				

					03-18
					
					1万+
					
				

			

		

		

			
				
转自VC错误:http://www.vcerror.com/?p=2135
问题描述：
x86平台转x64平台后编译出现错误：

error C4235: 使用了非标准扩展: 不支持在此结构上使用“_asm”关键字
error C2065: “call”: 未声明的标识符
error C2146: 语法错误: 缺少“;”(在标识符“dummy”的前面)
error C2065: “d

			
		

	





	

		

			

				
					
强制让目标进程执行自己的 ShellCode

				
			

			

				

					优快云
				

				

					07-16
					
					1万+
					
				

			

		

		

			
				
强制让目标进程执行自己的 ShellCode代码，首先，使用 CreateProcess 函数创建进程，并且设置创建进程的标志为CREATE_SUSPENDED，即表示新进程的主线程被挂起。然后，使用 VirtualAllocEx 函数在新进程中申请一块可读、可写、可执行的内存，并使用WriteProcessMemory 函数写入Shellcode 数据。

			
		

	



		

			
		



	

		

			

				
					
win32api之线程知识梳理(四)

				
			

			

				

					xf555er的博客
				

				

					03-21
					
					899
					
				

			

		

		

			
				
线程上下文（Thread Context）是指在一个线程中，当前执行代码的相关信息集合，包括寄存器状态、程序计数器、线程优先级、线程的上下文安全堆栈等等。要注意的是，若要获取线程上下文信息，需要先将线程挂起。当多个线程同时使用同一个资源(全局变量)时, 很可能会出现某些错误, 这时我们可以将这个资源变成临界资源, 然后通过临界区来使用这个临界资源临界区（critical section）是操作系统用于同步线程之间访问共享资源的一种机制，是一段被保护的代码区域。

			
		

	





	

		

			

				
					
STM32 Microcontroller Network Communication Fully Analyzed: In-... and HTTP, Connecting to the Internet

				
			

			

				

					
				

			

		

		

			
				
# 1. Overview of STM32 Microcontroller Network Communication  STM32 microcontroller network c***work communication is crucial for applications such as the Internet of Things (IoT), industrial ...

			
		

	





	

		

			

				
					
Linux下c实现协程-Coroutine

				
			

			

				

					blade2001的专栏
				

				

					10-25
					
					1万+
					
				

			

		

		

			
				
Widnows 是提供了用户级线程的，类似 coroutine 需要用户主动是切换。这在单线程程序中非常有用。线程调度模块只负责提供堆栈，环境的保存。不负责分配时间片等。


自己实现 coroutine 并不难，但能用操作系统提供的可以得到更多的便利。Windows 中把这种用户级线程叫做 Fiber，纤维的意思。比较通用的译名是纤程。


我们可以把一个 thread 转换成一个

			
		

	





	

		

			

				
					
1-Computer Networks and the Internet

				
			

			

				

					gaoxiangnumber1——Gao Xiang's Blog
				

				

					07-17
					
					5585
					
				

			

		

		

			
				
Please indicate the source: http://blog.youkuaiyun.com/gaoxiangnumber1 
Welcome to my github: https://github.com/gaoxiangnumber11.1 What Is the Internet?1.1.1 A Nuts-and-Bolts Description
When one end system

			
		

	





	

		

			

				
					
Windows高级编程之线程调度、优先级和亲缘性

				
			

			

				

					xj_fox的专栏
				

				

					10-07
					
					827
					
				

			

		

		

			
				
7.1   暂停和恢复线程的运行在线程内核对象的内部有一个值，用于指明线程的暂停计数。线程恢复运行DWORD ResumeThread(HANDLE hThread);ResumeThread函数运行成功，它将返回线程的前一个暂停计数，否则返回0xFFFFFFFF。线程暂停运行DWORD SuspendThread(HANDLE hThread);任何线程都可以调用该函数来暂停另一个线程的运行（只

			
		

	





	

		

			

				
					
Fiber架构的简单理解与实现

				
			

			

				

					web前端开发
				

				

					11-03
					
					4952
					
				

			

		

		

			
				
来源 |http://www.fly63.com/article/detial/97891、简介本文主要理解fiber的基本原理。为了能够更好的理解fiber原理，我们会从零开始构建一...

			
		

	





	

		

			

				
					
Linux【协程】 | 常见协程库简介

				
			

			

				

					weixin_45926547的博客
				

				

					03-15
					
					3930
					
				

			

		

		

			
				
文章目录简介
简介


对于线程，其切换是由操作系统根据其系统内核中的调度器，抢占式地进行的，不能很好地保证线程间的先后顺序；
协程可以理解为一种用户态的轻量级线程，切换由用户定义，各任务之间可以控制执行、暂停、恢复函数，来达到多任务协作的目的；
协程上下文切换速度快, 且不会陷入内核态；
协程拥有独立的寄存器上下文和栈，协程调度切换时，将寄存器上下文和栈，在来回切换时，恢复先前保存的寄存器上下文和栈；


优点


协程具有极高的执行效率，由于子程序切换不是线程切换，是由程序自身控制，故协程没有线程切换的

			
		

	





	

		

			

				
					
纤维（Fibers）开源项目安装与使用指南

					
最新发布

				
			

			

				

					gitblog_00160的博客
				

				

					08-30
					
					348
					
				

			

		

		

			
				
纤维（Fibers）开源项目安装与使用指南
欢迎使用 fibers 开源项目，该项目基于 GitHub 平台，由 wingo 维护。本指南旨在帮助您快速了解项目结构、启动方式及配置详情，从而顺利进行开发或集成。
1. 项目目录结构及介绍
fibers 项目结构简洁明了，尽管具体的细节可能随着版本更新有所变化，但核心组件大致如下：


src
此目录包含了项目的源代码，是实现纤维（轻量级线程）功能的...

			
		

	





	

		

			

				
					
-异常处理-

				
			

			

				

					weixin_52369224的博客
				

				

					03-03
					
					720
					
				

			

		

		

			
				
简介：

异常分为俩种，CPU产生的异常(除0，缺页)和软件模拟产生的异常







来自《加密与解密》

SEH:

SEH是Windows操作系统提供的异常处理机制,在程序源代码中使用_try、__except、_finally关键字来具体实现。

TEB/T：


typedef struct _NT_TIB {
     struct _EXCEPTION_REGISTRATION_RECORD *ExceptionList; //异常的链表

     PVOID StackBase;
   

			
		

	





	

		

			

				
					
MFC~32位转换成64位编译器~ON_WM_TIMER()~ 错误~

				
			

			

				

					路楷的专栏
				

				

					12-20
					
					3536
					
				

			

		

		

			
				
32位转换成64位编译器，编译后出现如下编译错误：


error C2440: 'static_cast' : cannot convert from 'void (__cdecl CFrProgressDlg::* )(UINT)' to 'void (__cdecl CWnd::* )(UINT_PTR)'

出现错误的一行为：

ON_WM_TIMER()

解决方法：


			
		

	





	

		

			

				
					
how to implement a cache

				
			

			

				

					04-01
				

			

		

		

			
				
There are several steps to implementing a cache:

1. Decide what data to cache: Determine which data or results are expensive to compute or retrieve and thus would benefit from being cached.

2. Choose a caching strategy: There are several caching strategies such as LRU (Least Recently Used), LFU (Least Frequently Used), and TTL (Time To Live). Choose a strategy that best fits your use case.

3. Determine cache size: Decide how much memory or disk space you want to allocate to caching.

4. Implement caching logic: Write code to check if the data is in the cache. If it is, return the cached data. If it is not, compute or retrieve the data and store it in the cache.

5. Set up eviction policy: Decide when cached data should be removed from the cache.

6. Test and optimize: Test your cache for performance and tweak your caching strategy and eviction policy as needed.

7. Integrate with application: Integrate the cache into your application's codebase.

8. Monitor and maintain: Monitor the cache's usage and adjust configuration as needed. Regularly clean out stale data from the cache to keep it performing optimally.

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 3

	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值