Linux杂录

Linux学习杂录 Linux学习杂录 一、装linux之前的环境准备 sudo apt-get update sudo apt-get dist-upgrade sudo apt-get install g++ sudo apt-get install libx11-dev libxext-dev libxtst-dev12 sudo apt-get install libgl1-mesa-dev 二、环境: 虚拟机:Oracle VM VirtualBox 文件传递工具:MobaXterm qt-o... 阅读详情

Linux大概也是过了一遍了,现在来做一个总结,路线:内核控制路径->中断->进程调度与进程描述符->内存描述符与虚拟内存->文件系统与块设备->内存分配。(很多东西借助了其他博客)进程的进程调度算法、文件的IO调度算法、内存的伙伴和slab算法等。

内核控制路径分为异常(包括系统调用)、中断、内核线程。抽象来说内核线程就是内核自己的一些日常工作;有时候上面的用户态进程需要麻烦内核做一些只有内核态才能做的事比如分配页表内存(请页机制)、比如进行进程调度等,此时内核进入异常模式;有时候下面的硬件中断源遇到了比如网卡缓冲区来了数据、比如定时器到达了定时时间等事件、比如除法寄存器遇到了除数为0的浮点错误等,需要交由内核进行进一步处理,此时内核进入中断模式。因此整理下来这三条内核控制路径加起来大概就是内核每天需要做的事情。进入异常模式中的系统调用时我们称内核处于进程上下文,进入中断模式时我们称内核处于中断上下文。这两个上下文都需要内核收拾好前一个任务的相关寄存器值即上下文,然后进入下一个任务的上下文,这种情况下中断(中断优先级非常高)来了就进入中断上下文,中断完成后接着进入进程上下文或者内核线程。

内核控制路径可能出现的情况是共享了相同的临界区,从而导致进程抢占时前一个临界区的值没保存而被后一个临界区修改了。 比如中断和异常共享了一个等待队列,异常本来正在该临界区读写,后来被抢占了前者上下文收拾好,但临界区里的数据并没有保存,就被后一个给重新修改了,之后前者再回去看临界区里的值已经没有了。针对这种情况需要我们在内核控制路径间共享临界区的地方禁止本地中断并加上自旋锁(一般都是中断进行抢占,禁用了本地中断这个中断可能去到另外一个核执行,同样也会访问这个临界区,所以还要加上自旋锁,避免这个中断再用该临界区)。然而如果是用户进程间都会访问的临界区(中断不会访问),这时我们就不用禁止本地中断了,直接信号量就可(用户进程执行时间一般由用户程序控制,时间会较长,有时还需要睡眠等待资源)。如果只是内核线程间的抢占则直接自旋锁就可以了。

这里提一下信号量、自旋锁和信号,信号量类似于互斥锁,但可以用于读写情况,不用每次只有一个进程访问,它与自旋锁不同的地方在于自旋锁适用于进程短暂访问临界区的情况,比如就修改一个flag,因此不会陷入睡眠而是浪费CPU开始自旋,而信号量常用在访问临界区很长的情况下,此时等待信号量的进程会进入等待队列睡眠,睡眠的进程只是在这个临界区上睡眠,依旧可以去干其他事情。信号类似于用户态进程自己实现了中断,中断有thread_info->preempt_count的bitmap记录当前是否处在中断情况,信号也有一个sigqueue结构体记录当前是否有信号来,我们通过sigaction注册一个信号,然后sigqueue()发送信号,直接发送至对方进程task_struct结构体中的sigqueue中然后唤醒该进程,每次进程被唤醒时都会检查sigqueue是否有未决信号,有就根据注册的函数去做就可以了,信号还有一点是mask,有sigprocmask进行处理,mask可以屏蔽某些信号,避免打断当前的信号任务。中断还有一个irq_desc[]记录中断号,其中0x80是系统调用的中断号。

#题外话:提到spinlock再提一下rcu,rcu是一种用于高效读写的锁,spinlock则是用在互斥临界区,rcu里面用到了spinlock用于管理rcu里面的几个队列,rcu有订阅发布机制和副本宽限期写入机制

写:
spin_lock(&foo_mutex);
old_fp=gbl_foo;
*new_fp=*old_fp;
new_fp->a=new_a;   #把new_a写入gbl_foo新指针
rcu_assign_pointer(gbl_foo,new_fp); #判断可写
spin_unlock(&foo_mutex);
synchronize_rcu(); #用于等待读者全部退出写着开始写
读:
rcu_read_lock();
rcu_deference(gbl_foo)->a; #判断可读
rcu_read_unlock(); #和read_lock两者用于保持一个读者的RCU临界区,该临界区内不能
发生抢占,因为里面用到了preempt_disable和preempt_enable。

#当有写者就将写者rcu_head加入cpu[n]的每cpu变量的rcu_data的nxtlist,cpu会每时钟检测一次,当有写者就唤醒rcu软中断进行synchronize_rcu(),里面会判断rcu.completion变量。rcu初始化在内核的CPU上,start_kernel()->rcu_init(),为每个CPU初始化RCU相关结构。rcu_data里有curlist记录当前等待宽限期完成的回调函数、nxtlist、donelist记录宽限期结束后将curlist的值移至该链表上,当上一个等待回调函数处理完后又有新注册的回调函数就将taillist中间链表上的数据移至curlist上并开启新的宽限期等待。三个链表以及quiescbatch记录当前是否等待切换完成、passed_quiesc记录是否经历了一次宽限期、batch记录每一次宽限期的批次(判断这个写者需要在哪里进入),rcu_ctrlblk的completed变量赋值给quiescbatch。(瞎想瞎说)三个链表的思想跟TCP/IP协议栈接收缓存区的三个队列(receive队列、out_of_order队列、prequeue队列)有点像,batch的思想跟oracle等数据库里的多进程读写里的时间戳版本也有点相像,数据库这个打算开一个新博客介绍,地址等写完了再附上来。RCU经常用在路由表的查询(读远大于写)等情况,不过路由表查询好像也从哈希改为flow了,之后再把这一块知识整理一遍。

中断由于是抢占且高优先级,要求需要被快速响应,如果中断运行时间过长那么用户进程能感到明显卡顿。因此后来将一些耗时的中断放入软中断(也被称为可延迟函数),当硬中断得到响应退出后会触发soft_irq运行,如果软中断又运行了过长时间则转为ksoftirqd内核函数自行进行调度。软中断运行的同时硬中断又可以接着接收中断信号,避免信号丢失,但运行软中断时会屏蔽下一个软中断,避免嵌套抢占,但软中断结束后下一个软中断还可以接着运行,并没有丢弃。这些都记录在preempt_count中。
至于tasklet和workqueue:softirqd经常用于对性能敏感的子系统,因为其结束后还会去检查软中断有没有被触发,常用于如网络层、SCSI层和内核定时器等,而tasklet封装了softirqd,不可重用,更加易用,速度也相对快,而workqueue则是一种创建内核线程的机制,这样当有了下半部时我们交由workqueue建立内核线程去延迟执行,随遇而安而不讲究及时,并且工作队列由于全权交由内核线程,不同于softirqd和tasklet的前面部分(softirqd转为ksoftirqd是可以睡眠的),可以睡眠调度。

很久很久以前,不存在内核抢占,那么进程的任务都会一直做直到做完,或者进入一些等待条件代码让其放弃CPU,这样的特点就是很多进程的时间会分配不均导致响应慢。随着用户进程数量慢慢的增加,启用了内核抢占,此时进行进程调度就会由内核分配的时间片来决定,而内核的时间片又取决于task_struct中的进程优先级等值。内核抢占的出现导致了内核控制路径不再是一个进程一条路走到黑,而是会被其他进程抢占掉。
a.当进程时间片用完时内核会自动调度下一个排队在就绪队列中的进程,而之前那个被抢占的进程会进入就绪队列等待内核的下一次唤醒。
b.当进程需要等待某种资源而自行放弃CPU时,内核会调度该进程去到相应资源的等待队列,等待磁盘I/O的放入磁盘I/O的等待队列,等待epoll的放入epoll的等待队列...当资源拿到手后再进入就绪队列。

关于等待队列的:
sleep_on()置为TASK_UNINTERRUPTIBLE
sleep_on_timeout()设置是否超时
interruptible_sleep_on()设置为TASK_INTERRUPTIBLE
interruptible_sleep_on_timeout()
sched_yield()如果有优先级更高的进程在等待,则将当前进程放入就绪队列末端,没有则该进程接着运行,常用于多线程。
关于interruptible和uninterruptible,两者都会被放入等待队列,前者可以被信号唤醒,
而后者只能等待资源获取成功才能被显示唤醒,如果资源一直拿不到那么就会一直阻塞,
kill -9也杀不了。每次从中断上下文。后来转为了wait_event()函数,相应的用wake_up()函数唤醒。
wait_queue_head_t
init_waitqueue_head()
wait_event()中由于prepare_to_wait()
#注此处设置TASK_INTERRUPTIBLE和TASK_UNINTERRUPTIBLE(常用于磁盘等I/O,不好去打扰)

#调用前需要禁用本地中断+自旋锁,之后调用add_wait_queue()和set_current_state(),
可能怕中断程序也使用了该等待队列作为临界区并且设置状态。最后调用schedule()、finish_wait(),
管理等待队列上的数据。

调度类抽象出了一个sched_class,里面有一系列入队出队任务函数,还有switch_to()、yield_task()等等,由CFS调度器和RT调度器自己实现。一个调度体对应一个task_struct或者是一个task_group。task_struct中有sched_entity *se和sched_rt_entity *rt两种,前者对应cfs_rq调度器(红黑树),属于公平调度器类策略;后者对应rt_rq调度器(优先级bitmap+双向链表),属于实时调度器类策略,他们最终都反映在rq类(内核中调度框架只识别rq),其中有nr_running记录当期那就绪队列中的进程数量。调度策略有CFS调度策略->SCHED_NORMAL、SCHED_BATCH、SCHED_IDLE、实时调度策略->SCHED_RR、SCHED_FIFO。实时进程rt相比于普通进程cfs的调度优先级要更高,需要优先处理,RR和FIFO都是高优先级实时进程可抢占。CFS把CPU总时间按运行队列的所有se权重分配给每个se,每个se使用cpu的顺序有他们已使用的CPU虚拟时间(vruntime)决定,故已使用的虚拟时间越少,那么在运行队列中的位置越靠左,再次被调度执行的概率也越高。并保证在某个时间周期运行队列的所有se都能至少内调度一次。每一个cpu的时钟周期都触发一次schedule_tick函数调用,它会及时更新运行队列的时钟和load,然后调用当前进程的周期调度函数task_tick_fair,封装了entity_tick函数。每个时钟都会对当前进程执行时间进行检查,如果过长则置为TIF_NEED_RESCHED供主调度器在适当时机进行切换(check_preempt_tick/resched_task)。
cgroup是进程组控制机制,docker就使用了它+namespace隔离各种资源,cgroup由task_group进行管理,task_group呈树状结构,可以利用cgroup限制单个进程或多个进程使用资源的机制,对cpu和内存等资源实现精细化控制。如一个服务器上有两个服务,那么可以限制其中一组服务只使用部分几个核。cgroups与进程节点关联并且通过VFS把cgroups功能暴露给用户态,隐藏具体文件系统的实现细节,给用户态进程提供一套统一的API接口,cgroups实现了VFS提供的接口就可以注册到VFS中使内核可以读写这个系统。进程加入各个子系统的attach钩子函数,从而让进程跑在cgroup就绪队列中。

进程调度说完了,开始正式讲进程了。进程描述符task_struct是一个很庞大的结构体,目前已经讲过了其中的进程调度yu相关、信号量相关、进程状态相关的部分。接下来会讲内存描述符mm_struct部分,由该部分引申出mmap的文件系统、块系统读写、malloc内存管理相关部分。

左图mm_struct结构体,右图堆结构与多线程。

先从左边的图开始讲起,每个task_struct结构里有一个mm_struct,记录该进程的内存空间,mm_struct中有左图中的堆、栈、data段、text段、bss段以及mmap区域。其中操作系统在编译时负责代码段、数据段、BSS段的加载,并在内存中为这些段分配空间,而栈则由操作系统动态分配和管理,堆由程序员自己管理。堆内存只有在系统调用malloc时会向上增长,在多线程的情况下可以看到堆内存的分配被称作brk,当使用malloc第一次向系统申请小于128KB的内存时,会通过sys_brk一次性申请132KB的堆内存放入进程内部,malloc的本质是brk或mmap(主进程使用sbrk(),线程使用mmap()),这132KB被称为arena,之后再需要malloc直接从arena中取,超出arena再向系统申请系统堆的大小。arena中存在很多个chunk,以链表的方式进行组织,当使用malloc后进行释放的时候,arena空间并不会及时释放回系统堆内存,而是继续留在进程中,释放的是chunk,会被添加至bins链表中(存储free的chunk的双链表)。之后再有malloc就优先直接从bins中获取。这里着重涉及将内存分配多线程的相关知识,主进程的arena成为main arena,由sbrk进行创建。当主进程中通过pthread_create创建了线程之后,就会通过mmap创建各自独立的thread arena,但线程arena数量不可能无限大,其他线程之间会公用arena,当堆不够用时一个thread arena会包含多个heap信息,毕竟是寄居在别的线程arena里的,所以占用别人的free chunk。但由于堆内存涉及系统调用以及上下文切换,会导致效率不如栈。而关于stack则由编译器自动分配释放,当你存在一个变量(静态变量直接由编译器完成,动态变量如Foo *由alloca分配)、一个参数等等,操作系统就会让你拥有一个栈,每个线程只要有自己的局部变量就肯定有自己的独立的栈,栈总额超过设定值就会溢出。

这里面的每一个连续区域都由一个虚拟内存区域vm_area_struct来表示,为什么会有那么多vm_area_struct主要原因是每块内存都有自己的映射方法或调用方法,有的可能来自于共享库、有的来自于可执行映像、有的来自于动态分配的内存区,因此每
个虚拟区间可能会有自己的处理方式,如文件映射就可能会有不同块设备映射,因此每个vm_area_struct对应一种vm_ops开关虚拟内存和请页机制,才能很好地控制特定的内存区。mm_struct通过链表的形式将这些vm_area_struct联系起来,当虚拟内存区域数量很多时会有一个红黑树结构便于我们快速查找虚拟内存区域,还会有一个cache保存当前经常经常用到的虚拟内存区域。虚拟内存区域有一个vm_ops,其中有open/close记录虚拟内存区域的打开和关闭,nopage记录是否缺页,缺页时就会通过nopage指向的do_page_fault()来处理缺页异常,malloc只是使用了brk来扩大了堆栈中的空间,但此时并没有关联到真正的物理地址。

如果是malloc引起的缺页异常,就会为缺页的地址关联一个pte(pgd->pmd->pte),pte会去映射一个空闲的物理页框(物理页框是由slab或伙伴算法分配的,根据需要的内存大小进行分配,但在堆栈空间中只扩大所需的字节大小),之后再将空闲页框与该进程的page_table进行关联。之后再重新去查找页表就可以找到malloc的地址了;如果是文件的缺页(文件缺页是通过查询address_space地址+偏移量查询mm_struct中pgd指向的page_table发现的,通过inode->imapping指向的address_space中的页进行查找,不在则去磁盘上找到相应的页预读进address_space,同时还会异步预读该页相关页面)。可以看到address_space主要是用在文件与进程内存的映射中。而程序中的malloc内存申请直接通过vm_area_struct与进程页表获得一个空闲物理页即可。malloc请页请的是一个空闲页框,这个页框是由内存分配机制得到的。

总结:malloc直接用get_free_page分配页,直接走伙伴算法;而内核中常用到的小结构或者用户态用到的小结构体我们使用kmalloc(通用缓存)、kmem_cache_create(专用缓存)来分配即可,走的是slab,而slab底层也是伙伴算法,只是在CPU层面从伙伴算法中取出页面并通过slab划分小内存。kmalloc是物理内存连续的,而vmalloc可以是不连续的,所以vmalloc需要更新页表来记录内存的分配。

slab分配算法采用kmem_cache中的obj存储内核或用户态小对象,伙伴算法分配的就是物理页,但很多时候比如一个300B的一个inode,分配一个4K的页就很浪费,现在的slab就有一系列的大小,分配最接近的slab即可。

从页框到内存机制到伙伴算法到slab/slub的逻辑我们来屡一下,在page结构中有一个union结构体,里面由address_space和s_mem,address_space关联的是用户态映射(malloc是直接基于伙伴算法的,可以这么理解,堆都是一次性132KB分的,而一个页4KB就是分配多个页),s_mem关联的是slab(kmalloc通过slab再到伙伴算法,slab大多针对各类小内存),而伙伴算法直接关联内存DDR硬件设备,直接将硬件内存划分为物理页。说明一个页可以整个页映射,也可以分成小部分(专用缓存和通用缓存)的slab内存,供inode、task_struct、nf_conn等内核小结构体分配内存,避免直接分配一个页造成内存的浪费。
对于slab来说会在kmem_cache_init中创建出cache_chain链表,连接着各种大小的slab的kmem_cache,比如32B kmem_cache、64B的kmem_cache等等,每个kmem_cache关联的是同一种大小的obj,如32B的kmem_cache关联的就是所有32B内存大小的obj(obj就是分配给小对象的内存)。调用kmem_cache_create函数其实就是从kmem_cache中取出一种大小的obj们。每个slab内部是由kmem_bufctl记录下一个空闲的obj的。
slab的作用在于每node记录了三个slab链表(空闲slab链表、部分空闲slab链表、满slab链表),每cpu(本地缓存和本地共享缓存)需要用到小内存就从每node上的空闲链表中获取到slab,放入(每CPU的)entry的obj结构体中。
对于slab来说三个链表很容易导致空闲slab的使用不及时,slub的优化就是每node只管理部分空闲slab链表和满slab链表,每CPU直接将node里的slab放入,slab中有obj结构体,obj由每CPU结构体中的free_list来管理。

每个vm_area_struct会对应一个vm_file,其下能够找到特定的inode。inode是内核中的文件,而file是用户进程空间的文件,每个进程会以不同的方式访问同一个inode。inode->imapping指向的就是一个大名鼎鼎的address_space(文件系统在mount的时候通过super_block(记录该文件系统的所有inode/block/使用量剩余量等信息),通过super_block我们可以找到inode(一个inode代表内核的一个文件,一个inode对应一个address_space))。address_space页高速缓存的好处在于实现了每进程4GB得到伟大宏图,但同时多进程写回页面都要经过页高速缓存机制,再统一写回磁盘,因此会存在脏页、写回不及时等问题,这是会影响高性能系统的。

文件与用户层的关联是file_operations,与块设备的关联主要是address_space_operations,其中定义了针对每个设备块的读写方法 。文件从VFS读接口sys_read接着往下讲就是从address_space(find_get_page())所在的基数树上查找页面,address_space是一棵树,树上挂的是该进程访问这个inode常用的页面,如果页面找到了,则直接拷贝至缓冲区,如果没有找到则需要进行预读取(如果预读成功还会异步预读,读该页面关联的其他页面),将数据从磁盘读到页高速缓存(address_space)上,之后再去基数树上找页面读取即可。page的mapping指向的address_space结构上有一个mapping->a_ops->is_partially_uptodate用于记录脏页是否需要同步磁盘更新;mapping->a_ops->readpage(file,page)用于磁盘读入后加入页缓存机制返回给用户所调用的方法;对于写而言当要写的页不在页缓存中,则会在缓存中分配一个空闲项,同时用prepare_write创建一个写请求,等到数据从用户空间拷贝到内核缓冲相应的页上,就可以通过commit_write()写入磁盘。用户只需调用mapping->a_ops->SetPageDirty(page),之后内核会异步通过mapping->a_ops->writepage(file,page)把页写回;写回的时候会开启一个pdflush内核线程来完成。在readpage中,会构造一个buffer_head(其回调为end_buffer_async_read),然后调用submit_bh根据buffer_head构造bio(bio的回调为end_bio_bh_io_sync)发起读请求(bio会由进程记录在task->plug队列中,队列中将bio调度为request,当队列足够大或者schedule()前,会着手处理队列里的request),submit_bh中使用submit_bio将bio请求发送给指定块设备。submit_bio调用generic_make_request循环转发bio,调用__make_request最后送到块设备的dispatch queue队列上,在送的过程中会有IO Schedule(IO电梯,会进行再一次的合并),之前的plug中bio merge至同一个请求,不能合并则放至一个新的request中(回调为request_fn),IO电梯中又会进一步合并。再之后就是块设备如磁盘对request进行处理,大功告成。这里的IO调度在磁盘块设备上很多时候是多个进程共同读写的,因此需要调度出一个好的方法加快读写速度。

 

 

 

问题杂录-NVIDIA Bluefield DPU bfb-build编译报错记录与处理办法?(无数坑) 通过rshim烧录效果。 阅读详情

相关推荐

address_space_init源码分析(GPA的生成)

参考博客https://www.cnblogs.com/ccxikka/p/9477530.html 最终生成的结构体间关系如下图所示 具体实现步骤分析: //exec.c中memory_map_init函数 static void memory_map_init(void) { system_memory = g_malloc(sizeof(*system_memory)...

sinat_38205774的博客 546

struct address_space解读

首先说的是Page Cache address_space的操作将“文件”的某些部分映射到Linux page cache中的页面中。此page cache表示已映射到内存的某些物理设备(例如磁盘)上的数据。物理设备通常对应于磁盘,但不一定必须如此。以这种方式,page cache包含来自最近访问的“文件”的整个页面。在页面I / O操作(例如read()])中,内核检查数据是否驻留在page ...

ytfy339784578的专栏 2250

高质量文章导航-持续更新中

一.Android二.Linux1. DTS GIC 中断控制器 使用概述2.软硬结合分析LINUX启动流程三.物理0.量子力学奇妙之旅-前置准备1.量子测量 量子计算 量子通讯 概述2.量子力学奇妙之旅-算符和电子自旋3.量子力学奇妙之旅-算符/薛定谔方程/概率流密度四.硬件1.直流角度看电源完整性2.交流角度看电源完整性3.信号反射的前世今生五.应用软件1.grpc c++ 证书 安全通讯2.一文搞懂静态库/动态库链接问题3.c++ 智能指针作为函数参数传递(void*) 类回收机制六.数学七.其他本专

zljdfaljsfd的博客 1096

内核解读之内存管理(6)address_space建立文件索引结点inode和页page、虚拟地址空间vma的映射

file结构体和inode结构体中都有一个address_space结构体指针,实际上,file->f_mapping是从对应inode->i_mapping而来,inode->i_mapping->a_ops是由对应的文件系统类型在生成这个inode时赋予的。它是代表某个地址空间吗?实际上不是的,它是用于建立文件结点(struct inode)到内存页面(struct page)的映射,其实就是每个file都有这么一个结构,将文件系统中这个file对应的数据与这个file对应的内存绑定到一起;

二进制君 1476

Big Data Processing Using Spark in Cloud 2018

The book describes the emergence of big data technologies and the role of Spark in the entire big data stack. It compares Spark and Hadoop and identifies the shortcomings of Hadoop that have been overcome by Spark. The book mainly focuses on the in-depth architecture of Spark and our understanding of Spark RDDs and how RDD complements big data’s immutable nature, and solves it with lazy evaluation, cacheable and type inference. It also addresses advanced topics in Spark, starting with the basics of Scala and the core Spark framework, and exploring Spark data frames, machine learning using Mllib, graph analytics using Graph X and real-time processing with Apache Kafka, AWS Kenisis, and Azure Event Hub. It then goes on to investigate Spark using PySpark and R. Focusing on the current big data stack, the book examines the interaction with current big data tools, with Spark being the core processing layer for all types of data. The book is intended for data engineers and scientists working on massive datasets and big data technologies in the cloud. In addition to industry professionals, it is helpful for aspiring data processing professionals and students working in big data processing and cloud computing environments.

深入解析Carry4的内部结构与工作原理

本文深入解析了Xilinx/AMD FPGA中的核心硬件资源Carry4的内部结构和工作原理。作为实现超前进位的关键物理电路,Carry4通过其CI、DI、S、O、CO等端口,高效处理4位算术运算的进位逻辑。文章通过端口详解、结构分析和实战计算示例,揭示了其如何加速加法、减法等运算,并探讨了其在优化FPGA设计时序与资源利用中的关键作用。

n4o5p6q7r的博客 503

Linux内存管理中address_space疑惑及解答

在阅读Linux2.6的内核内存管理这一部分时,我看到page结构中的一个mapping成员,我感到很迷惑,这个成员的属性太复杂了,我们来看看:struct address_space *mapping;表示该页所在地址空间描述结构指针,用于内容为文件的页帧(1)       如果page->mapping等于0,说明该页属于交换告诉缓存swap cache(2)       如果pa

guogaofeng1219的专栏 1603

Python气象雷达数据处理实战:用PyCINRAD从基数据到PPI图的完整流程

本文详细介绍了使用PyCINRAD库处理气象雷达基数据并生成PPI图的完整流程,涵盖环境配置、数据读取、反射率与速度数据提取、可视化优化等关键步骤。通过实战案例演示如何从原始雷达数据到专业级PPI图像生成,为气象研究和业务应用提供高效解决方案。

yog99的博客 759

基数树结构---radix_tree

        最近在学习linux中内存管理相关的章节,其中页缓存相关的结构体中遇到了成员数据结构radix_tree_root和radix_tree_node,由于以前没有遇见过这两种数据结构,因此在此处针对这两种数据结构在linux内核的内存管理中的应用做一个简要的记录。一、概述        linux radix树最广泛的用途是用于linux的 内存管理,结构address_space通...

孤独剑 5333

STM32F103C8T6+HX711实战:从零打造智能体重秤(附OLED显示与语音播报)

本文详细介绍了基于STM32F103C8T6微控制器和HX711称重模块,从零构建智能体重秤的完整实战教程。内容涵盖硬件选型、系统架构、驱动编写、数据滤波校准算法,并实现了OLED显示与语音播报功能。该项目是嵌入式学习的综合性实践,尤其适合作为毕业设计课题,帮助开发者掌握传感器应用、数据处理及人机交互等核心技能。

weixin_28285943的博客 520

MIMIC数据库基本信息分析

一、MIMIC数据库中26张表介绍 数据库中一共有26张表,记录患者入院的各种信息,每张表的介绍如下所示。 表格名 信息 admission 患者基本信息,比如性别、种族、语言、宗教、婚姻、入院和出院时间、死亡时间等 callout 提供病人准备从ICU转出或者已经从ICU转出时相关信息 caregivers 记录医护人员信息(ID、类型、附加...

m0_37520426的博客 1万+

文件缓存page cache

文件缓存

zhongzhenxing7961的博客 1551

基于Apache SeaTunnel构建CDC数据同步管道

Apache SeaTunnel是一个数据集成开发平台,其发展经历了几个重要阶段:ETL时代(90年代):面向结构化数据库的数据同步,用于构建数据仓库。MPP和分布式技术流行:使用技术如Hive进行数据仓库的构建。此阶段主要使用mapreduce程序进行数据搬运和转换。数据湖技术流行:重视数据集成,强调先同步数据至数据湖仓储,再进行业务面向的转换和设计。CDC,即变更数据捕获,是一种捕获数据库变更事件(如插入、更新、删除)的技术。

weixin_54625990的博客 2173

linux 命令杂录

boot 分区满: 1.查看系统已经安装的内核版本 dpkg-get-selection | grep linux-image 2.查看真正使用的内核版本 uname -a 3.删除旧的内核版本 sudo apt purge linux-image-extra-4.10.0-28-generic   查看GPU信息: nvidia-smi        ...

LeGe675797663的博客 237

ADS基础教程24 - Gerber文件的导入

一、引言二、基本概念1.仿真文件下载2.仿真文件介绍二、导入步骤1.新建workspace2.选择Layout结构3.导入设计4.选择文件类型5.导入文件6.预览文件内容7.铜皮离散问题四、总结选择。通过本文章结束,可以了解ADS中如何将导入Gerber文件,并且对导入的铜皮进行合并。下一步就针对导入的文件进行层叠设置和编辑。END!}}END!

XZ_ZC的博客 3057

基于STM32的智能电子秤设计毕业论文

摘要:本文设计了一款基于STM32F103C8T6的智能电子秤系统,通过HX711称重传感器实现高精度测量,采用OLED显示和矩阵键盘完成人机交互。系统包含重量采集、数据处理、单价设置、去皮清零及总价计算等功能模块,经测试测量误差小于0.1%,稳定性良好。研究实现了低成本、高可靠性的智能称重方案,为后续无线传输和AI算法集成奠定了基础。关键词:STM32;智能电子秤;HX711;OLED显示;矩阵键盘。

3254968421的博客 851

Centos7安装问题及解决方式杂录

前言:最近想学习一Linux系统,在网上搜索了一下,Centos因其稳定性吸引了我。作为一个程序员,秉承着话不多说,实践出真知的原则,下载了Centos7的ISO文件,用软碟通改装了U盘,想着用U盘引导的方式将闲置在家的老电脑“洗心革面”——Window换Centos。本以为作为一个更换过无数次Window Operate System的键盘侠 ,安装个Centos应该异常容易。但是在整个安装过程...

努力吧少年!GO 1万+

第七天 Labview进阶(7.4 NI Vision简单使用)

NIVision机器视觉软件使用指南 摘要:NIVision是National Instruments推出的高效机器视觉软件,具有硬件无缝集成、图形化编程和工业级部署等优势。本文介绍了NIVision的安装步骤(需Vision Acquisition和Vision Development模块)及三个典型应用案例:1)实物检测通过IMAQCreate等模块实现物体识别与坐标定位;2)OCR检测利用IMAQOCR系列模块完成字符识别;3)几何模板匹配使用IMAQLearnGeometricPattern等模块实

weixin_38637405的博客 771

Art Lebedev「Dosugus」抱枕

类: 精彩杂录这抱枕有没有勾起各位的什么回忆啊?即使 Linux 和 Unix 仍然在使用文字式的接口,但不知道为什么,感觉还是 MSDOS 比较像在用电脑 XD。仔细看的话里头搞笑的东西还不少,像是 [PORN] 资料夹、[TORRENTS] 资料夹、TROJAN.EXE,但也有些东西让它看起来不像 DOS(有一两个档案不符合 8.3 原则)。不管怎么说,那个 Windows 附属在

网摘 882

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

whisper.cpp 命令行工具保姆级实战:从安装到实时转写的完整指南

你是不是也在为整理会议录音、给视频批量加字幕而头疼?一小时的通话录音,手动听写能把人熬疯。whisper.cpp 是 OpenAI Whisper 语音识别模型的 C/C++ 移植版,主打本地离线、免费开源、转写极快,装上之后一条命令就能把音频变成文字。读完本文,你将能够: - 十分钟内跑通第一条本地离线转写命令,亲眼看到真实输出 - 一个命令同时生成 SRT、VTT、JSON、CSV 等五种格

gitblog_00504的博客 216

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

深入理解malloc内存分配函数

最近想多写一些内存管理的文章,这次我们就以 malloc 动态内存分配为切入点,我在文中也做了小实验: 目录 1、Linux 进程的内存分布长什么样? 2、malloc 是如何分配内存的? 什么场景下 malloc() 会通过 brk() 分配内存?又是什么场景下通过 mmap() 分配内存? malloc() 分配的是物理内存吗? 3、malloc(1) 会分配多大的虚拟内存? 3.1、free 释放内存,会归还给操作系统吗? 4、为什么不全部使用 mmap 来分配内存? 5、既...

weixin_38293850的博客 1013

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

linux中的页缓存和文件IO

        虽然仔细看过《linux内核设计与实现》,也参考了很多的博客,并且做了linux进程空间、address_space和文件的关系图(设为图1,参考博客),但是对于页缓存和文件IO之间关系的细节一直不是特别明朗。趁着元旦假期看的博客中思路还算清晰,写下当前对于页缓存的理解及其和文件IO之间的关系。        首先明确的一点是,本文所述的是针对linux引入了虚拟内存管理机制以后所...

孤独剑 1万+

Linux 物理内存管理涉及的三大结构体之struct page

本文主要详细的介绍了内存管理中三大结构体的struct page。将struct page里面的每个部分拆分出来,结合代码,对每个部分,每个成员变量尽力做到详细讲解。如果不对之处,请指正。最后想说的是:struct page结构的设计充分体现了内核设计人员为了减少内存占用的所做出的各种努力,且这种努力还在一直在继续。

weixin_45337360的博客 4660

【page cache】简介

文章目录page cache直接 IO 与 缓存 IOLinux IO 栈Linux 中的具体实现相关结构体超级块 `super_block`索引节点 `inode`文件 `file`目录项 `dentry`页缓存 `address_space`常用函数从底层填充写入修改其他参考资料 page cache 由于磁盘 HDD 甚至于现在广泛使用的固态硬盘 SSD 的读写速度都远小于内存 DRAM 的读写速度,为了避免每次读取数据都要直接访问这些低速的底层存储设备,Linux 在利用 DRAM 实现了一个缓存层

乐园 3571

Linux内核设计与实现 第十六章 页高速缓存与页回写

页高速缓存(cache) 是Linux内核实现磁盘缓存。它主要用来减少对磁盘的I/0操作。具体地讲,是通过把磁盘中的数据缓存到物理内存中,把对磁盘的访问变为对物理内存的访问。这一章将页回写:将页高速缓存中的变更数据刷新回磁盘的操作。磁盘高速缓存之所以在任何现代操作系统中尤为重要源自两个因素:第一,访问磁盘的速度要远远低于(差好几个数量级)访问内存的速度一ms 和ns的差距,因此,从内存访问数据比从磁盘访问速度更快,若从处理器的L1和L2高速缓存访问则更快。

weixin_55255438的博客 1057

Linux内核之IO4:块I/O流程与I/O调度器

1一个块IO的一生 从page cache到bio到request 当APP打开一个文件,内核为文件维护一个pagecache(磁盘的一个副本); 读写文件时如果page cache命中,只会读写内存不操作磁盘;没有命中,才操作磁盘。 在内核用file结构体表示,可见其包含一个inode结构体,一个地址空间; 相关的几个结构体在内核对应关系如下: 可见,当多个进程同时打开同一个文件时,不同的file结构体对应同一个inode和同一个地址空间,地址空间是由一颗radix tree维护(即pagecache

科学边界 1606
上一篇: TCP/IP层梳理
下一篇: 关于读写性能优化
Parallel2333
博客等级 码龄10年 40粉丝 51原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值