zhugl的博客

  以GCC8.2.0版本为例，介绍gcc语法解析器(parser)对声明即函数定义的解析过程以及structure/union的简单解析说明。1. GCC中声明和定义的解析过程1.1 解析入口 c_parse_file  GCC中gcc/c/c-parser.c文件主要负责解析GNU C的完整语法。其中单个源码文件的解析入口在void c_parse_file (void)函数中，函数代码如下：  先对c_parser struct进行初始化，再判断其pragma_kind。代码中的c_pars

1. 工具和库LLVM中的独立工具：opt：在IR级对程序进行优化的工具，输入必须是LLVM的bitcode，生成的输出文件必须具有相同的类型。llc：通过特定后端将LLVM bitcode转换成目标汇编或目标问价的工具。llvm-mc：能够汇编指令并生成像ELF、MachO、PE等对象格式的目标文件，也可以反汇编相同的对象，从而转存这些指令的相应汇编信息和内部LLVM机器指令数据结构。lli：LLVM IP的解释器和JIT编译器。llvm-link：将几个LLVM bitcode链接在一起，

最近动手尝试了一下，在安装完成LLVM9.0之后，新建一个FunctionPass。以下是参考他人文档和自己实现的过程。1. 新建或修改Hello.cpp在/home/zgl/llvm-project-9.0.0/llvm/lib/Transforms/Hello目录下新建或修改Hello.cpp，代码如下：#include "llvm/ADT/Statistic.h"#include "llvm/IR/Function.h"#include "llvm/Pass.h"#include "llv

1. 选项文件  GCC中的各种选项说明都是保存在以.opt为后缀的文件里，通用选项和其内部标记信息保存在gcc/common.opt中，前端相关的选项和一些警告类型选项保存在gcc/c-family/c.opt中。在.opt选项列表中，每个选项单独占用一行，注释由分号(;)开头，对空格没有严格要求。例如：2. 选项定义选项名字通常以“f”、“m”或“W”开头选项与选项之间空行分隔，选项区分大小写，且单词之间“-”连接（例如：fdefault-inline）一般以“f”、“m”开头的选项都有一

前言  循环是程序中最常见结构，针对循环已有众多的优化技术。循环的优化分为源码上的修改和编译器的优化，编译器能自动执行许多循环优化技术，但对源代码的修改可辅助编译器就行优化处理。1. 源码上的优化1. 多重循环的“外小内大”  在多重循环中，采用迭代次数较小的循环驱动内层迭代次数较大的循环能减少内存的消耗，如下示例：for (int i = 0; i < 10000; i++) { for (int j = 0; j < 200; j++) { }}改为：for

前言  无效代码删除（DCE）是一种广泛使用的编译优化技术，它的目的是删除程序中不会影响程序运行的代码和变量，减少代码体积，更好地促使其它相关优化的进行，以提高程序效率，特别是在一些对资源受限的嵌入式设备上，使用无效代码删除操作来减少代码体积是非常重要的。数据流分析技术的发展，许多传统优化问题有了成熟的解决方案，无效代码删除优化也越发高效稳定。对于以下示例：#include<stdio.h>void func();void a() { int i = 0; for

前言  GCC中包含了从-O0到-O3以及-Og，-Os和-Ofast各种级别的优化，并提供了上百多个可独立控制的优化标志。每个优化级别都启用了优化标志的子集，并在启用调试信息生成对可执行代码没有任何影响。但是确定何时运行pass是一个复杂的过程，每一个pass都有一个门函数(gate function), 它根据优化级别和标志来决定是否运行该pass。  GCC中如何添加一个优化pass的操作，可以参考《GCC - GIMPLE IR 学习一》。如何通过优化选项控制我新添加的优化pass？在回答这个问

  结构体字节对齐能减少内存占用，提高内存访问效率。不论在x86或ARM处理器上C的每种类型存储都会要求内存对齐，除char以外。结构体中不能包含结构体本身，但可以包含指针。由于平台原因对齐大小不同，可能同一个结构体得到的大小会不同，但一般的对齐规则如下：chars可以从任何字节地址开始，2字节shorts必须从偶数地址开始，4字节的ints或floats必须从被4整除的地址开始，而8字节的l...

AOCC是AMD的一款商用编译器，也称为AMD Optimizing C/C++ Compiler，官网地址为：https://developer.amd.com/amd-aocc/ 。目前的最新版是AOCC 2.1版本，它基于LLVM 9.0版本，它针对AMD系列17h处理器进行了调整；对部分AMD的机型进行了优化；优化了AMD LibM等库；LLVM链接器（lld）作为默认链接器，不再需要G...

  LLVM 10.0.0是当前的最新版，从2020/3/24开始提供下载，在此记录的是LLVM 9.0.0版本的安装，其发布时间是2019/9/19，前端clang版本是9.0.0。由于安装的时候属于最新版本，前端只能安装Clang，为了安装Flang前端，遇到太多的问题，踩了太多的坑，以至于当时我们两个人搞了好几天才安装上，在此记录一下安装过程和注意事项，并且感谢当时和我一起安装软件的师兄！...

  源码经过GCC前端的词法/语法、语义分析之后，生成AST/GENERIC，再转换为前端语言无关的中间表示GIMPLE，之后GCC再对GIMPLE进行GIMPLE低级化、构建cfg等一系列处理，这一系列操作称为GCC Pass（处理过程）。每个pass完成一种处理，其输出结果作为下一个pass的输入。在此以gcc-8.2.0的源码为例说明。GCC中所有的pass组织在passes.def链表中...

前言  预取是在处理器实际需要之前，将指令或数据从较慢的内存中提取到较快的cache中，来最大程度地减少cache未命中的延迟。预取器通常能预测下一个使用的缓存行，将他们载入缓存，但是也容易出错导致缓存污染，并给内存子系统带来额外的压力。在高性能处理器中，处理高速缓存未命中或延迟以及正确管理内存带宽，预取是比较有用的方法。在分布式共享内存（DSM）系统中，远程内存访问比本地访问花费更长的时间，因...

默认安装的GCC使用的是-O2 -g，在对GCC进行调试的时候很多变量已经被优化掉了，跟踪不了。如下所示：(gdb) p *namevalue has been optimized out为了使GCC变得可调试，需要做以下修改：进入编译GCC的目录，即执行../configure CFLAGS="-g3 -gdwarf-2 -O0" CXXFLAGS="-g3 -gdwarf-2 -...

前言  jemalloc是一个内存分配器，最开始出现在FreeBSD上的libc中，FreeBSD最早使用phkmalloc，但它不是在多处理器系统且支持多线程的情况下设计的，为了解决多处理器系统和多线程应用程序的可扩展性瓶颈，由此诞生jemalloc，它是Jason Evans 2005年进行开发的，因此叫"je"。在2007年的时候为了改善Firefox在3.0版中的内存使用情况，使用jem...

关于ipa的介绍和基本使用，在之前的博客中：编译优化之 - 过程间优化(IPA/IPO)入门。这里主要是记录一下gcc-8.2.0版本中新建一个ipa pass的过程。进入gcc-8.2.0/gcc目录，新建ipa-test.c文件。代码可参考ipa-*.c那些pass中的过程进行修改，在此参考ipa-hsa.c文件，其代码较少。拷贝头文件到ipa-test.c#include "conf...

前言  GIMPLE是从AST/GENERIC转换而来的三地址表示形式，它是一种与前端语言无关的中间表示，引入了临时变量来保存中间值。GIMPLE的生成分为高级GIMPLE（High-Level GIMPLE）和低级GIMPLE（Low-Level GIMPLE）两个阶段。  AST/GENERIC为树形结构，其节点属性较多，包含详细的功能信息，但由于其与前端语言相关缺乏通用性、结构复杂不是线...

1. 介绍2. Intel高级向量扩展3. GCC中向量化4. ICC中向量化5. AOCC/LLVM中向量化 1. 介绍什么是自动向量化？  自动向量化（automatic vectorization）是自动并行化（automatic parallelization）的一种特殊情况，它将一次处理一对的标量运算转换为一次并行处理多对的向量运算。因此向量化可以显着加速一些带循环的...

1. 介绍  常量传播是现代的编译器中使用最广泛的优化方法之一，它通常应用于高级中间表示（IR）。它解决了在运行时静态检测表达式是否总是求值为唯一常数的问题，如果在调用过程时知道哪些变量将具有常量值，以及这些值将是什么，则编译器可以在编译时期简化常数。常量传播在优化中的几种用途：能在编译时求值的表达式不需要在执行时才求值。如果这样的表达式在循环内，则只需要在编译时进行一次求值而节省执行时间...

过程间分析（inter-procedural analysis）是一个多步骤的过程，是LTO分析过程中的重要部分，也是一个跨模块的分析过程。跨模块的优化功能实现最早在1987年（Link time optimization），后来相继出现了过程间分析和转换，动态链接程序的优化（IPA + LTO）。过程间分析包含local分析和global分析。局部分析会为每一个过程和调用点生成Local Su...

1. 关于 LTO -flto ThinLTOLTO（Link Time Optimization）链接时优化是链接期间的程序优化，多个中间文件通过链接器合并在一起，并将它们组合为一个程序，缩减代码体积，因此链接时优化是对整个程序的分析和跨模块的优化。flto是使用lto的主要方法，是一个优化选项，禁用lto使用-fno-lto。ThinLTO是一种可扩展和增量式的新型LTO，与LTO相比...

gcc编译流程gcc将hello.c源文件编译成可执行的binary文件需要经过hello.i、hello.s、hello.o、hello四个步骤，如图所示:1.预处理：展开头文件和宏定义等。gcc -E hello.c -o hello.i2.编译：将预处理得到的源代码转换成汇编文件（得到汇编文件）。gcc -S hello.i -o hello.s3.汇编：将汇编代码转成不可执...

前言该博客只是自己的一个关于structure优化的学习笔记，文档内容是通过网上收集的资料包括论文，加上一点自己的理解整理而成。结构数据布局优化（Structure Data Layout Optimizations）是比较成熟也是使用广泛的编译器优化技术，旨在提高数据局部性，减少cache miss。常用的structure optimizations有：结构体拆分（structure sp...