稍候片刻,月出文自明。
int add(int a, int b) {
return a + b;
}
int main(void) {
return add(10, 20);
}#include <stdio.h>
#define MAX_SIZE 100
int main(void) {
int size = MAX_SIZE;
return 0;
}#define MAX_SIZE 100
int size = MAX_SIZE;int size = 100;int result = a + b;a + ba + ;result = a + b;int a = 10;
int b = "hello";int add(int a, int b) {
return a + b;
}int calculate(void) {
int a = 10;
int b = 20;
return a + b;
}int add(int a, int b) {
return a + b;
}int add(int a, int b);
int main(void) {
return add(10, 20);
}int add(int a, int b) {
return a + b;
}execve("/path/to/program", argv, envp);
编译器、汇编器与机器码的转换过程
上一篇我们介绍了指令集架构(ISA),知道ISA定义了软件与处理器之间的机器级契约。
但我们平时写的是C、Java、Go等高级语言,CPU执行的却是机器指令。两者之间存在明显的表达层次差异。
那么,一段源代码究竟是如何变成机器指令的?
很多人会把这个过程简单理解为:
这当然没有错,但它隐藏了大量重要环节。编译器不仅要理解源代码的语法和语义,还要将程序转换成适合目标架构的指令;汇编器需要把指令表示编码为机器码;链接器需要处理不同目标文件之间的引用;操作系统还需要将最终程序装载到内存中。
本文以C语言和常见的Linux ELF工具链为例,串联起从源代码到CPU执行的完整过程。
一、源代码不是CPU的执行对象
先看一段简单的C程序:
人可以直接理解这段代码:定义一个加法函数,然后在main中调用它。
但CPU无法直接理解:
这些语义必须先由编译器处理。
编译器的任务并不是简单地把每个关键字替换成一条机器指令,而是将高级语言描述的程序逻辑逐步转换成目标机器能够执行的形式。
一个典型的编译与运行流程如下:
这是一种便于理解的典型工具链模型。实际编译器可能直接生成目标文件,不一定真的输出汇编文本再调用独立汇编器;不同语言和工具链的具体流程也会有所差异。
二、编译器前端:理解程序表达的含义
编译器首先要解决的问题不是生成机器码,而是理解源代码。
这部分通常称为编译器前端(Frontend)。它负责分析源代码,并将其转换为编译器内部能够处理的结构。
2.1 预处理:展开源代码中的指令
对于C语言,编译过程通常首先包含预处理。
预处理器负责处理以#开头的预处理指令,例如:
预处理器会展开头文件、替换宏,并根据条件编译指令决定哪些代码参与后续编译。
例如:
经过宏替换后,相当于:
预处理完成后,编译器得到的是经过展开的源代码文本。
需要注意,预处理并不是所有语言都有的阶段。这里讨论的是C/C++等具有预处理机制的语言。
2.2 词法分析:识别代码中的基本单元
接下来是词法分析(Lexical Analysis)。
编译器需要把连续的字符拆分为一个个具有意义的词法单元,也就是Token。
例如:
词法分析器会识别出:
源代码片段
Token类别
`int`
关键字
`result`
标识符
`=`
运算符
`a`
标识符
`+`
运算符
`b`
标识符
`;`
分隔符
词法分析解决的是字符如何组成基本语言元素的问题。
它并不负责判断a和b是否真的存在,也不负责判断它们能否相加。
2.3 语法分析:识别代码的结构
词法分析得到Token之后,语法分析器(Parser)会根据语言的语法规则,判断这些Token能否组成合法的程序结构。
例如:
可以被识别为一个加法表达式。
而:
则不符合通常的表达式语法,会产生语法错误。
语法分析的结果通常会形成抽象语法树(Abstract Syntax Tree,AST)。
对于表达式:
可以抽象成:
AST保留了程序的结构关系,但省略了许多不影响语义分析的表面细节,例如部分括号和分隔符。
2.4 语义分析:判断程序是否有意义
语法正确,不代表程序一定合法。
例如:
从语法结构上看,这段代码可以被解析,但类型不匹配,语义上存在问题。
语义分析(Semantic Analysis)会检查:
经过这些分析,编译器才逐渐建立起对程序含义的完整认识。
三、中间表示IR:让编译器摆脱具体源语言
如果编译器直接将每一种高级语言翻译成每一种CPU架构的机器码,组合数量会非常庞大。
假设有5种源语言和4种目标架构。如果每种语言都独立实现所有目标架构的代码生成,就可能需要维护20套转换路径。
更重要的是,不同语言中大量基础运算和控制流程具有相似的底层表达方式。
为了解决这个问题,现代编译器通常会引入中间表示(Intermediate Representation,IR)。
3.1 IR是什么
IR是编译器内部使用的一种程序表示形式。
它既不像C语言那样强调面向开发者的表达能力,也不像机器码那样与具体处理器指令编码绑定。
它的目标是:用一种相对统一的形式表达程序的计算和控制流程,方便编译器进行分析和优化。
例如:
可以被转换为类似这样的LLVM IR:
这里的i32表示32位整数,add表示整数加法,ret表示返回结果。
这段IR已经不再是原始C代码,但也还不是x86-64或ARM64机器码。
它表达的是相对独立于具体CPU架构的计算语义。
3.2 为什么需要IR
IR最重要的价值在于解耦前端和后端。
前端只需要负责将源语言转换成IR;后端只需要负责将IR转换成目标架构的机器指令。
这样就不必为每一种源语言和每一种CPU架构单独实现一套完整的编译器。
此外,IR还为优化提供了合适的操作空间。
例如:
编译器可以发现a和b都是编译期已知的常量,于是将计算提前完成,直接返回结果。这种优化称为常量折叠(Constant Folding)。
IR也方便进行公共子表达式消除、死代码删除、循环优化、内联等编译优化。
3.3 IR不一定只有一种形式
IR不是某一种固定格式。
不同编译器可能使用不同的中间表示,例如:
因此,不要把所有中间代码都简单等同于同一种IR。它们所处的层次、设计目标和执行方式可能不同。
四、编译器后端:面向目标ISA生成指令
经过前端分析和中间表示优化之后,编译器需要把程序转换成具体目标架构能够执行的指令。
这部分通常称为编译器后端(Backend)。
后端必须了解目标ISA的具体规则,例如:
4.1 同一逻辑,不同架构的指令
仍然以加法函数为例:
在x86-64架构下,可能生成:
在AArch64架构下,可能生成:
两者表达的是相同的计算逻辑,但指令形式不同。
x86-64示例中的参数寄存器来自System V AMD64 ABI;AArch64示例则使用常见AArch64过程调用约定中的w0和w1传递参数,并将返回值放在w0中。
这也说明了一个重要区别:
ISA规定指令能做什么,ABI规定不同软件模块如何协作。
ABI通常还涉及数据布局、函数调用约定、目标文件格式和系统调用接口等内容。
4.2 后端还需要完成寄存器分配
IR中可以存在大量临时变量,但真实处理器的通用寄存器数量有限。
例如,IR中可能出现:
编译器需要决定这些临时值分别放在哪些物理寄存器中,或者在寄存器不足时暂时存放到栈内存中。
这个过程称为寄存器分配(Register Allocation)。
寄存器分配会直接影响生成代码的质量。寄存器使用不合理,可能增加内存读写和指令数量,从而影响性能。
后端还需要进行指令选择、指令调度、寻址模式选择等工作,最终形成符合目标架构要求的代码。
五、汇编器:把指令表示编码成机器码
编译器后端生成的指令可以先用汇编语言表示。
汇编语言是一种接近机器指令的文本形式,便于人阅读和调试。
例如:
这段代码表示:
但CPU不能直接执行这些文本。
汇编器(Assembler)需要根据目标ISA规定的指令编码规则,将汇编指令转换为机器码。
5.1 汇编指令如何变成字节
以上述x86-64指令为例:
一种对应的机器码编码是:
可以分开理解:
汇编指令
机器码
含义
`mov eax, 10`
`B8 0A 00 00 00`
将立即数10写入EAX
`add eax, 20`
`83 C0 14`
将立即数20加到EAX
`ret`
`C3`
返回
这里的十六进制字节就是最终写入目标文件中的指令编码。
需要注意,x86指令的编码格式并不是固定长度。不同指令可能包含不同数量的操作码、前缀、寻址信息和立即数。
而ARM64的指令编码通常采用固定宽度的32位指令形式。不同ISA的编码规则差异很大,这也是不同架构机器码通常不能直接互相执行的原因之一。
5.2 汇编器不只是简单替换
汇编器还需要处理一些更复杂的工作:
例如:
汇编器需要计算跳转指令到target之间的距离,并根据指令编码格式填入相应偏移。
如果目标地址还无法确定,可能需要生成重定位记录,留给后续链接阶段处理。
六、目标文件:机器码还不是完整程序
汇编器生成的通常不是一个可以直接运行的完整程序,而是目标文件(Object File)。
在Linux系统中,常见目标文件格式是ELF(Executable and Linkable Format)。
例如:
这里的-c表示只编译和汇编,不执行最终链接。
得到的main.o包含机器码,但也可能包含符号表、重定位信息、调试信息和其他元数据。
6.1 目标文件包含什么
ELF目标文件通常由多个节(Section)组成。
节名称
作用
`.text`
保存程序指令
`.data`
保存已初始化的可写全局或静态数据
`.bss`
保存未初始化或零初始化的数据所需的空间描述
`.rodata`
保存只读数据,例如字符串常量
`.symtab`
符号表,记录函数、变量等符号信息
`.rela.text`
与代码节相关的重定位信息,具体形式取决于架构和文件类型
其中.bss通常是SHT_NOBITS类型,不需要在文件中实际保存一整块零数据,而是在装载时为其分配并初始化相应内存。
可以使用以下命令查看目标文件信息:
6.2 为什么目标文件还需要符号表
假设有两个源文件。
main.c:
add.c:
编译之后,会得到两个目标文件:
在编译main.c时,编译器知道存在一个名为add的函数,但它并不知道这个函数最终会被放到内存的什么地址。
因此,目标文件中会保留对add的符号引用。
这就是符号表和重定位信息发挥作用的地方。
七、链接器:把多个目标文件组合起来
链接器(Linker)负责将多个目标文件以及需要的库组合成最终程序。
它需要解决两个核心问题:
7.1 符号解析
在前面的例子中,main.o引用了add,而add.o定义了add。
链接器需要找到这个符号的定义,并建立两者之间的关联。
如果某个符号找不到定义,就可能出现:
如果同一个符号存在多个不符合规则的定义,也可能出现重复定义错误。
7.2 重定位
符号找到之后,还需要确定它最终位于什么位置。
例如,main.o中存在一条调用add的指令,但在单独编译时,add的最终地址还没有确定。
链接器将目标文件布局到最终程序的地址空间后,就可以根据符号地址修正调用位置或相关地址字段。
这个过程称为重定位(Relocation)。
重定位并不意味着所有地址都必须在链接时确定。对于动态链接程序,一部分符号和地址可能需要在程序装载时由动态链接器继续处理。
7.3 静态链接与动态链接
链接时,程序依赖的库可以采用不同方式组织。
静态链接会将所需库代码中的相关部分复制到最终可执行文件中。程序部署时通常不再依赖对应的动态库文件,但可执行文件可能更大,库更新也通常需要重新链接程序。
动态链接则让程序在运行时依赖共享库。可执行文件中保留对动态库及其符号的引用,装载时由动态链接器完成必要的映射和符号绑定。
静态链接和动态链接各有适用场景。实际项目也可能同时使用两者:一部分依赖静态链接,另一部分依赖动态链接。
八、操作系统加载:让程序进入可执行状态
链接器生成可执行文件之后,程序还不能凭空运行。操作系统需要负责创建进程,并将程序映射到进程的虚拟地址空间。
在Linux中,执行一个新程序通常会涉及execve系统调用。
execve成功后,当前进程的程序映像会被替换为新程序的映像;它不是简单地创建一个新进程。
8.1 ELF加载过程
Linux内核会解析可执行文件的ELF信息,根据程序头(Program Header)确定需要映射的段,并建立相应的虚拟内存区域。
这里需要区分ELF的Section和Segment:
操作系统装载程序时,关注的是Program Header所描述的Segment,而不是简单地逐个加载Section。
典型过程可以概括为:
对于动态链接程序,内核通常会根据ELF信息找到动态链接器,并先将控制权交给它。动态链接器完成必要的共享库加载和重定位后,再将控制权交给程序入口。
对于静态链接程序,则不需要常规的动态链接器参与这一过程。
8.2 CPU真正开始执行
当程序映像和运行环境准备好之后,处理器从入口地址开始执行指令。
CPU的基本工作可以抽象为:
这就是机器指令进入处理器执行阶段后的基本过程。至于现代CPU内部如何通过流水线、乱序执行和分支预测提高性能,将在后续章节展开。
九、不同语言的执行路径并不完全相同
前面主要使用C语言说明本机编译工具链,但并不是所有语言都会直接生成目标CPU的机器码。
不同语言可能采用不同的执行模型。
9.1 C / C++:通常采用AOT编译
C和C++通常通过提前编译(Ahead-of-Time,AOT)生成目标平台的机器码。
程序在运行前就已经完成主要的机器码生成工作。运行时仍可能依赖动态库、运行时库和操作系统服务。
9.2 Java:字节码与JVM
Java通常先将源代码编译为JVM字节码:
编译后生成.class文件,其中包含JVM字节码,而不是直接面向x86-64或ARM64的机器码。
JVM可以解释执行字节码,也可以根据运行时策略将热点代码编译成本机机器码。具体采用何种方式以及何时触发,由JVM实现和运行策略决定。
因此,Java字节码并不是某个物理CPU的ISA,而是JVM定义的虚拟指令体系。
9.3 Go:通常生成本机机器码
Go通常通过编译器提前生成目标平台的机器码,形成本机可执行文件。
Go程序通常还会包含Go runtime,用于支持垃圾回收、goroutine调度、部分内存管理和运行时服务等能力。
因此,Go虽然通常直接生成本机机器码,但程序执行仍然离不开运行时环境。
十、交叉编译:在一台机器上生成另一种架构的程序
理解了目标ISA和编译器后端,就可以进一步理解交叉编译(Cross Compilation)。
交叉编译指的是:在一个平台上运行编译器,却生成面向另一个平台的程序。
例如,在x86-64 Linux机器上,编译出ARM64 Linux程序。
这里的编译器运行环境与目标程序运行环境并不相同。
交叉编译对嵌入式开发、云端构建、多架构容器镜像和操作系统开发非常重要。
不过,交叉编译不仅要指定目标ISA,还需要考虑目标操作系统、ABI、系统库、头文件和链接器等因素。仅仅生成正确架构的指令,并不代表程序一定能在目标设备上正常运行。
十一、把整个过程串起来
现在可以把从源代码到CPU执行的过程完整地串联起来:
每个阶段都解决不同的问题:
阶段
核心任务
预处理
展开宏、头文件和条件编译
编译器前端
理解源代码结构与语义
IR与优化
建立统一表示并改进程序
编译器后端
面向目标ISA生成指令
汇编器
将指令编码为机器码
链接器
解析符号并完成重定位
操作系统加载器
建立进程映像和运行环境
动态链接器
加载共享库并完成必要绑定
CPU
取指、译码并执行机器指令
十二、总结
程序从源代码变成CPU能够执行的机器指令,并不是一次简单的文本转换,而是一条由编译、编码、链接和装载组成的完整链路。
理解这条链路,需要把握几个关键点:
至此,我们已经从宏观上理解了ISA,也知道了高级语言如何一步步变成机器指令。
下一篇将开始进入具体的指令集,以x86-64为例,认识处理器向程序暴露的寄存器、指令操作数和内存寻址方式,进一步理解一条机器指令究竟能够表达什么。