朝まだき 頁の奥で 文字めざむ
int add(int a, int b) {
return a + b;
}
int main(void) {
return add(10, 20);
}#include <stdio.h>
#define MAX_SIZE 100
int main(void) {
int size = MAX_SIZE;
return 0;
}#define MAX_SIZE 100
int size = MAX_SIZE;int size = 100;int result = a + b;a + ba + ;result = a + b;int a = 10;
int b = "hello";int add(int a, int b) {
return a + b;
}int calculate(void) {
int a = 10;
int b = 20;
return a + b;
}int add(int a, int b) {
return a + b;
}int add(int a, int b);
int main(void) {
return add(10, 20);
}int add(int a, int b) {
return a + b;
}execve("/path/to/program", argv, envp);
コンパイラ・アセンブラと機械語への変換プロセス
前回の記事では命令セットアーキテクチャ(ISA)を紹介し、ISAがソフトウェアとプロセッサのあいだに定める機械レベルの契約について説明しました。
普段書いているのはCやJava、Goといった高級言語なのに、CPUが実行するのは機械語です。両者のあいだには、表現の階層にはっきりとした差があります。
では、ソースコードは究竟どうやって機械語命令になるのでしょうか。
多くはこの過程を単純にこう理解しています。
もちろん間違ってはいませんが、その裏には大量の重要な工程が隠れています。コンパイラはソースコードの構文とセマンティクスを理解するだけでなく、プログラムを対象アーキテクチャに適した命令に変換する必要があります。アセンブラは命令表現を機械語にエンコードし、リンカは異なるオブジェクトファイル間の参照を解決し、OSは最後に完成したプログラムをメモリにロードします。
C言語と一般的なLinuxのELFツールチェーンを例に、ソースコードからCPU実行までの流れを一通りつなげて見ていきます。
1. ソースコードはCPUが実行する対象ではない
まず簡単なCプログラムを見てみましょう。
このコードは人間ならそのまま読めます。加算関数を定義して、mainの中で呼び出しています。
しかし、CPUにはそのままでは理解できません。
こうした意味づけは、まずコンパイラが処理する必要があります。
コンパイラの役割は、各キーワードを機械語命令へ単純置き換えることではありません。高級言語として書かれたプログラムのロジックを、目標のマシンが実行できる形に段階的に変換することです。
代表的なコンパイル・実行の流れは次のとおりです。
これは理解しやすい、典型的なツールチェーンのモデルです。実際のアセンブラが直接オブジェクトファイルを生成することもあり、アセンブリテキストを出力して独立したアセンブラを呼ぶとは限りません。また、言語やツールチェーンによって具体的な流れも異なります。
2. コンパイラフロントエンド:プログラムが表現している内容を理解する
コンパイラが最初に解決すべき問題は、機械語命令を生成することではなく、ソースコードを理解することです。
この部分は通常、コンパイラフロントエンド(Frontend)と呼ばれます。ソースコードを解析し、コンパイラ内部で扱える構造に変換する役割を担います。
2.1 プリプロセッサ:ソースコード中の指示を展開する
C言語では、コンパイル手順は通常まずプリプロセスから始まります。
プリプロセッサは#で始まるプリプロセッサ指示を処理します。たとえば、
プリプロセッサはヘッダファイルを展開し、マクロを置き換え、条件コンパイル指示に基づいて、どのコードを以降のコンパイル対象にするかを決めます。
たとえば、
マクロを置き換えた結果、次のようになります。
プリプロセッサの処理が終わると、コンパイラが受け取るのは展開済みのソースコードのテキストです。
ただし、プリプロセスはすべての言語にある段階ではありません。ここで扱ったのはC/C++のようにプリプロセッサの仕組みを持つ言語の話です。
2.2 字句解析:コードの基本要素を識別する
次が字句解析(Lexical Analysis)です。
コンパイラは連続した文字を、意味のある字句単位(Token)に1つずつ分割する必要があります。
たとえば、
字句解析器は次のように認識します。
ソースコード断片
Tokenの種類
`int`
キーワード
`result`
識別子
`=`
演算子
`a`
識別子
`+`
演算子
`b`
識別子
`;`
区切り文字
字句解析が扱うのは、文字がどのように基本的な言語要素を成すか、という問題です。
それがaとbの実在性や加算できるかどうかを判断するところではありません。
2.3 構文解析:コードの構造を認識する
字句解析で得たTokenを受け取った構文解析器(Parser)は、言語の構文規則に従って、それらのTokenが正しいプログラムの構造を構成できるかどうかを判定します。
たとえば、
は加算式として認識されます。
一方、
は通常の式の構文に合わないため、構文エラーになります。
構文解析の結果は、通常は抽象構文木(Abstract Syntax Tree, AST)になります。
次のような式を例にあげます。
これは次のように抽象化できます。
ASTはプログラムの構造的な関係を保ったまま、セマンティクス解析に影響しない表面的な細部(一部の括弧や区切り文字など)を省きます。
2.4 セマンティクス解析:プログラムが意味を持つかどうかを判断する
構文が正しいからといって、プログラムが必ず正しいとは限りません。
たとえば、
構文的にはこのコードは解析できますが、型の不一致があり、セマンティクス上の問題を抱えています。
セマンティクス解析(Semantic Analysis)では、次のように検査します。
こうした解析を経て、コンパイラはプログラムの意味に対する完全な認識を少しずつ構築していきます。
3. 中間表現IR:コンパイラを具体的なソース言語から解放する
すべての高級言語をすべてのCPUアーキテクチャの機械語に直接翻訳すると、その組み合わせの数は膨大になります。
仮にソース言語が5種類、対象アーキテクチャが4種類あるとして、各言語がすべての対象アーキテクチャ向けのコード生成を個別に実装するなら、20通りの変換経路を維持する必要があります。
より重要なのは、異なる言語のあいだでも、基本的な演算や制御フローが下層では似た形で表現されている場合が多いことです。
この問題を解決するため、現代のコンパイラは通常、中間表現(Intermediate Representation, IR)を導入します。
3.1 IRとは
IRは、コンパイラ内部で使うプログラムの表現形式です。
C言語のように開発者に働きかける表現力を重視することもなく、機械語のように特定のプロセッサの命令エンコードに結び付いていることもありません。
その目標は、プログラムの計算や制御フローを比較的統一された形で表現し、コンパイラによる解析と最適化をやりやすくすることです。
たとえば、
は次のようなLLVM IRに変換されます。
ここでi32は32ビット整数を、addは整数の加算を、retは結果の返却を表します。
このIRはすでに元のCコードではなくなっていますが、x86-64やARM64の機械語でもありません。
表現しているのは、特定のCPUアーキテクチャから比較的独立した計算のセマンティクスです。
3.2 なぜIRが必要なのか
IRの最大の価値は、フロントエンドとバックエンドを分離できることにあります。
フロントエンドはソース言語をIRに変換することだけ、バックエンドはIRを対象アーキテクチャの機械語命令に変換することだけを担当すればよくなります。
これにより、各ソース言語と各CPUアーキテクチャの組ごとに完全なコンパイラを実装する必要がなくなります。
さらに、IRは最適化を行いやすい環境を提供してくれます。
たとえば、
コンパイラはaとbがどちらもコンパイル時に確定する定数だと気づき、計算を先に行なって結果を直接返すことができます。この最適化は定数畳み込み(Constant Folding)と呼ばれます。
IRは、共通部分式の除去、死んだコードの削除、ループ最適化、インライン化といったコンパイラの最適化を扱いやすくします。
3.3 IRは一つに限られない
IRは決まった形式ではありません。
コンパイラによって使う中間表現は異なります。たとえば、
したがって、中間コードをすべて同じ種類のIRと単純に同一視してはいけません。置かれている階層も、設計目標も、実行のされ方も異なることがあります。
4. コンパイラバックエンド:対象ISAに向けた命令を生成する
フロントエンドでの解析と中間表現の最適化が終わったあとは、プログラムを実際の対象アーキテクチャが実行できる命令に変換する必要があります。
この部分は通常、コンパイラバックエンド(Backend)と呼ばれます。
バックエンドは対象ISAの具体的な規則を把握しておく必要があります。たとえば、
4.1 同じロジックでもアーキテクチャごとに違う命令
引き続き加算関数を例にします:
x86-64アーキテクチャでは、次のような命令が生成される可能性があります:
AArch64アーキテクチャでは、次のような命令が生成される可能性があります:
どちらも同じ計算ロジックを表現していますが、命令の形は異なります。
x86-64の例で引数レジスタとして使われるのはSystem V AMD64 ABIの規則に従っており、AArch64の例では一般的なAArch64プロシージャコール規約のw0とw1で引数を渡し、戻り値はw0に格納します。
ここにも重要な違いが浮かびます:
ISAは命令で何ができるかを、ABIは異なるソフトウェアモジュールがどう連携するかを定めます。
ABIには通常、データ配置、関数呼び出し規約、オブジェクトファイル形式、システムコールインターフェースなども含まれます。
4.2 バックエンドはレジスタ割り当ても行う
IRには大量のテンポラリ変数が含まれ得ますが、実際のプロセッサの汎用レジスタ数は限られています。
例えば、IRには次のように現れることがあります:
コンパイラは、これらのテンポラリ値をどの物理レジスタに割り当てるか、あるいはレジスタが不足している場合にスタック領域へ一時的に退避するかを決めなければなりません。
この処理はレジスタ割り当て(Register Allocation)と呼ばれます。
レジスタ割り当ては生成コードの品質に直結します。レジスタの使い方が不適切だと、メモリへの読み書きや命令数が増え、性能に影響します。
バックエンドはさらに命令選択、命令スケジューリング、アドレス指定モードの選択なども行い、最終的にターゲットアーキテクチャの要求を満たすコードを形にします。
五、アセンブラ:命令表現を機械語にエンコードする
コンパイラのバックエンドが生成した命令は、まずアセンブリ言語で表せます。
アセンブリ言語は機械命令に近いテキスト形式で、人が読んでデバッグするのに便利です。
例えば:
このコードは次のようなことを表しています:
ただし、CPUはこれらのテキストを直接実行できません。
アセンブラ(Assembler)は、ターゲットISAが定める命令エンコードの規則に従って、アセンブリ命令を機械語に変換します。
5.1 アセンブリ命令はどのようにバイト列になるか
先ほどのx86-64の命令を例に取ると:
対応する機械語エンコードは例えば次のとおりです:
次のように分解して理解できます:
アセンブリ命令
機械語
意味
`mov eax, 10`
`B8 0A 00 00 00`
即値10をEAXに書き込む
`add eax, 20`
`83 C0 14`
即値20をEAXに加算する
`ret`
`C3`
リターン
ここにある16進数のバイト列が、最終的にオブジェクトファイルへ書き込まれる命令エンコードです。
なお、x86の命令エンコード形式は固定長ではありません。命令によってオペコード、プレフィックス、アドレス指定情報、即値の含まれる数が異なります。
一方、ARM64の命令エンコードは通常、固定幅の32ビット命令形式を採用しています。ISAごとにエンコード規則が大きく異なることも、異なるアーキテクチャの機械語が通常そのままでは互いを実行できない理由の一つです。
5.2 アセンブラは単純な置き換えではない
アセンブラはより複雑な処理も行う必要があります:
例えば:
アセンブラはジャンプ命令のtargetまでの距離を計算し、命令のエンコード形式に応じて適切なオフセットを埋め込む必要があります。
まだターゲットアドレスが確定していない場合は、リロケーション記録を生成し、後続のリンク段階での処理に回す必要があります。
六、オブジェクトファイル:機械語だけではプログラムは完成しない
アセンブラが生成するのは通常、そのまま実行できる完成プログラムではなく、オブジェクトファイル(Object File)です。
Linuxシステムでは、一般的なオブジェクトファイル形式はELF(Executable and Linkable Format)です。
例えば:
ここでの-cは、コンパイルとアセンブリだけを行い、最終リンクは実行しないことを意味します。
生成されたmain.oには機械語が含まれているだけでなく、シンボル表、リロケーション情報、デバッグ情報などのメタデータも含まれることがあります。
6.1 オブジェクトファイルの中身
ELFオブジェクトファイルは通常、複数のセクション(Section)から構成されます。
セクション名
内容
`.text`
プログラムの命令を格納する
`.data`
初期化済みの書き込み可能なグローバルデータや静的データを格納する
`.bss`
未初期化またはゼロ初期化のデータに必要な領域を記述する
`.rodata`
読み取り専用データ(文字列定数など)を格納する
`.symtab`
シンボル表。関数や変数などのシンボル情報を記録する
`.rela.text`
コードセクションに関係するリロケーション情報。具体的な形式はアーキテクチャとファイル種別によって異なる
このうち.bssは通常SHT_NOBITS型で、ファイル内にゼロの領域を実際に保存する必要はありません。ロード時にメモリ領域を確保して初期化されます。
以下のコマンドでオブジェクトファイルの情報を確認できます:
6.2 なぜオブジェクトファイルにシンボル表が必要なのか
2つのソースファイルがあるとします。
main.c:
add.c:
コンパイルすると、2つのオブジェクトファイルが得られます:
のコンパイルmain.cでは、コンパイラはaddという名前の関数が存在することを知っていますが、この関数が最終的にメモリのどのアドレスに置かれるかまでは分かりません。
そのため、オブジェクトファイルにはaddへのシンボル参照が残されます。
ここでシンボル表とリロケーション情報が役割を果たします。
七、リンカ:複数のオブジェクトファイルを組み合わせる
リンカ(Linker)は、複数のオブジェクトファイルと必要なライブラリをまとめて最終的なプログラムにします。
ここで解決すべき核心的な問題は2つです:
7.1 シンボル解決
先ほどの例では、main.oがaddを参照し、add.oがaddを定義しています。
リンカは、このシンボルの定義を見つけ、両者の関連を建立起ちます。
あるシンボルに対応する定義が見つからない場合、次のようなエラーが発生します。
同じシンボルに複数の不正な定義がある場合も、重複定義エラーが発生します。
7.2 リロケーション
シンボルが見つかったら、その最終的な配置場所も決める必要があります。
たとえば、main.oには、addの命令が1つあり、単体でコンパイルした時点では、addの最終アドレスはまだ確定していません。
リンカがオブジェクトファイルを最終プログラムのアドレス空間に配置すると、シンボルのアドレスに基づいて、呼び出し位置や関連するアドレスフィールドを修正できます。
この過程をリロケーション(Relocation)と呼びます。
リロケーションは、すべてのアドレスをリンク時に確定する必要があることを意味しません。動的リンクのプログラムでは、一部のシンボルやアドレスについて、プログラムを読み込む際に動的リンカが処理を続ける必要がある場合があります。
7.3 静的リンクと動的リンク
リンク時に、プログラムが依存するライブラリは、異なる方法で構成できます。
静的リンクでは、必要なライブラリコードのうち該当する部分を最終的な実行ファイルにコピーします。プログラムを配布する段階では通常は対応する共有ライブラリに依存しなくなりますが、実行ファイルは大きくなり、ライブラリを更新した場合には通常は再リンクが必要になります。
動的リンクでは、プログラムを実行時に共有ライブラリへ依存させます。実行ファイルには共有ライブラリとそのシンボルへの参照が残り、読み込みのときに動的リンカがマッピングとシンボルのバインディングを行います。
静的リンクと動的リンクには、それぞれ適したシーンがあります。実際のプロジェクトでは両者を併用することも多く、依存関係の一部は静的リンク、別の部分は動的リンクで賄うという構成になります。
八、OSによるロード:プログラムを実行可能な状態にする
リンカが実行ファイルを生成したからといって、プログラムが勝手に動き出すわけではありません。OSがプロセスを作成し、プログラムをそのプロセスの仮想アドレス空間にマッピングする必要があります。
Linuxで新しいプログラムを実行するとき、通常はexecveシステムコールが介在します。
execve成功すると、現在のプロセスのプログラムイメージは新プログラムのイメージで置き換えられます。単に新しいプロセスを生成するわけではありません。
8.1 ELFのロードプロセス
Linuxカーネルは実行ファイルのELF情報を解析し、プログラムヘッダ(Program Header)に基づいてマッピング対象のセグメントを確定し、対応する仮想メモリ領域を確保します。
ここでは、ELFのSectionとSegmentの違いを押さえておく必要があります。
OSがプログラムを読み込むときに重視するのはProgram Headerが示すSegmentであり、Sectionを1つずつ単純に読み込むわけではありません。
典型的な流れは、次のようにまとめられます。
動的リンクのプログラムでは、カーネルは通常ELF情報から動的リンカを見つけ、まず制御をそちらに渡します。動的リンカが必要な共有ライブラリのロードとリロケーションを完了してから、プログラムのエントリポイントに制御を渡します。
静的リンクのプログラムでは、この過程に通常の動的リンカが参加する必要はありません。
8.2 CPUが実際に実行を始める
プログラムイメージと実行環境の準備が整うと、プロセッサはエントリアドレスから命令の実行を開始します。
CPUの基本的な動作は、次のように抽象化できます。
これが、機械語命令がプロセッサの実行段階に入って以降の基本的な流れです。現代のCPUが内部でパイプラインやアウトオブオーダー実行、分岐予測によって性能を高めている具体的な仕組みは、後の章で扱います。
九、言語によって実行経路は必ずしも同じではない
ここまではC言語を使ってネイティブコンパイルのツールチェーンを説明してきましたが、すべての言語がターゲットのCPU向けの機械語コードを直接生成するわけではありません。
言語によって、実行モデルが異なることがあります。
9.1 C / C++:通常はAOTコンパイルを採用する
CとC++は通常、事前コンパイル(Ahead-of-Time、AOT)によって対象プラットフォーム向けの機械語コードを生成します。
主要な機械語コードの生成は、プログラムの実行前にすでに完了しています。実行時に共有ライブラリ、ランタイムライブラリ、OSのサービスに依存することもあります。
9.2 Java:バイトコードとJVM
Javaでは通常、ソースコードをまずJVMバイトコードにコンパイルします。
コンパイルの結果、.classファイルが生成されます。これはJVMバイトコードを含んでおり、x86-64やARM64を直接対象とした機械語コードではありません。
JVMはバイトコードを解釈実行,也可以実行時のポリシーに応じてホットコードをネイティブの機械語コードにコンパイルします。どの方式を選び、いつその方式に切り替えるかは、JVMの実装と実行時ポリシーによって決まります。
したがって、Javaバイトコードは特定の物理CPUのISAではなく、JVMが定義した仮想的な命令体系です。
9.3 Go:通常はネイティブの機械語コードを生成する
Goでは通常、コンパイラが事前に対象プラットフォームの機械語コードを生成し、ネイティブの実行ファイルを作ります。
Goのプログラムには通常Go runtimeが含まれ、ガベージコレクション、goroutineのスケジューリング、一部のメモリ管理、実行時サービスなどの機能を支えています。
そのため、Goは通常ネイティブの機械語コードを直接生成しますが、プログラムの実行には依然としてランタイム environments 環境が必要です。
十、クロスコンパイル:一台のマシンで別のアーキテクチャ向けのプログラムを作る
ターゲットのISAとコンパイラバックエンドを理解したあとは、クロスコンパイル(Cross Compilation)のしくみにもさらに踏み込めます。
クロスコンパイルとは、あるプラットフォーム上でコンパイラを動かしながら、別のプラットフォーム向けのプログラムを生成することです。
たとえば、x86-64のLinuxマシンで、ARM64向けのLinuxプログラムをコンパイルする、といったことです。
ここでは、コンパイラの実行環境と対象プログラムの実行環境は一致していません。
クロスコンパイルは、組み込み開発、クラウドビルド、マルチアーキテクチャのコンテナイメージ、OSの開発にとって非常に重要です。
ただし、クロスコンパイルでは対象のISAを指定するだけでなく、対象のOS、ABI、システムライブラリ、ヘッダファイル、リンカなども考慮する必要があります。正しいアーキテクチャの命令が生成されただけでは、プログラムが対象デバイスで確実に動作するとは限りません。
十一、全体の流れを整理する
ここで、ソースコードからCPUの実行までの流れを、一続きに整理してみましょう。
各段階が解決する問題は、それぞれ異なっています。
段階
中核となる役割
前処理
マクロ・ヘッダファイルの展開と条件コンパイル
コンパイラフロントエンド
ソースコードの構造と意味を理解する
IRと最適化
統一された表現を作り、プログラムを改善する
コンパイラバックエンド
対象のISAに向けた命令を生成する
アセンブラ
命令を機械語コードにエンコードする
リンカ
シンボルを解決し、リロケーションを完了させる
OSのローダー
プロセスイメージと実行環境を構築する
動的リンカ
共有ライブラリをロードし、必要なバインディングを行う
CPU
命令の取得・デコード・実行を行う
十二、まとめ
プログラムがソースコードからCPUの実行できる機械語命令へと変わるのは、単なるテキスト変換ではありません。コンパイル、エンコード、リンク、ロードからなる一本の完全な流れです。
この流れを理解するには、重要な点をいくつか押さえておく必要があります。
ここまでの章で、ISAの全体像を大まかに掴み、高階言語が段階を踏んで機械語命令へと変わっていく過程も把握できました。
次回は具体的な命令セットに入り、x86-64を例に、プロセッサがプログラムに公開しているレジスタ、命令のオペランド、メモリのアドレス指定方式を見ていきます。一つの機械語命令が結局どこまで表現できるのかを、より具体的に理解するためです。