11、通用程序合成：从训练到结果分析

通用程序合成：从训练到结果分析

1. 程序合成基础

在程序合成中，我们采用直接解释语言而非编译到磁盘再执行的方式，这样每秒大约能运行 23,500 个程序。为简化神经网络设计，我们将语言映射到输出神经元，逻辑上认为程序每行有 1,332 种不同选项，这些选项源于 15 种运算符，涵盖从变量声明到加法或循环头的各种操作。

当选择一个程序后，会检查其语法连贯性，对于不连贯的程序会自动修正。在类似 C 语言的程序中，主要有两种修正情况：一是“右花括号”过多，此时将多余括号替换为空操作；二是“右花括号”过少（未终止的循环），会在程序末尾插入右花括号，未闭合的循环会转换为条件块。

本研究还有一些限制条件：
- 所有测试使用 9 行程序，用 NO OP 运算符填充。
- 程序可访问 6 个整数变量，其中两个固定且不可写入。
- 所有测试将单个数组和单个独立整数作为参数传入程序，两个固定整数变量分别是输入整数和输入数组的长度，程序可对输入数组和用作输出的第二个数组进行读写操作。

2. 神经网络与搜索架构

我们的代码合成架构结合了神经网络和搜索过程。神经网络用于对可能的选项进行排序，搜索过程则迭代尝试这些排序后的程序，直至达到可配置的搜索深度。

在本研究中，假设每个程序可接受两个参数：长度为 8 的整数数组和一个整数，且返回长度为 8 的整数数组。数组中的每个单元格可存储 -8 到 8 之间的值，整数参数可存储 1 到 4 之间的值，将整数参数范围缩小到正非零值可简化搜索空间。

神经网络采用标准的前馈架构：
- 输入层使用 1,700 个输入神经元，接收 10 个 I/O