ORLM

大模型带来的技术革命下，优化的行业壁垒还能撑多久？

虽然目前优化技术受限于其高度定制化的建模和强非线性导致的计算复杂度，短时间内大模型难以实现端到端的建模和求解，从而无法取代优化算法。但目前由两方面我认为是当前优化领域需要提前预判的技术风险：

1.推理大模型+行业知识库的跨领域优化建模方法

系统工程作为自动化的一个二级学科，核心竞争力就在于学科融合，换句话说就是比领域的人更懂优化，比优化的人更懂业务，这一部分融合的能力是很容易被大模型的海量知识库所取代的。目前现有的推理大模型加上行业知识库和案例库，建立的优化模型可以完全媲美人工优化模型（参考我们做的EnergyLLM能源领域垂直大模型），后续靠行业信息差吃饭的系统工程又能有多少生命力呢。

2.GPU算力+并行启发式的暴力优化求解算法

我们再用求解器求解大规模MIP的时候通常可以注意到，第一个可行解的日志的左边通常是H而不是*。这意味着现有的gurobi、COPT甚至SCIP等求解器的初始可行解大部分是从启发式方法得到的，但启发式面临参数问题，不同的参数通常计算的效率差距非常大而且不具备梯度特性无法精准调参。然而随着GPU算力不算增强，显卡最擅长的就是并行计算，现在英伟达推出的cuOPT正是使用多种群并行的启发式大力出奇迹。大规模组合优化问题在未来只能说很难保证不被取代，后续研究优化算法那么多甚至可能还不如几张显卡用启发式暴力求解了。

research gap

现有的优化领域大模型存在以下缺陷：

1. 建模能力有限：现有的大模型通常在逻辑约束和非线性约束方面有限，无法应对复杂的优化问题。
2. 优化模型额训练数据的质量不足：数据的范围和质量与模型的能力密切相关，但目前优化领域缺少高质量建模数据，限制了大模型的高级建模能力。
3. 数据隐私考虑：基于API成都闭源大模型可能导致数据泄露，尤其是在一些工业应用领域。
4. 测试集相对同质：目前已有的数据集市2023年的NL4OPT比赛，但是这个数据集只关注简单的线性规划部分，复杂度较低，规模较小，很难与实际中的场景类比。

主要内容

为了解决上述问题，ORLM提出了一个生成优化建模数据的半自动框架，可以增强大模型的建模能力：

1. OR-Instruct数据生成框架 ：
   提出了数据集应当满足的四个准则，基于这些准则设计了OR-Instruct框架，该框架可以自动生成优化模型的训练数据。该框架使用迭代增强框架如下图所示。
   首先手机686个实际工业场景，并把他们放置到训练data pool。根据这些数据使用扩展（expansion）和增强（Augmentation）两种技术生成更多场景的建模问题。最后使用启发式框架来筛选明显的低质量数据，往复循环直至训练数据集达到预期数量。
   
2. 性能测试：为了验证OR-Instruct的性能，提出了Industry Benchmark。该benchmark使用13个不同工业场景，包括5中问题方式和3中难度。
3. 使用OR-Instruct产生的数据对开源大模型7B级别的模型进行了微调，并把这些模型训练成了 operation research language model（ORLM）。

OR-Instruct

优化大模型数据集的四个准则：

1. Comprehensive Coverage：数据集应该覆盖优化领域的所有问题，包括供应链、仓库、物流等等行业；不同的问题类型应当满足，包括LP、MIP、QP、NLP、RMP等；不同的问题难度应当满足，包括简单、中等、困难。

• 初始化数据集：使用686个实际工业场景作为初始数据集。
• 扩展数据集:首先使用 GPT-4生成100个优化模型的实际应用场景。每次迭代使用data pool中的三个案例作为in-context prompt。每一轮迭代中使用两个real-world scenarios和一个data pool的案例。
• 增强数据集：增强策略主要是为了提升算法求解的多样性，包括：
  • 目标函数和约束条件的变换：增加、删除、替换目标函数和约束。
  • 重新描述问题：第二种增强方法为了提升LLM应对不同prompt的鲁棒性，将同一个优化问题的不同描述形式。
  • 融合多重建模技巧：结合包括大M法，辅助变量、等多种建模技巧。
• 后处理和筛选：纠正和过滤生成的低质量数据。使用一个正则匹配函数来发现语法错误，最后需要消除重复的问题。

Results

结论部分不在多余描述，主要对比了以下几个层面

1. Data generation quality。
2. Model Finetuning and Inference。主要是一些hyper parameters参数
3. Evaluation and Baselines。
   • Evaluation Benchmarks: NL4OPT MAMO两个数据集，
   • Baselines：
     • GPT-4
     • GPT-3.5
     • GPT-3
       对比不同数据集和不同模型的准确率
4. 定制化增强: 针对MILP问题构建定50个基础问题，并将其加入seed data pool。在几轮迭代后生成了2000个训练问题。这两千个数据可以极大的提升ORLM在MILP上的表现。

更细节的对比包括不同难度数据上不同模型的表现，不同增强方法的表现对比，以及消融实验。最后展示了一些推理参数的设置对结果的影响。

Future Direction

潜在的应用场景

1. 提升优化方法在工业领域的地位：
   大模型可以避免很多优化方法现有的问题，比如：
   • 优化模型在实际场景中不够robust，无法应对额外的约束条件，当环境更换时候模型无法迅速适应。
   • 优化项目极度依赖专家来定制化目标函数和约束条件。对于某些定制化场景，优化专家与业务的沟通变得非常困难。
2. 运筹学教学
3. 数学建模竞赛
4. 减少求解器的学习成本

未来的研究热点

1. 结合RLHF来提升模型的泛化能力
2. 数据集结构重构：数据合成策略对于像 RLHF 这样的强化学习技术来说是不够的，RLHF 需要以偏好列表形式的训练数据。对于每个问题，必须根据偏好对多个响应进行排序。此外，在优化问题的背景下，将实际的最优解纳入训练集将使更多的技术成为可能。构建这样的数据集可能需要用户的反馈或开发新的数据合成方法，以更好地满足这些需求。
3. 数据精炼和利用：权衡训练开销和模型效果的工作。如果获得一种数据精炼策略，可以用少量的训练开销获得更好的模型效果，这将是一个非常有价值的研究方向。