RLIE: Rule Generation with Logistic Regression, Iterative Refinement, and Evaluation for Large La...

一、文章主要内容总结

本文针对大型语言模型（LLMs）在规则学习中存在的“忽视规则组合效应”“概率规则学习与LLMs耦合不足”等问题，提出了RLIE框架——一种融合规则生成（Rule generation）、逻辑回归（Logistic regression）、迭代优化（Iterative refinement）和评估（Evaluation）的统一概率规则学习范式，核心目标是从数据中学习鲁棒、可解释且可复用的自然语言规则集。

1. 核心背景与问题

• 传统规则学习受限于预定义谓词空间，难以处理非结构化数据和开放语义；
• 现有LLM-based规则学习方法多聚焦单规则迭代优化或多规则简单聚合，未充分考虑规则间的协同作用，且缺乏系统的概率校准与组合机制。

2. RLIE框架核心流程

1. 规则生成：LLM基于少量训练样本和任务上下文生成候选自然语言规则，通过覆盖率筛选形成初始规则集；
2. 逻辑回归：使用带弹性网正则化的逻辑回归模型，学习规则的全局权重，实现规则筛选与概率校准；
3. 迭代优化：基于预测误差筛选难例，结合当前规则集反馈给LLM，生成新规则或修订旧规则，迭代优化规则集直至验证集性能收敛；
4. 多策略评估：对比两类推理策略：
   • 直接推理（Linear-only）：仅使用逻辑回归模型