1. 项目缘起当大语言模型遇上数学计算引擎最近在折腾一个挺有意思的课题如何让大语言模型LLM真正“懂”数学并且能动手“算”数学。这听起来像是天方夜谭毕竟LLM本质上是个概率模型擅长生成符合语法和语义的文本但让它去解一个微分方程或者验证一个数论猜想那基本等于让一个博闻强识的文科生去参加奥数竞赛——知识储备可能很足但解题能力几乎为零。它可能会给你一段看起来头头是道的推理甚至写出几行代码但结果的正确性完全无法保证。这就是我启动这个评估项目的初衷。我们手头有强大的LLM比如GPT-4、Claude 3它们能理解复杂的数学问题描述我们也有顶级的开源数学计算系统比如SageMath它集成了众多数学软件如SymPy、Maxima、PARI/GP、GAP能进行符号计算、数值计算、代数、组合数学等几乎任何领域的数学运算。那么一个很自然的想法是能不能把这两者结合起来让LLM作为“大脑”负责理解问题、规划步骤、分析结果让SageMath作为“双手”负责执行具体的、确定性的计算任务。这就是所谓的“LLM智能体LLM Agent”架构而“ReAct”Reasoning Acting框架正是实现这一思路的经典范式。这个组合的潜力是巨大的。想象一下你只需要用自然语言描述一个数学问题“帮我找出所有小于1000的、既是回文数又是素数的数字”或者“求解这个偏微分方程并画出其三维曲面图”。智能体就能自动理解你的意图规划出调用SageMath进行素数判定、方程求解、绘图等步骤并最终给你一个准确的结果和解释。这不仅能极大降低数学研究和工程应用的门槛也为自动化数学探索Experimental Mathematics——即通过系统性的计算来发现数学模式、提出猜想——提供了全新的工具。但潜力归潜力现实骨感。这个“大脑”“双手”的组合真的靠谱吗LLM的规划能力有多强它调用SageMath的指令准确吗面对复杂多步任务会不会“迷路”计算出的结果它又能正确理解和解释吗为了回答这些问题我决定亲手搭建一个基于SageMath和LLM的智能体并设计一系列从简单到复杂的计算与实验数学任务来系统地评估它的能力边界、可靠性以及实用价值。这不仅仅是一个技术验证更是一次深入理解当前AI在形式科学领域应用现状的实践。2. 架构核心ReAct框架与SageMath的集成原理要让LLM指挥SageMath干活我们需要一个清晰的通信协议和行动框架。这里我选择了经过验证的ReActReasoning, Acting范式。它的核心思想是让智能体进行“思考-行动”的循环先思考当前状况和下一步该做什么然后执行一个具体的行动比如调用一个工具观察行动的结果再基于结果进行下一轮思考如此往复直到解决问题。2.1 ReAct循环的拆解与实现在我们的场景里一个标准的ReAct循环是这样的思考ReasonLLM分析当前的对话历史包括用户问题、之前的行动和观察结果然后决定下一步该做什么。它的输出应该是一个结构化的“内部独白”说明它目前的理解、计划以及即将采取的行动理由。例如“用户想找小于1000的回文素数。我需要先理解什么是回文数和素数。然后我应该生成一个小于1000的数字列表逐个检查它们是否同时满足两个条件。第一步我可以调用SageMath来生成这个列表。”行动Act根据思考的结论LLM生成一个具体的、可执行的命令。这个命令必须是SageMath能够理解的。我们为此设计了一个特定的动作格式比如SageMath: command。例如SageMath: [i for i in range(2, 1000) if str(i) str(i)[::-1]]。这一步的关键是LLM必须生成语法绝对正确的SageMath/Python代码。观察Observe系统执行上一步的SageMath命令并将执行结果标准输出、错误信息或返回值返回给LLM。例如执行上面的命令可能会返回一个列表[2, 3, 4, 5, 6, 7, 8, 9, 11, 22, 33, 44, 55, 66, 77, 88, 99, 101, 111, 121, 131, 141, 151, 161, 171, 181, 191, 202, 212, 222, 232, 242, 252, 262, 272, 282, 292, 303, 313, 323, 333, 343, 353, 363, 373, 383, 393, 404, 414, 424, 434, 444, 454, 464, 474, 484, 494, 505, 515, 525, 535, 545, 555, 565, 575, 585, 595, 606, 616, 626, 636, 646, 656, 666, 676, 686, 696, 707, 717, 727, 737, 747, 757, 767, 777, 787, 797, 808, 818, 828, 838, 848, 858, 868, 878, 888, 898, 909, 919, 929, 939, 949, 959, 969, 979, 989, 999]。循环LLM接收到观察结果后进入下一轮思考。它可能会想“我得到了所有小于1000的回文数。但现在需要从中筛选出素数。我需要对这个列表中的每一个数进行素数判定。” 然后再次行动SageMath: [n for n in [2, 3, 4, ... , 999] if is_prime(n)]。这个循环会一直持续直到LLM认为问题已经解决并输出最终答案和总结。2.2 与SageMath的集成技术细节实现这个循环技术上主要解决两个问题如何安全地执行SageMath代码以及如何构建有效的提示Prompt。安全执行环境我们绝不能允许LLM生成的任意代码在主机上运行。最佳实践是使用Docker容器来隔离SageMath环境。我构建了一个轻量级的SageMath Docker镜像并通过一个简单的REST API或子进程调用的方式与之交互。当智能体发出SageMath: command指令时后端服务会将command部分提取出来发送到Docker容器中一个预配置的SageMath内核例如使用Jupyter内核协议或直接使用sage -c命令行去执行然后捕获输出返回。这样既保证了安全也保持了环境的纯净和可复现性。提示工程这是决定智能体表现的核心。我的提示词System Prompt大致包含以下部分角色定义明确告诉LLM它是一个擅长数学和编程的助手并且可以调用SageMath工具。工具描述详细说明SageMath:这个动作的格式、能力边界它能做符号计算、数值计算、代数、绘图等以及重要限制比如不能进行文件系统操作、网络访问等。ReAct格式规范严格要求LLM按照“Thought: ... Action: ... Observation: ...”的格式进行输出。我采用了类似LangChain的ReAct文档风格但做了更严格的约束要求“Thought”部分必须详尽。示例Few-Shot提供2-3个完整的、从问题到解决的工作示例。这是最重要的部分能显著提升LLM使用工具的准确性和规划能力。示例需要覆盖不同类型的数学问题如代数、微积分、数论。输出要求最终答案必须以清晰的自然语言呈现并附上关键步骤的总结。一个简化的提示词开头可能是这样的你是一个数学专家助手可以调用SageMath计算引擎来解决复杂的数学问题。SageMath是一个强大的开源数学软件支持符号计算、数值计算、代数、数论、绘图等。 你必须遵循以下格式 Thought: 你需要先思考分析当前情况解释你的推理过程并决定下一步行动。 Action: 你发起的行动。如果要使用SageMath请严格使用格式SageMath: 这里放合法的SageMath/Python代码 Observation: 行动的结果。 ... (这个循环可以重复多次) Final Answer: 最终给出问题的答案和解释。 示例 问题计算函数 f(x) x^2 * sin(x) 在 xpi/4 处的导数。 Thought: 用户要求计算一个函数在特定点的导数。这是一个微积分问题适合用SageMath的符号微分功能。我需要先定义符号变量x和函数f然后计算导数最后代入数值。 Action: SageMath: x var(x); f x^2 * sin(x); diff(f, x).subs(xpi/4) Observation: 1/8*sqrt(2)*pi Thought: 我得到了一个符号结果。现在需要将其转换为数值近似以便于理解。 Action: SageMath: numerical_approx(1/8*sqrt(2)*pi) Observation: 0.555360367269796 Final Answer: 函数 f(x) x^2 * sin(x) 在 x π/4 处的导数值约为 0.55536。 现在开始解决你的问题。记住始终使用SageMath进行计算。 问题{用户的问题}通过这样的架构我们就把一个“夸夸其谈”的LLM武装成了一个能真正进行数学计算的智能体。3. 能力评估从基础计算到探索性实验搭建好框架后我设计了一套测试集来全面评估这个SageMath-Augmented LLM Agent的能力。测试分为几个层次难度递增。3.1 基础计算与符号推理这是最直接的能力测试主要看智能体能否正确理解问题并调用最简单的SageMath功能。任务示例1算术与代数。“计算 100! 的末尾有多少个零” 一个优秀的智能体应该知道这等价于计算1到100中因子5的个数。它可能会规划出这样的步骤1) 理解问题本质2) 调用SageMath计算100!3) 或者更聪明地直接计算 sum(floor(100/5^i) for i in range(1, 4))。我测试的智能体在好的提示下能走到第二步通过factorial(100)得到一个大数但有时会卡在如何从一个大数中数出末尾零需要额外的提示。而更优的规划直接计算因子5则较少出现这显示了LLM在数学策略选择上的局限性。任务示例2微积分。“求函数 f(x) exp(-x^2) 的不定积分。” 这测试符号积分能力。智能体通常能正确生成integrate(exp(-x^2), x)命令。SageMath会返回1/2*sqrt(pi)*erf(x)。这里的关键观察点是LLM能否正确解释erf(x)误差函数在测试中大部分时候LLM能识别这是一个特殊函数并给出基本解释但更深层的数学意义比如它与正态分布的关系则需要更强大的模型如GPT-4才能较好地阐述。任务示例3线性代数。“给定矩阵 A [[1,2],[3,4]]求其特征值和特征向量。” 这是一个格式固定的任务。智能体表现非常稳定能准确生成A matrix([[1,2],[3,4]]); A.eigenvalues(); A.eigenvectors_right()这样的代码并正确复述结果。实操心得在这一层级智能体的表现高度依赖提示词中提供的示例。如果示例涵盖了矩阵运算它在这类任务上就非常可靠。但对于需要“数学洞察力”来转化的问题如阶乘末尾零它的表现就不那么稳定。这提示我们对于基础任务构建一个覆盖常见操作类型的“示例库”至关重要。3.2 多步骤问题求解这类问题需要智能体进行序列决策是ReAct框架的核心价值所在。任务示例回文素数问题。“找出所有小于1000的回文素数。” 理想的解决路径是1) 生成小于1000的所有回文数2) 从中过滤出素数。测试中智能体有时会尝试一步到位写出一个复杂的列表推导式这容易出错。更稳健的路径是分两步走。我观察到当第一步生成回文数的代码因为索引错误等原因失败时LLM能够根据SageMath返回的Python错误信息进行调试修正代码这体现了其“观察-调整”的能力。最终它通常能成功完成任务。任务示例方程求解与验证。“求解方程 x^3 - 6x^2 11x - 6 0并验证解的正确性。” 这需要两个动作1) 调用solve(x^3 - 6*x^2 11*x - 6 0, x)2) 将解代入原方程进行验证例如f x^3 - 6*x^2 11*x - 6; [f.subs(xsol) for sol in solutions]。智能体在规划这两个步骤上表现良好但偶尔会在验证步骤中忘记将解从符号形式转换为列表导致代码错误。踩坑记录在多步骤任务中最大的挑战是状态管理。LLM的上下文窗口有限当步骤增多、中间观察结果尤其是长列表或复杂表达式很长时后续的思考质量会下降。例如在回文素数问题中第一步生成的回文数列表很长占据了大量上下文导致LLM在规划第二步时可能“忘记”了最初的问题或者处理信息效率降低。一个缓解策略是让智能体学会“总结”观察结果比如“Observation: 获得了包含XX个元素的回文数列表”而不是把整个列表都塞进上下文。3.3 实验数学探索这是最激动人心也最富挑战性的部分。实验数学不是求解一个明确的问题而是通过计算来观察模式、提出猜想。任务示例Collatz猜想探索。“研究Collatz序列对于任意正整数n如果n是偶数则除以2如果是奇数则变为3n1。序列最终会落入4-2-1循环。请计算前50个起始数的序列长度步数直到达到1并找出序列长度与起始数之间的关系模式。”智能体的表现它能够很好地规划出计算单个序列长度的函数collatz_length(n)并用循环计算前50个数。这属于多步骤问题求解的范畴它通常能胜任。真正的挑战在于分析当要求它“找出模式”时LLM的表现就变得模糊。它可能会生成代码来绘制“起始数 vs 序列长度”的散点图这很好。但当被问及“你从图中看到了什么规律”时它的回答往往是泛泛而谈“序列长度似乎没有简单的函数关系波动很大”或者会强行总结一些并不存在的线性趋势。它缺乏真正的数据分析和模式识别能力无法像数学家一样提出“序列长度似乎大致与起始数的对数有关”或“某些数会形成短暂的上升轨道”这样的洞察。任务示例素数间隔。“计算前1000个素数中相邻素数之间的间隔gap并统计这些间隔的分布情况。”智能体可以轻松写出计算素数列表和间隔的代码并生成间隔列表。但当被要求“分析分布”时它可能会调用histogram函数画个直方图然后描述“间隔为2的非常多孪生素数间隔随着增大而减少”。这虽然正确但流于表面。它无法主动进行更深入的分析比如计算间隔的平均值、方差或者检验间隔的分布是否与某些数学模型如泊松分布相符。核心发现在实验数学场景中SageMath-Augmented LLM Agent是一个强大的数据生成器但不是一个合格的数据分析师或猜想提出者。它能极其高效地执行数学家设计的计算实验生成原始数据或图表从而将数学家从繁琐的编程中解放出来。然而从数据中发现深刻模式、提出有价值猜想的“灵光一现”目前仍然高度依赖人类数学家的直觉和专业知识。智能体在此的角色更像是研究员手边一个听话且能力全面的计算助理而不是一个独立的研究伙伴。4. 可靠性挑战错误模式与边界条件在实际测试中智能体会犯各种错误。理解这些错误模式对于评估其可靠性和设计更鲁棒的系统至关重要。4.1 LLM侧的错误规划错误Planning Error智能体选择了错误或低效的解决路径。例如在计算“所有小于N的、各位数字之和为偶数的平方数”时它可能首先生成所有小于N的平方数然后再过滤。这虽然正确但不如直接生成平方数并判断和是否偶数高效。更严重的情况是它可能尝试用SageMath进行本不适合的符号推导导致问题复杂化。工具使用错误Tool Use Error语法错误生成的SageMath/Python代码存在语法错误。这在复杂表达式或循环中较常见。例如忘记缩进、错误使用括号、变量名拼写错误等。语义错误代码语法正确但逻辑错误。例如在判断素数时使用了低效的算法或者边界条件处理错误如认为1是素数。API误解错误地使用了SageMath的函数或参数。例如混淆了solve和roots的用法或者给绘图函数传递了错误的参数格式。解释错误Interpretation Error无法正确理解SageMath返回的结果。SageMath的输出有时是高度符号化的如包含I表示虚数单位、erf等特殊函数或者是复杂的嵌套结构。LLM可能会误解或简化这些结果导致最终答案不准确。例如将复数解报告为“无实数解”而忽略了复数部分。上下文迷失Context Distraction在多轮交互中LLM可能会“忘记”最初的目标被中间某个步骤带偏或者开始重复之前的操作。4.2 SageMath与环境侧的限制计算资源与超时某些计算如非常大的整数分解、高精度数值积分可能耗时极长或耗尽内存。智能体需要处理超时错误并可能尝试替代算法或建议用户缩小问题规模。未定义行为与异常SageMath在执行某些非法操作如除以零、对负数开平方时会抛出异常。智能体需要能捕获这些异常信息并据此调整策略。例如当求解方程遇到无解情况时SageMath可能返回空列表智能体需要能理解这意味着“无解”而不是简单地输出一个空列表。功能边界SageMath并非万能。有些非常专业的数学领域如某些特定类型的微分方程、最新的图论算法可能支持不完善。智能体需要知道其工具的边界对于无法处理的问题应诚实告知而不是强行生成错误代码。4.3 提升可靠性的策略基于以上错误模式我总结了几点提升系统可靠性的经验强化提示与约束在提示词中明确强调代码的简洁性和正确性并提供更多处理边界条件如空结果、错误的示例。可以强制要求智能体在生成复杂代码前先用简单案例测试逻辑。实现后处理与验证在系统层面可以增加一个“验证层”。例如对于计算类问题如果可能用另一种方法或近似计算对结果进行快速交叉验证。对于“求解”类问题可以自动将解代回原方程验证。设置计算护栏对发送给SageMath的代码进行安全检查如禁止os.system、eval等危险函数并设置执行时间和内存限制。设计更智能的错误恢复机制当SageMath返回错误时不要简单地将错误信息直接扔给LLM。可以尝试对错误信息进行分类和摘要例如“SyntaxError: invalid syntax at line 1” - “你提供的SageMath代码有语法错误”并引导LLM进行修正。甚至可以准备一个常见的“错误-修正”映射库。人类在环Human-in-the-loop对于关键任务或探索性任务系统可以设计为“提议-确认”模式。智能体先给出它的解决计划和将要执行的代码经用户确认后再执行。这能防止灾难性的错误操作比如不小心执行一个耗光内存的死循环。5. 实战配置从零搭建你的数学智能体如果你对这个组合感兴趣想自己动手搭建一个用于学习或研究可以参考以下基于Python的简化实现流程。这里我们假设使用OpenAI的GPT-4作为LLM通过其API调用并在本地通过Docker运行SageMath。5.1 环境准备与依赖安装首先确保你的开发环境已经就绪。安装Docker这是安全运行SageMath的基石。从Docker官网下载并安装适合你操作系统的Docker Desktop。获取SageMath镜像官方提供了SageMath的Docker镜像。在终端中运行docker pull sagemath/sagemath:latest这会下载最新的稳定版镜像。创建项目目录与Python环境mkdir math_agent cd math_agent python -m venv venv # 创建虚拟环境 # 在Windows上: venv\Scripts\activate # 在Mac/Linux上: source venv/bin/activate pip install openai requests # 安装必要的Python库准备OpenAI API密钥如果你使用GPT-4需要在OpenAI平台获取API密钥并设置为环境变量# 在终端中或写入你的shell配置文件 export OPENAI_API_KEYyour-api-key-here5.2 核心组件实现我们将创建三个核心文件一个用于与SageMath Docker容器交互一个用于构建ReAct智能体逻辑一个主程序。文件1sage_executor.py- SageMath执行器这个模块负责启动SageMath容器并执行代码。import subprocess import json import time class SageMathExecutor: def __init__(self, container_namesage_agent): self.container_name container_name # 启动一个长期运行的SageMath容器 # 使用sage -python -c模式我们可以通过exec向其发送Python代码 subprocess.run([ docker, run, -d, --rm, --name, self.container_name, sagemath/sagemath:latest, sage, -python, -c, while True: pass # 保持容器运行 ], capture_outputTrue) time.sleep(2) # 等待容器启动 def execute(self, code: str) - str: 在运行的容器中执行一段SageMath/Python代码并返回输出。 # 将代码作为单行命令执行注意转义引号 cmd [docker, exec, self.container_name, sage, -python, -c, code] try: result subprocess.run(cmd, capture_outputTrue, textTrue, timeout30) if result.returncode 0: return result.stdout.strip() else: return fError: {result.stderr.strip()} except subprocess.TimeoutExpired: return Error: Execution timed out after 30 seconds. except Exception as e: return fError: {str(e)} def cleanup(self): 停止并移除容器。 subprocess.run([docker, stop, self.container_name], capture_outputTrue)文件2react_agent.py- ReAct智能体逻辑这个模块封装了与LLM的交互和ReAct循环逻辑。import openai import os import re class MathReActAgent: def __init__(self, sage_executor, modelgpt-4): self.sage sage_executor self.model model self.conversation_history [] self.system_prompt 你是一个数学专家助手可以调用SageMath计算引擎来解决复杂的数学问题。SageMath是一个强大的开源数学软件支持符号计算、数值计算、代数、数论、绘图等。 你必须遵循以下格式 Thought: 你需要先思考分析当前情况解释你的推理过程并决定下一步行动。 Action: 你发起的行动。如果要使用SageMath请严格使用格式SageMath: 这里放合法的SageMath/Python代码 Observation: 行动的结果。 ... (这个循环可以重复多次) Final Answer: 最终给出问题的答案和解释。 记住 1. 一次只执行一个SageMath动作。 2. 代码要简洁有效。 3. 仔细分析观察结果后再决定下一步。 4. 如果遇到错误尝试分析并修正代码。 现在开始解决问题。 self.conversation_history.append({role: system, content: self.system_prompt}) def _extract_action(self, text): 从LLM的回复中提取Action部分。 match re.search(rAction:\s*SageMath:\s*(.*?), text, re.DOTALL) if match: return match.group(1).strip() return None def run(self, user_query: str, max_turns10): 运行ReAct循环解决一个问题。 self.conversation_history.append({role: user, content: user_query}) print(fUser: {user_query}\n) for turn in range(max_turns): # 调用LLM获取下一步 response openai.ChatCompletion.create( modelself.model, messagesself.conversation_history, temperature0.1, # 低温度保证输出稳定 max_tokens1500 ) assistant_msg response.choices[0].message.content self.conversation_history.append({role: assistant, content: assistant_msg}) print(fTurn {turn1}:\n{assistant_msg}\n) # 检查是否已给出最终答案 if Final Answer: in assistant_msg: print(*50) return assistant_msg.split(Final Answer:)[-1].strip() # 提取并执行Action sage_code self._extract_action(assistant_msg) if sage_code: observation self.sage.execute(sage_code) obs_msg fObservation: {observation} self.conversation_history.append({role: user, content: obs_msg}) print(f{obs_msg}\n) else: # 如果没有Action可能是纯思考或格式错误继续循环 print(No SageMath action detected. Continuing...\n) # 可以在这里添加一个虚拟观察推动循环继续 self.conversation_history.append({role: user, content: Please continue your reasoning and take an Action if needed.}) return Reached maximum turns without a final answer.文件3main.py- 主程序from sage_executor import SageMathExecutor from react_agent import MathReActAgent def main(): # 初始化执行器和智能体 print(Initializing SageMath Docker container...) executor SageMathExecutor() agent MathReActAgent(executor, modelgpt-4) # 可根据需要换成 gpt-3.5-turbo try: # 示例问题 problems [ 计算 100! 的末尾有多少个零, 找出所有小于100的回文素数。, 求解方程 x^3 - 6*x^2 11*x - 6 0并验证解的正确性。 ] for problem in problems: print(f\n{*60}) print(fProblem: {problem}) print(f{*60}) answer agent.run(problem) print(f\nFinal Answer:\n{answer}) # 为下一个问题重置对话历史但保留系统提示 agent.conversation_history [agent.conversation_history[0]] finally: # 清理容器 executor.cleanup() print(\nSageMath container stopped.) if __name__ __main__: main()5.3 运行、调试与优化运行在激活的虚拟环境中运行python main.py。你会看到智能体一步步思考、执行代码并给出答案。常见问题与调试Docker权限问题确保你的用户有运行Docker的权限。在Linux上可能需要将用户加入docker组。API密钥错误检查OPENAI_API_KEY环境变量是否正确设置。SageMath代码错误观察Observation中的错误信息。这些信息会反馈给LLM它通常会尝试修正。如果循环卡住可能是提示词需要调整或者需要手动中断。上下文过长如果问题很复杂对话历史会变长可能触及模型的上下文窗口限制。一个简单的策略是只保留最近几轮的交互和系统提示。优化方向提示词工程这是影响最大的部分。根据你的任务类型不断优化system_prompt增加更相关、更详细的示例。使用更强大的模型GPT-4在规划和代码生成上远优于GPT-3.5-Turbo。如果使用后者需要更严格的提示和更简单的任务。引入工具库除了SageMath你还可以为智能体集成其他工具比如Wolfram Alpha API用于知识查询、专门的绘图库等让它的能力更加全面。实现记忆管理对于长对话实现一个总结机制将过去的复杂观察压缩成简洁的摘要以节省上下文空间。这个实现是一个起点它展示了核心概念。在实际生产或研究环境中你需要考虑更完善的错误处理、状态管理、成本控制以及可能的人机交互界面。但无论如何亲手运行起来看着LLM指挥SageMath解决数学问题无疑是一次深刻理解AI与工具结合潜力的绝佳体验。
