10分钟上手Intern-S2-Preview-397B从部署到首次推理的完整指南【免费下载链接】Intern-S2-Preview-397B项目地址: https://ai.gitcode.com/InternLM/Intern-S2-Preview-397BIntern-S2-Preview-397B是一款功能强大的多模态基础模型专为科学智能和长程任务设计。它通过创新的视觉-语言预训练范式、大规模多任务强化学习和长程智能体强化学习在通用推理、科学问题解决和智能体能力方面实现了显著提升。本指南将帮助你在10分钟内完成从环境准备到模型部署及首次推理的全过程。模型简介为什么选择Intern-S2-Preview-397BIntern-S2-Preview-397B具备三大核心特性使其在开源模型中脱颖而出全新预训练范式直接从科学文献原始页面学习在共享表示空间中联合建模符号语义和视觉关系无需中间解析增强了空间和视觉推理能力。科学模态推理与生成通过跨20多个领域的多样化科学强化学习任务训练在通用推理性能上领先开源模型并在生物分子相互作用设计、材料结构生成等专业科学任务中表现出色。通用与科学长程智能体将多个智能体框架连接到大规模沙盒环境进行黑盒智能体强化学习提高了通用和科学领域长程任务的泛化能力和性能上限。硬件准备快速部署的基础要求为确保模型顺利运行建议使用以下硬件配置推荐配置H100 (x8) 或 H200 (x8) 节点最低要求具备足够显存的GPU支持LMDeploy、vLLM或SGLang等推理框架环境搭建3步完成准备工作1. 克隆项目仓库首先克隆Intern-S2-Preview-397B项目仓库到本地git clone https://gitcode.com/InternLM/Intern-S2-Preview-397B cd Intern-S2-Preview-397B2. 安装依赖项根据你选择的部署框架安装相应的依赖LMDeploy (0.14.0)pip install lmdeploy0.14.0vLLM (v0.22.1)pip install vllm0.22.1SGLang (v0.5.13)pip install sglang0.5.133. 模型文件检查确保项目目录中包含必要的模型文件如model-00001-of-00190.safetensors等模型权重文件tokenizer.json和vocab.json等分词器文件configuration_interns2_preview.py模型配置文件部署指南3种框架任选快速启动服务LMDeploy部署推荐LMDeploy是一款高效的LLM部署工具支持多种优化策略。以下是基本部署命令# 启动代理服务器 lmdeploy serve proxy --server-name 0.0.0.0 --server-port 23333 # 启动API服务器 lmdeploy serve api_server \ ./ \ --trust-remote-code \ --backend pytorch \ --dp 4 \ --ep 8 \ --enable-prefix-caching \ --proxy-url http://0.0.0.0:23333 \ --reasoning-parser default \ --tool-call-parser interns2-preview如需启用MTP推测解码加速推理可添加相关参数--speculative-algorithm qwen3_5_mtp \ --speculative-num-draft-tokens 4 \ --max-batch-size 256vLLM部署vLLM以其高效的PagedAttention机制著称适合高并发场景export VLLM_DEEP_GEMM_WARMUPskip export VLLM_USE_DEEP_GEMM0 export VLLM_FLASHINFER_MOE_BACKENDlatency vllm serve ./ \ --trust-remote-code \ --tensor-parallel-size 8 \ --enable-auto-tool-choice \ --tool-call-parser qwen3_coder \ --reasoning-parser qwen3 \ --mm-encoder-tp-mode dataSGLang部署SGLang提供灵活的推理控制适合需要定制推理流程的场景python3 -m sglang.launch_server \ --model-path ./ \ --trust-remote-code \ --tp-size 8 \ --mem-fraction-static 0.8 \ --enable-flashinfer-allreduce-fusion \ --reasoning-parser qwen3 \ --tool-call-parser qwen3_coder首次推理简单3步体验模型能力1. 准备推理参数推荐使用以下采样参数以获得最佳结果top_p 0.95 top_k 50 min_p 0.0 temperature 0.82. 使用OpenAI兼容API调用模型部署完成后可通过OpenAI兼容API进行推理from openai import OpenAI client OpenAI( api_keyEMPTY, base_urlhttp://0.0.0.0:23333/v1 # 根据实际部署地址调整 ) messages [ {role: user, content: 请解释什么是量子计算并举例说明其潜在应用。} ] response client.chat.completions.create( modelinternlm/Intern-S2-Preview-397B, messagesmessages, temperature0.8, top_p0.95, max_tokens1024 ) print(response.choices[0].message.content)3. 检查推理结果成功运行后你将看到模型返回的关于量子计算的解释和应用举例。这表明你已成功完成Intern-S2-Preview-397B的部署和首次推理高级功能释放模型全部潜力工具调用能力Intern-S2-Preview-397B支持工具调用可扩展其能力# 定义工具函数 def get_current_temperature(location: str, unit: str celsius): 获取指定位置的当前温度 # 实现细节... # 调用工具 tools [{type: function, function: {...}}] # 工具定义 response client.chat.completions.create( modelinternlm/Intern-S2-Preview-397B, messagesmessages, toolstools, tool_choiceauto )思维模式切换模型默认启用思维模式以增强推理能力可根据需求禁用response client.chat.completions.create( modelinternlm/Intern-S2-Preview-397B, messagesmessages, extra_body{chat_template_kwargs: {enable_thinking: False}} )长上下文推理通过配置YaRN RoPE参数支持超长文本处理# LMDeploy长上下文部署示例 lmdeploy serve api_server \ ./ \ --session-len 512000 \ --hf-overrides {text_config: {rope_parameters: {mrope_interleaved: true, mrope_section: [11, 11, 10], rope_type: yarn, rope_theta: 10000000, partial_rotary_factor: 0.25, factor: 4.0, original_max_position_embeddings: 262144}}}常见问题解决快速排查部署难题显存不足解决方案减少--tensor-parallel-size或--dp参数或使用模型并行技术。推理速度慢解决方案启用MTP推测解码或调整--max-batch-size参数优化吞吐量。API连接失败解决方案检查服务是否启动端口是否正确网络是否通畅。总结开启你的AI探索之旅通过本指南你已成功部署Intern-S2-Preview-397B并完成首次推理。这款强大的多模态模型将为你的科学研究、智能应用开发提供有力支持。如需深入了解更多功能请参考项目中的部署指南和源代码文件如configuration_interns2_preview.py。现在尽情探索Intern-S2-Preview-397B带来的无限可能吧【免费下载链接】Intern-S2-Preview-397B项目地址: https://ai.gitcode.com/InternLM/Intern-S2-Preview-397B创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
