本地大模型对话助手Text Generation Web UI 从部署到调参【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgenText Generation Web UI 是一款开源的本地大模型对话助手基于 Gradio 提供 Web 界面支持文本对话、视觉理解与工具调用并内置 OpenAI / Anthropic 兼容 API全程离线、零遥测数据不出本机。一、它解决什么问题想在自己的机器上跑大模型要么啃命令行、写推理脚本要么把提问数据交给公有云接口。这个项目把「下模型、选后端、调参数、开对话」压缩进一个网页浏览器打开即用聊天记录、角色设定、生成参数全在本地保存。对比维度命令行推理脚本公有云 API本项目上手成本高需自行搭环境低低脚本一键启动数据隐私本地依赖厂商全程本地零遥测功能面单一模型推理仅文本接口对话 / 角色 / 视觉 / 工具调用 / API 一站式二、从零到跑通环境搭建获取代码git clone https://gitcode.com/GitHub_Trending/te/text-generation-webui启动与验证进入目录后按系统选脚本Linux / macOS 为start_linux.sh/start_macos.shWindows 双击start_windows.bat。脚本会自动准备 Python 环境也可直接运行python server.py浏览器打开http://localhost:7860看到 Chat、Parameters、Model 等标签页即代表服务就绪把 GGUF 模型文件放进user_data/models/界面会自动识别并允许加载。三、核心场景实操三个最高频的场景按「输入 → 操作 → 输出」走一遍指令对话输入总结这段技术文档 → 在 Chat 页选 instruct 模式、点发送 → 得到按模型指令风格组织的答案可逐条编辑消息、分叉新话题。角色定制输入一段人物设定 → 在 user_data/characters/ 建 YAML 角色卡并填入性格与开场白 → 对话自动按该角色的口吻进行可长期保存。多模型热切换输入对比一下两个模型的回复风格 → 在 Model 页加载另一后端 / 模型 → 无需重启切换后立刻新对话。user_data/characters/Example.png内置角色卡示例YAML 中填入同目录设定文件即可启用四、模型与后端选型对比同一套界面下挂多个推理后端按硬件与模型格式选即可后端适用硬件一句话特点llama.cppCUDA / Vulkan / ROCm / CPU跑 GGUF 单文件模型兼容面最广Transformers有独显或内存充裕HF 多文件权重直接加载ExLlamaV3NVIDIA 独显偏性能取向的推理优化TensorRT-LLMNVIDIA 高端显卡极致吞吐需专门环境建议先用 GGUF 量化模型 llama.cpp 跑通跑通后再按显卡条件决定是否换后端。五、参数调优速查表参数作用推荐范围temperature控制创造性越高越发散0.7 – 1.2top_p按累积概率截断候选词0.9 – 0.95top_k只在概率最高的 k 个词里采样40 – 100min_p过滤掉低概率词防跑偏0.05 – 0.1repetition penalty压制重复语句1.05 – 1.2硬件适配速查NVIDIA 独显CUDA 加速主力后端选 llama.cpp 或 ExLlamaV3AMD 显卡ROCm 或 Vulkan 路线仓库docker/amd/内有现成配置纯 CPU装 CPU 版依赖即可跑耐心等生成Apple Silicon走 MPS 路径macOS 脚本自带适配六、扩展与集成工具调用user_data/tools/下每个.py文件就是一个可被模型调用的工具网页抓取、网页搜索、掷骰子开箱即用。受限生成user_data/grammars/的 GBNF 文件可把输出约束成 JSON、C 代码、角色对话等固定结构。API 服务启动时加--api参数默认 5000 端口提供 OpenAI 兼容接口可无缝替换现有代码里的 API 地址。扩展插件语音合成、语音输入、翻译等能力都在 extensions/ 目录内置按需启用即可。七、避坑速查启动失败确认 Python 3.9 且路径不含空格依赖冲突时重跑启动脚本让它重建环境。模型加载慢大 GGUF 文件首载主要受磁盘速度影响配--idle-timeout空闲自动卸载省下显存。输出重复、胡话降 temperature、调 min_p或把 repetition penalty 提到 1.1 以上持续异常再考虑换更强的量化版本。端口被占用用启动参数--gradio-port和--api-port分别改 Web 端口与 API 端口即可。本地大模型对话、角色扮演与私有 API这套界面一次给齐。把 GGUF 模型放进user_data/models/运行启动脚本剩下的交给浏览器。【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
