1. 项目概述Ubuntu 24.04 LTS下Ollama的本地大模型实践在AIGC技术爆发的2026年本地运行大语言模型已成为开发者标配能力。本文将手把手带你在Ubuntu 24.04 LTS上部署Ollama框架并实测Llama3 8B与通义千问Qwen 32B两大主流模型。不同于云端API调用本地部署能实现完全离线环境下的隐私保护自定义模型微调与扩展硬件资源的高效利用实测环境ThinkPad P16移动工作站i9-13980HX/64GB DDR5/RTX 5000 Ada 16GB系统为Ubuntu 24.04 LTS纯净安装版。选择该版本因其提供长达5年的LTS支持且默认搭载Linux 6.8内核对NVIDIA显卡驱动支持更完善。2. 环境准备与Ollama安装2.1 系统基础配置首先更新软件源并安装必备工具链sudo apt update sudo apt upgrade -y sudo apt install -y curl git python3-pip build-essential libssl-dev重要提示若使用NVIDIA显卡务必通过官方驱动安装CUDA 12.3sudo ubuntu-drivers autoinstall nvidia-smi # 验证驱动安装2.2 Ollama的三种安装方案针对国内网络环境提供以下可选方案方案一官方脚本直装适合网络通畅环境curl -fsSL https://ollama.ai/install.sh | sh方案二国内镜像加速推荐mkdir -p ~/.ollama/bin wget https://mirror.example.com/ollama-linux-amd64 -O ~/.ollama/bin/ollama chmod x ~/.ollama/bin/ollama echo export PATH$PATH:~/.ollama/bin ~/.bashrc方案三Docker容器部署docker run -d --gpusall -v ollama:/root/.ollama -p 11434:11434 ollama/ollama安装后验证服务状态systemctl status ollama # 应显示active (running)3. 模型部署实战3.1 Llama3 8B的调优运行使用量化版模型节省显存ollama pull llama3:8b-instruct-q4_0启动交互式对话ollama run llama3:8b-instruct-q4_0关键参数调整创建ModelfileFROM llama3:8b-instruct-q4_0 PARAMETER num_ctx 4096 PARAMETER temperature 0.73.2 Qwen 32B的高效部署针对大显存需求模型推荐使用--gpu-layer参数ollama pull qwen:32b-chat-v1.5 nohup ollama run qwen:32b-chat-v1.5 --gpu-layer 35 qwen.log 实测性能对比模型显存占用生成速度(tokens/s)量化方式Llama3 8B6.8GB42.7q4_0Qwen 32B21.3GB18.5q4_k4. 生产级优化技巧4.1 系统层调优编辑/etc/sysctl.conf添加vm.swappiness 10 vm.overcommit_memory 1配置CUDA MPS服务提升GPU利用率nvidia-smi -i 0 -c EXCLUSIVE_PROCESS nvidia-cuda-mps-control -d4.2 模型微调实战以Qwen为例创建微调数据集# finetune_data.jsonl {text: |im_start|user\n如何优化Python代码性能|im_end|\n|im_start|assistant\n1. 使用内置函数替代循环\n2. 利用numpy向量化操作\n3. 避免不必要的对象创建|im_end|}启动LoRA微调ollama create qwen-ft -f ./Modelfile5. 常见问题排雷指南5.1 下载中断解决方案创建~/.ollama/.curlrc文件speed-limit 1000000 speed-time 305.2 显存不足处理使用--numa参数绑定NUMA节点添加--main-gpu 0指定主显卡采用更低bit的量化版本如q2_k5.3 中文乱码修复在Modelfile中添加SYSTEM export LANGzh_CN.UTF-8 export LC_ALLzh_CN.UTF-8 6. 进阶应用场景6.1 构建REST API服务使用open-webui项目搭建管理界面docker run -d -p 3000:8080 \ -e OLLAMA_BASE_URLhttp://host.docker.internal:11434 \ -v open-webui:/app/backend/data \ ghcr.io/open-webui/open-webui:main6.2 多模型协同工作流编写pipeline脚本from ollama import Client client Client(hosthttp://localhost:11434) def qa_pipeline(question): research client.generate(modelllama3:8b, promptf检索{question}) answer client.generate(modelqwen:32b, promptf基于以下内容回答{research}\n问题{question}) return client.generate(modelllama3:8b, promptf润色{answer})实测发现在RTX 5000 Ada显卡上Qwen 32B的kvcache可压缩至原大小的30%而不显著影响输出质量。具体方法是在启动参数中添加--kvcache-compress 0.3这使32B模型能在16GB显存下稳定运行。
