手把手实操LoRA高效微调，定制垂直行业深度大模型，让你真正能懂会用

前言今天我们来个新话题——对大模型进行微调让通用大模型具备“特殊能力”能够完成特定的任务。如果大家的电脑配置跑不了大模型的微调任务可以申请阿里云ACP考试的免费试用。老规矩先看最终效果。选用的原始大模型是“Qwen2.5-1.5B-Instruct” 因为足够小、足够傻。微调的目标是让其具备解答数学题的能力其他行业模型微调方法类似。任务的设计在一块底边长18米高6米的三角形菜地里种萝卜如果每平方米收萝卜12千克这块地可收萝卜多少千克微调前的效果分析的头头是道但就是给不出答案微调前模型模拟考试10道数学题看看能得多少分30微调后模型模拟考试10道数学题看看能得多少分70为啥不是满分文末有详述以下是详细的实现过程。一、在开始之前我们先补充几个模型微调的原理知识做好笔记哦1大模型的训练原理后面会单独写一篇文章详细介绍这里仅简介。生成式大模型的原理就是根据用户输入的信息经过大模型神经网络各层的计算把概率高的相关内容作为结果反馈给用户。那如何才能得到更精准的答案呢在大模型的训练过程中需要不断地进行参数调整让结果更加精确。大模型的训练过程也就是参数调优的过程。所以参数越多控制就越精细化效果就越好。就好比仅仅用身高、体重、年龄等有限特征去识别一个人和用臂展、腿长、脸型、眼距、额宽等等更多细节特征去识别人物效果肯定不一样。当然参数越多所需要的资源和时间也就会越多。2大模型到底是如何学习的用数学公式通过数据找规律根据输入通过数学公式计算得到输出如果输出与预期不相符则需要进行参数调整用损失函数来代表输出与预期的不相符程度参数调整的目标就是让损失函数代价函数最小。那如何最小呢。使用梯度下降法找到最低点。那如何使用梯度下降呢。\1. 是找调整方向。类似二维空间的求导找斜率以最快的角度到达最低点三位空间的求偏导找二维向量以最快的角度到达最低点以此类推到更高维的空间\2. 是找调整幅度过大可能直接跨过了最低点太小需要太长的时间。总结下来模型的微调就是做以上这几件事。3快速微调LoRALow-Rank Adaptation低秩适应微调通过矩阵运算将微调需要更新的参数抽象分解成两个小得多的低秩矩阵模型原有矩阵不训练。通俗的讲就是20%的矩阵携带了80%的信息我们只需要使用信息密度最高的那些矩阵就好了。二、任务拆解1、下载原始模型2、准备训练集3、模拟考试用原始模型看看答题能得多少分4、使用ms-swift框架设置不同的参数进行微调5、模拟考试用微调后的模型看看答题能得多少分三、下载模型并装载1、准备环境1 克隆工程并安装必要的python包git clone https://github.com/AlibabaCloudDocs/aliyun_acp_learning.git pip install accelerate1.0.1 rouge-score0.1.2 nltk3.9.1 ms-swift[llm]2.4.2.post2 evalscope0.5.5rc12下载原始模型包并加载到内存中四、准备数据训练集数据集使用1000道由DeepSeek-R1生成的题解进行训练如果数据太少会过拟合类似“背题”而不是找到“解题方法”。五、模拟考试用原始模型做模拟考试准备了10道测试题原始模型只答对了3道得分30分满分100分。六、设置不同的参数进行多轮微调1、参数及其含义learning_rate - 学习率也就是调整幅度太大容易跨过最低点太小时间会太久lora_rank - lora的秩也就是训练模型的大小越大信息越多但难度越大num_learning_epoches - 每个训练集训练的次数太多容易过拟合太少则可能找不到解题规律batch_size - 一次计算平均梯度的数量太大可以加速训练但容易过拟合太小训练时间会加长。eval_steps - 评估间隔训练多少数据进行一次评估不能等到所有都训练完了才评估。2、开始一步一步的微调吧。1) 第一次微调参数设置learning_rate 0.1lora_rank 4num_learning_epoches1通过日志23:54:59开始跑~23:55:14跑完大概用了1分钟通过损失函数图像看训练损失增大、验证损失增大意味着没找到最小值原因可能就是调整幅度太大了降低****learning_rate0.000052第二次微调参数设置learning_rate 0.00005lora_rank 4num_learning_epoches1通过日志大概用了3分钟通过损失函数图像看训练损失减小、验证损失也减少但起伏不定原因可能是欠拟合增大每个数据集的学习次数和batch_size3第三次微调参数设置learning_rate 0.00005lora_rank 4num_learning_epoches3batch_size 16evel_step 20通过日志大概用了7分半通过损失函数图像看训练损失减小、验证损失先减少后增大原因可能是过拟合增大数据集的数量降低学习次数增大lora_rank.4第四次微调参数设置learning_rate 0.00005lora_rank 8num_learning_epoches3batch_size 16evel_step 20通过日志大概用了5分半通过损失函数图像看训练损失减小、验证损失也平滑的减少原因训练已经接近成功多训练就好了。增加每次训练的题量。5第五次微调 -微调成功参数设置learning_rate 0.00005lora_rank 8num_learning_epoches15batch_size 16evel_step 20通过日志大概用了25分钟通过损失函数图像看训练损失和验证损失基本不变微调成功七、用微调后模型进行模拟考试注意一定要选取训练过程中表现最好的checkpoint微调后得分从微调前30分提升到70分为啥还没到满分呢。比如针对天数计算例如是否要1问题还是不行最小公倍数也算错了原因模型的训练量还是太小后续可以通过增加训练量来提升。好了今天的手把手lora实操大模型微调原理和实践就到这儿来。希望这篇能帮到你~最后为什么要学AI大模型当下⼈⼯智能市场迎来了爆发期并逐渐进⼊以⼈⼯通⽤智能AGI为主导的新时代。企业纷纷官宣“ AI ”战略为新兴技术⼈才创造丰富的就业机会⼈才缺⼝将达 400 万DeepSeek问世以来生成式AI和大模型技术爆发式增长让很多岗位重新成了炙手可热的新星岗位薪资远超很多后端岗位在程序员中稳居前列。与此同时AI与各行各业深度融合飞速发展成为炙手可热的新风口企业非常需要了解AI、懂AI、会用AI的员工纷纷开出高薪招聘AI大模型相关岗位。最近很多程序员朋友都已经学习或者准备学习 AI 大模型后台也经常会有小伙伴咨询学习路线和学习资料我特别拜托北京清华大学学士和美国加州理工学院博士学位的鲁为民老师给大家这里给大家准备了一份涵盖了AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频全系列的学习资料这些学习资料不仅深入浅出而且非常实用让大家系统而高效地掌握AI大模型的各个知识点。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】AI大模型系统学习路线在面对AI大模型开发领域的复杂与深入精准学习显得尤为重要。一份系统的技术路线图不仅能够帮助开发者清晰地了解从入门到精通所需掌握的知识点还能提供一条高效、有序的学习路径。但知道是一回事做又是另一回事初学者最常遇到的问题主要是理论知识缺乏、资源和工具的限制、模型理解和调试的复杂性在这基础上找到高质量的学习资源不浪费时间、不走弯路又是重中之重。AI大模型入门到实战的视频教程项目包看视频学习是一种高效、直观、灵活且富有吸引力的学习方式可以更直观地展示过程能有效提升学习兴趣和理解力是现在获取知识的重要途径光学理论是没用的要学会跟着一起敲要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。海量AI大模型必读的经典书籍PDF阅读AI大模型经典书籍可以帮助读者提高技术水平开拓视野掌握核心技术提高解决问题的能力同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说阅读经典书籍是非常有必要的。600AI大模型报告实时更新这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。AI大模型面试真题答案解析我们学习AI大模型必然是想找到高薪的工作下面这些面试题都是总结当前最新、最热、最高频的面试题并且每道题都有详细的答案面试前刷完这套面试题资料小小offer不在话下这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】