写在前面欢迎大家关注Rocky的公众号WeThinkIn欢迎大家关注Rocky的知乎Rocky Ding《三年面试五年模拟》AIGC/LLM/AI Agent算法工程师/开发工程师求职面试秘籍独家资源【三年面试五年模拟】WeThinkIn/AIGC-Interview-Book欢迎大家StarRocky最新撰写的10万字AI AgentAI智能体深入浅出全维度解析文章深入浅出完整解析AI AgentAI智能体的核心基础知识AIGC/LLM/AI Agent算法岗/开发岗求职面试内推学习社群涵盖涵盖AIGC、LLM大模型、AI Agent、传统深度学习、自动驾驶、机器学习、计算机视觉、自然语言处理、强化学习、大数据挖掘、具身智能、元宇宙、AGI等AI行业最新面试干货经验与核心知识欢迎大家加入https://t.zsxq.com/33pJ0大家好我是Rocky。核心导读这篇论文《UltraX: Refining Pre-Training Data at Scale with Adaptive Programmatic Editing》讨论的不是一个表面上的“数据清洗工具”而是一个更底层的问题当互联网可用文本逐渐接近物理上限LLM 继续提升到底还能靠什么过去几年大模型行业最直接的增长路径是更大的模型、更大的算力、更大的训练数据。但这个路径正在进入一个很现实的阶段高质量公开文本不是无限的低质量网页噪声也不是简单多抓一点就能弥补的。数据规模继续扩大当然仍然重要但边际收益会越来越依赖“每一个 token 是否真的有训练价值”。UltraX 给出的答案是把预训练数据精炼从两类旧范式中往前推了一步不是只靠固定规则过滤因为规则便宜但僵硬很难处理实例级差异也不是直接让大模型端到端重写全部文本因为质量可能更好但成本、吞吐和长文一致性很难支撑预训练级规模而是让专家 LLM 先产生高质量精炼结果再把“原文 - 精炼文”的差异转换成可执行函数调用监督训练一个轻量级 refiner 在大规模语料上输出结构化编辑程序。Rocky 认为这篇工作的本质价值在于它把“数据清洗”从一次性规则工程变成了可学习、可审计、可执行、可规模化的数据工程系统。真正值得看的是这条路线而不只是论文里某几个 benchmark 分数。论文的主要结论可以压缩成三句话UltraX 将预训练数据精炼定义为程序化文本变换模型不直接生成完整新文本而是生成keep_all、remove_all、remove_lines、replace_str、add_line等函数调用。它通过 dataset-adaptive prompt optimization、Line Alignment Mapping、Dynamic Context Replacement把专家 LLM 的端到端精炼结果转换为结构化程序监督再训练轻量模型进行大规模执行。在 FineWeb、RedPajama-v2、AICC、Ultra-FineWeb、FineWeb-ProX-Doc 五类语料上UltraX 在 20B token 预训练实验中都取得最高平均性能在 FineWeb 上UltraX 用 16B 训练 token 已经超过 Raw/ProX-C 用 20B token 的最终平均分。一、问题背景数据 scaling 的下一阶段不是“更多”而是“更有效”Scaling Law 过去给行业带来了一个很强的直觉模型参数变大、训练 token 变多性能就会持续提升。但这个直觉有一个前提——你得有足够多、足够新、足够高质量的数据。现在的问题是公开可抓取文本不是无限矿藏。越往后模型继续吃进去的新增数据越容易包含重复、模板、广告、导航栏、SEO 垃圾、格式破坏、机器生成低质文本和语义空洞内容。此时继续盲目扩大数据规模会遇到两个问题训练 token 数上去了但有效信息密度不一定上去数据噪声被模型吸收以后会以更隐蔽的方式影响推理、常识、格式、事实和泛化能力。这也是 UltraX 这篇论文切入点比较现实的地方。它没有把数据质量问题简化成“过滤掉坏文档”这么粗而是把它拆成三种更细的操作有些文档应该完整保留有些文档确实应该整体删除但更多网页文本处在中间态有价值内容和噪声混在一起需要删除局部噪声、替换局部错误甚至插入缺失结构。这类中间态数据恰恰是传统规则和端到端生成都不舒服的地带。规则方法的问题是它能处理明确模式却很难处理实例级差异。比如“删除导航栏”“删除广告”“清理版权声明”看起来简单但网页结构一变、语言一混、格式一破规则就需要反复调参。LLM 端到端改写的问题则是成本和可靠性。让强模型把每个文档重写一遍质量上限高但输出 token 接近输入规模吞吐慢、费用高遇到长文还要切分和重组稍不注意就会产生语义断裂、结构不一致或者过度改写。所以 UltraX 的关键判断是大规模预训练数据精炼不应该让模型“自由写作”而应该让模型“输出可执行编辑程序”。二、核心思路把数据精炼变成函数调用而不是端到端重写UltraX 的整体流程可以分成两个阶段先构建精炼模型再把它部署到大规模语料上执行。这张图是理解 UltraX 的关键。左侧是“监督怎么来”从原始网页语料中采样 seed data用自动 prompt 优化机制为不同数据集生成适配其噪声模式的 prompt再让专家 LLM 生成端到端精炼文本。随后UltraX 不直接拿这些精炼文本训练一个“重写模型”而是把原文与精炼文之间的差异映射成函数调用序列。右侧是“大规模怎么跑”轻量级 refiner 对长文做滑动窗口预测生成局部操作系统再将局部操作映射回全局行号空间做操作聚合、格式校验、歧义过滤、相邻操作合并和异常重复检测最后由确定性执行器真正修改原始语料。这个设计的技术味道很明确LLM 负责高质量示范小模型负责低成本执行模型负责预测“应该怎么改”程序负责确定性执行“真的怎么改”。Rocky 认为这里最值得重视的是“责任边界”被拆清楚了专家模型承担语义判断映射算法承担监督构造小模型承担大规模操作预测后处理与执行器承担可靠性约束最终编辑过程可以被记录、回放和审计。这比“让一个大模型把文本改好”更像工业系统。三、函数空间设计为什么add_line不是一个小补丁UltraX 的函数空间包括五类操作函数作用keep_all()文档无需修改原样保留remove_all()文档整体缺乏有效信息全部删除remove_lines(start_line, end_line)删除连续行区间适合导航栏、广告块、版权声明、模板噪声replace_str(line, source_str, target_str)对指定行内的局部字符串做替换适合 HTML 残留、行内噪声、轻量格式错误add_line(base_line, sub_idx, new_str)在指定位置附近插入文本用于结构恢复或内容补全表面看这就是一个编辑函数列表。但它背后其实对应了数据精炼的一个重要转向从 deletion-only 走向完整编辑。很多数据清洗系统天然偏向删除。因为删除最安全、最便宜也最容易定义遇到低质量片段就删掉。但删除不是万能的。真实网页文本里常见的问题不是“整段都没用”而是结构坏了、标题和正文粘在一起、表单字段被抓成一行、多个新闻条目被拼成一坨、局部广告和有效内容混杂。如果系统只有删除能力它就会被迫在两个坏选择之间摇摆删除太少噪声留下删除太多有价值内容也没了。add_line的意义就在这里。它不是为了让模型自由创作而是为了让程序化精炼能够表达“结构恢复”这一类操作。比如把粘连在一行里的字段重新拆成多行把标题补回合适位置把被压扁的文本恢复成更适合预训练的结构。这也是 UltraX 相比 ProX-C/RefineX 这类函数调用式精炼方法的核心改进之一函数空间更完整能同时覆盖删除、修改和插入。四、监督构造真正难的不是函数调用而是把文本差异变成可靠程序UltraX 的一个关键工程难点是如何得到高质量程序监督。如果直接让 LLM 生成函数调用问题是可靠性不够。LLM 可能生成不可执行的操作可能定位不准也可能在重复字符串场景里替换错位置。UltraX 采用的是间接路线先让专家 LLM 根据数据集自适应 prompt 生成端到端精炼文本再将原文与精炼文对齐最后把差异转换成函数调用程序。这里有两个核心模块。第一是 Line Alignment Mapping。它在行级别对齐原始文本和精炼文本判断哪些行被删除、哪些行被插入、哪些行需要进一步做字符级分析。它不只看单行内容也考虑上下文和相对位置关系。第二是 Dynamic Context Replacement。它处理行内修改将字符级差异转换成replace_str操作。难点在于网页文本里经常有重复字符串。如果只预测 “把 A 替换成 B”执行器可能替换错同名片段。UltraX 的做法是动态扩展前后上下文让替换操作变成唯一可定位的局部修改。这一步非常关键。因为大规模数据精炼不是 demo不能只看输出文本“像不像改好了”。它必须可执行、可定位、可复现。一个替换操作如果在百万级、十亿级文档上有千分之一的定位歧义最后都会变成不可控噪声。所以 UltraX 又引入了低置信度样本过滤和按操作组合的配比采样。前者提升监督可靠性后者稳定训练分布避免模型只学到“保留”或只学到“删除”。论文中的采样策略对比很有意思操作组合Preservation-WeightedEdit-Weightedkeep_all60.000%14.419%remove_lines replace_str24.293%45.921%remove_lines7.678%15.307%replace_str4.870%12.874%remove_all2.742%7.535%含add_line的组合0.417%3.944%可以看到Edit-Weighted 明显提高了编辑型样本比例尤其是remove_lines replace_str。这意味着 UltraX 并不是训练一个“保守筛选器”而是在训练一个真正会做细粒度编辑的 refiner。五、大规模执行系统价值藏在后处理里很多论文讲数据清洗会把重点放在模型能力上。但 UltraX 比较工程化的一点是它认真处理了执行阶段的稳定性。长文档无法直接一次输入 refiner因此系统需要滑动窗口切分。窗口切分会引入新的问题同一段文本可能出现在重叠窗口中多个局部预测操作需要合并回原始文档不同窗口可能对同一行给出不同修改连续replace_str操作可能相互影响重复模式还可能导致模型输出异常循环。UltraX 对这些问题做了系统化后处理将局部窗口操作映射回全局行号只保留重叠窗口中非重复区域的操作过滤不可解析或不符合函数格式的调用统一处理keep_all/remove_all过滤有歧义的替换合并同一行内连续或相互影响的replace_str检测异常重复函数模式并 fallback。这也是 Rocky 觉得这篇论文有工程价值的地方。它不是简单提出“用函数调用清洗数据”的概念而是沿着规模化执行的真实问题往下做了很多约束。对于大规模预训练数据来说数据精炼系统最怕两种事一种是成本不可控。端到端重写会输出大量 token吞吐和费用都不适合预训练规模。另一种是错误不可审计。规则或模型一旦在某类数据上系统性误删、误改很难回溯到底是哪一步出了问题。UltraX 的程序化路径至少提供了一种更可控的工程界面每条数据预测了什么操作、执行后变成什么样可以保存、检查、统计也可以做失败回退。六、实验结果UltraX 的提升不来自“删得更多”而来自“删得更准”论文实验使用五类大规模预训练语料FineWeb、RedPajama-v2、AICC、Ultra-FineWeb、FineWeb-ProX-Doc。每类语料都构建 Raw、ProX-C、UltraX 三个 20B-token 训练集并用约 1B 参数 MiniCPM 模型从零预训练再用 LightEval 在 10 个 benchmark 上评估。主结果可以先看平均分和胜出任务数语料Raw AvgProX-C AvgUltraX AvgUltraX #WinFineWeb45.0845.0546.1410 / 10RedPajama-v243.0943.4743.987 / 10AICC41.6342.1542.435 / 10Ultra-FineWeb47.4547.2848.145 / 10FineWeb-ProX-Doc46.8947.1947.937 / 10UltraX 在五个语料上都取得最高平均分。论文给出的总体结论是相比 Raw 和 ProX-CUltraX 分别带来约 2.00% 和 1.53% 的平均相对提升并在 50 个任务-语料组合中拿到 34 个最佳结果。这里要注意一个细节在预训练数据实验里1 个百分点左右的平均提升并不小尤其是在同等模型、同等训练规模、只改变数据精炼方式的情况下。它说明模型能力差异不是来自架构、训练 token 或训练配置而主要来自数据有效性变化。更值得看的是 FineWeb 上不同训练 token 预算的曲线。论文报告称UltraX 在 16B training tokens 时达到 45.49 的平均分已经超过 Raw 和 ProX-C 在 20B tokens 时的最终结果分别是 45.08 和 45.05到 20B tokens 时UltraX 提升到 46.14。这说明 UltraX 的价值不是简单“最终分更高”而是提高了训练 token 的有效信息密度。换句话说同样一批训练预算里模型更早学到更有效的信号。对训练大模型的人来说这一点很现实。因为 pre-training 阶段最贵的不是写一篇论文而是真实 GPU 时间。数据精炼如果能让模型用更少 token 达到同等能力它就不是单纯的数据清洗成本而是在换训练效率。七、消融实验完整函数空间、指令协议、编辑采样都不是装饰UltraX 的消融实验主要证明四件事。第一系统指令有用。没有系统指令时UltraX 也能把 FineWeb 平均分从 Raw 的 45.08 提升到 45.73加入系统指令后进一步提升到 46.14并在 8/10 个任务上取得最佳结果。原因并不复杂小模型输出函数调用时需要清晰的操作定义、保留原则和删除边界否则容易在“该删还是该留”上漂移。第二编辑型采样更适合完整 UltraX。Preservation-Weighted 更保守在 ARC-C、ARC-E、OBQA、SciQ 等任务上有优势Edit-Weighted 的平均分最高说明增加修改类监督能增强细粒度清洗能力。但这里也有边界保留监督不能太少否则会诱导过度编辑。第三低质量 Tail 子集更值得积极精炼。论文用 Ultra-FineWeb classifier 将 FineWeb-20B 划分为高质量 Head约 21.5%和低质量 Tail约 78.5%。结果显示仅精炼 Tail 通常收益更明显仅精炼 Head 的收益更有限且不稳定。这符合直觉高质量数据本身可改空间小过强编辑反而可能破坏已有内容低质量区域才是数据精炼最能释放收益的地方。第四完整函数空间最重要。论文比较了只做文档级决策、文档级决策 行级编辑、文档级决策 行内替换以及完整 UltraX。结果如下函数空间Avg#WinDocument-Level Decision45.222 / 10Line-Level Editing45.351 / 10Intra-Line Replacement44.910 / 10Full UltraX46.148 / 10这说明只做文档级保留/删除确实能过滤一部分低价值样本但如果没有行级删除、行内替换和插入之间的协同系统很难处理真实网页噪声里的结构性冗余。完整 UltraX 的优势来自组合而不是某一个函数的单点能力。八、数据分布分析UltraX 没有一味压缩 token论文进一步分析了五个语料在精炼前后的文档级 token 分布。更直接的数据是下面这张统计表DatasetRaw DocsRaw TokensProX-C DocsProX-C TokensUltraX DocsUltraX TokensFineWeb29.20M20.00B28.86M17.58B-12.1%28.36M18.30B-8.5%RedPajama-v222.12M20.00B19.83M15.65B-21.8%20.34M16.02B-19.9%AICC21.28M20.11B15.92M13.45B-33.1%18.59M13.44B-33.2%Ultra-FineWeb23.92M20.06B23.79M18.50B-7.8%23.74M19.30B-3.8%FineWeb-ProX-Doc17.28M19.65B17.25M18.07B-8.0%17.25M18.97B-3.4%这里最重要的观察是UltraX 并不是总比 ProX-C 删得更多。在 FineWeb、RedPajama-v2、Ultra-FineWeb、FineWeb-ProX-Doc 上UltraX 通常保留了更多 token。即便在 AICC 上两者 token reduction 接近UltraX 也保留了更多非空文档。这意味着 UltraX 的提升不是来自激进删除而是来自更细粒度的“去噪 保留”平衡。ProX-C 可能更容易把有效内容一起删掉UltraX 通过replace_str、add_line和更完整的行级操作能够在删除低价值噪声时保留更多可训练信号。这也是数据精炼和数据过滤的区别。过滤是问“要不要”精炼是问“怎么改到更适合训练”。九、函数分布不同语料需要不同编辑强度UltraX 还统计了在五类语料上生成的函数分布CorpusKeep%Remove%Modify%主要修改组合FineWeb35.62.961.6remove_lines replace_str36.6%RedPajama-v29.68.082.4remove_lines replace_str53.7%AICC0.012.787.3remove_lines replace_str62.5%Ultra-FineWeb52.10.747.1remove_lines replace_str28.8%FineWeb-ProX-Doc45.10.254.8remove_lines replace_str34.9%这个分布很能说明问题。Ultra-FineWeb 和 FineWeb-ProX-Doc 这类已经做过较强文档级筛选的数据keep_all比例更高说明很多样本可以直接保留。AICC 和 RedPajama-v2 修改比例明显更高说明它们需要更积极的结构删除与行内清理。同时最主要的修改组合是remove_lines replace_str。这说明真实网页噪声很少是单一形态既有结构级冗余也有行内局部污染。只做删除不够只做替换也不够。论文还给出一个补充统计除 AICC 外多数语料中被修改文档平均只包含约 2.3 到 2.9 个函数调用且remove_lines多为短跨度删除。也就是说UltraX 并不是对每篇文章大动刀而是用紧凑的操作表达局部修改。Rocky 认为这个现象比单纯分数更有启发好的数据精炼系统不应该追求“改得多”而应该追求“在必要位置做最小可执行修改”。十、质量评估与案例防止过度编辑才是数据精炼的难点论文还从 FineWeb 中随机抽取 80K 个原始文档对 ProX-C 和 UltraX 的精炼结果做成对质量评估。评分维度包括噪声移除、不过度编辑、内容保留、格式完整性和无价值内容识别。结果如下MethodAvg10-score%≥8%≤5%NoiseNo-EditPreserveFormatProX-C9.173771.8885.502.591.7141.9741.8951.951UltraX9.604278.6697.840.381.8541.9881.9571.989成对比较中UltraX 在 22.90% 的样本上总分高于 ProX-C65.30% 持平仅 11.80% 低于 ProX-C平均差值为 0.431。最大的提升来自无价值内容识别和噪声移除。这组结果要和前面的 token 分布一起看。UltraX 在很多语料上保留了更多 token但质量评分更高。这说明它不是“少删所以保留更多”而是在保持内容的同时更准确地去除噪声。论文附录中的 case study 也强调了同一个问题ProX-C 在一些场景会把有价值的产品规格、叙事内容、事件信息或结构化字段一起删掉UltraX 则可以保留有效信息只删除购物按钮、导航指令、邮箱模板、SEO spam 等低价值部分。在结构破坏场景里add_line和replace_str的组合可以恢复标题、表单字段或新闻条目结构而 deletion-only 方法往往只能粗暴删掉。这就是预训练数据精炼最难的地方真正的目标不是清理得干净而是在清理噪声时不伤害训练信号。十一、补充图FineWeb 十项基准的训练动态论文附录还给出了 FineWeb 上十个 benchmark 随训练 token 增加的曲线。这张图的作用是帮助判断 UltraX 的收益是否只来自单一任务波动。从主文总结看UltraX 在 FineWeb 的 10 个任务上全部胜出从曲线趋势看它更像是在多个能力维度上提升了训练数据的有效性而不是针对某个 benchmark 的偶然优化。当然这里也要保持克制。论文实验用的是约 1B 参数 MiniCPM、20B token 预算。这个结论能否线性外推到更大模型、更长训练周期、更大语料规模还需要后续验证。十二、边界与可复现性这篇论文不能被过度解读UltraX 的方向有价值但它也有明确边界。第一实验规模仍然有限。论文没有覆盖更大参数模型、更长训练周期和更大 token 预算。1B 模型上的数据效率提升很重要但不等于在 10B、100B 乃至更大模型上幅度相同。第二RefineX 没有开源因此论文未能做直接实验比较。这会影响方法间横向结论的完整性。第三论文主要关注英文网页语料。中文、多语言和代码混合数据的噪声结构更复杂例如中英混排、异常换行、表格断裂、论坛模板、短视频文案、OCR 噪声、机翻污染等UltraX 是否能直接迁移仍需要实验。第四种子监督质量依赖专家模型和自动评审机制。如果专家模型本身偏好有问题或者 prompt optimization 对某类语料误判后续的小模型会放大这种监督偏差。第五LLM-based quality evaluation 本身也需要谨慎看待。裁判模型可以提供有用信号但不等价于人类标注也可能继承模型偏好。所以 Rocky 不建议把 UltraX 理解为“已经解决预训练数据质量问题”。更准确的说法是它提出了一条比规则过滤和端到端改写更工程化的中间路线并用相对系统的实验验证了这条路线在 1B/20B-token 设置下的有效性。十三、对大模型团队的实际启发这篇论文对大模型团队的启发不在于照抄 UltraX 的每个模块而在于它给出了一个数据工程范式第一数据精炼要从文档级过滤走向实例级编辑。很多有价值数据不应该被整体保留或整体删除而应该被局部修复。第二强模型不一定直接用于全量处理更适合用于构造高质量监督。让专家 LLM 做“示范生成”让小模型做“规模执行”会比全量端到端改写更有成本优势。第三可执行程序比自然语言改写更适合数据流水线。它天然支持审计、统计、回滚和错误分析。第四数据质量不是“删得越多越好”。真正要优化的是 token 的有效信息密度以及噪声移除和内容保留之间的平衡。第五数据精炼系统需要像模型训练系统一样严肃对待后处理、fallback 和执行校验。大规模语料里的小概率错误最后都会变成系统性噪声。十四、Rocky 的最终判断UltraX 不是一个炫技型工作它的技术路线相对朴素专家模型生成精炼文本算法映射成函数监督小模型预测函数调用执行器做确定性修改。但这类朴素系统往往更接近真实产业价值。因为预训练数据质量问题不是一个靠 prompt 就能解决的问题它需要一套成本、吞吐、可靠性、可审计性都成立的工程闭环。Rocky 认为UltraX 的长期价值主要体现在三个层面它把数据精炼从经验规则推进到可学习程序它把 LLM 的强语义能力转化为小模型可规模执行的监督它把“清洗数据”变成了可以统计、校验和回放的生产系统。如果未来大模型继续进入“数据质量红利”阶段那么类似 UltraX 的方法会越来越重要。模型架构和训练算法仍然是显性竞争点但底层数据工程会变成更隐性的护城河。工具不是护城河判断才是护城河。对大模型团队来说真正的竞争不会只是谁能抓更多网页而是谁能把同样的原始语料加工成更高信息密度、更低噪声、更可控、更适合模型学习的训练分布。UltraX 这篇论文讲的正是这个方向。术语与概念速查术语简要解释Pre-training data refinement对预训练语料进行清洗、过滤、修复和结构恢复以提高有效训练价值Function-calling refinement让模型输出结构化编辑函数而不是直接重写完整文本Program supervision用可执行程序作为监督信号训练模型学习如何修改文本Line Alignment Mapping将原文和精炼文在行级别对齐识别删除、插入和待进一步分析的修改Dynamic Context Replacement对行内修改动态扩展上下文生成可唯一定位的替换操作Edit-Weighted sampling提高编辑类样本比例的监督采样策略Tail refinement针对低质量子集做更积极的数据精炼Effective information density每个训练 token 携带的有效学习信号密度核心参考源arXiv 摘要页https://arxiv.org/abs/2607.08646arXiv PDFhttps://arxiv.org/pdf/2607.08646arXiv TeX Sourcehttps://arxiv.org/e-print/2607.08646推荐阅读Rocky一直在运营技术交流群WeThinkIn-技术交流群这个群的初心主要聚焦于技术话题的讨论与学习包括但不限于算法、开发、竞赛、科研以及工作求职等。群里有很多人工智能行业的大牛欢迎大家入群一起学习交流请添加小助手微信Jarvis8866拉你进群1. 深入浅出完整解析AI AgentAI智能体的核心基础知识2025年可以说是AI Agent全面落地应用的元年因此Rocky在持续撰写对AI Agent的全维度解析文章深入浅出完整解析AI AgentAI智能体的核心基础知识2. 深入浅出完整解析扩散模型DDPM、DDIM、Score-Based、SDE、LDM、Classifier/Classifier-Free Guidance、Rectified Flow核心基础知识Rocky对扩散模型的本质原理与和核心基础知识进行了全面系统的深入浅出分析讲解同时不断跟进补充扩散模型的最新技术发展希望能给大家带来帮助深入浅出完整解析扩散模型DDPM、DDIM、Score-Based、SDE、LDM、Classifier/Classifier-Free Guidance、Rectified Flow核心基础知识3. 入浅出完整解析FLUX.2、Seedream即梦、Z-image、GLM-Image核心基础知识Rocky对AIGC时代“中场时刻”之后的主流AIGC创作大模型的核心基础知识进行了全面系统的深入浅出分析讲解力求让大家通俗易懂理解AIGC时代的技术浪潮的本质价值入浅出完整解析FLUX.2、Seedream即梦、Z-image、GLM-Image核心基础知识4. 深入浅出完整解析FLUX.1 Kontext和FLUX.1 Krea核心基础知识Rocky对FLUX.1 Kontext和FLUX.1 Krea的核心基础知识作了全面系统的梳理与解析深入浅出完整解析FLUX.1 Kontext和FLUX.1 Krea核心基础知识5. 深入浅出完整解析DeepSeek系列核心基础知识Rocky对DeepSeek系列模型的核心基础知识作了全面系统的梳理与解析深入浅出完整解析DeepSeek系列核心基础知识6. 深入浅出完整解析Stable Diffusion 3SD 3和FLUX.1系列核心基础知识Rocky对Stable Diffusion 3和FLUX.1的核心基础知识作了全面系统的梳理与解析深入浅出完整解析Stable Diffusion 3SD 3和FLUX.1系列核心基础知识7. 深入浅出完整解析Stable Diffusion XLSDXL核心基础知识Rocky对Stable Diffusion XL的核心基础知识作了全面系统的梳理与解析深入浅出完整解析Stable Diffusion XLSDXL核心基础知识8. 深入浅出完整解析Stable DiffusionSD核心基础知识Rocky对Stable Diffusion 1.x-2.x系列模型的核心基础知识做了全面系统的梳理与解析深入浅出完整解析Stable DiffusionSD核心基础知识9. 深入浅出完整解析Stable Diffusion中U-Net的前世今生与核心知识Rocky对Stable Diffusion中最为关键的U-Net结构进行了深入浅出的全面解析包括其在传统深度学习中的价值和在AIGC中的价值深入浅出完整解析Stable Diffusion中U-Net的前世今生与核心知识10. 深入浅出完整解析LoRALow-Rank Adaptation模型核心基础知识对于AIGC时代中的“ResNet”——LoRA模型Rocky进行了深入浅出的全面讲解深入浅出完整解析LoRALow-Rank Adaptation模型核心基础知识11. 深入浅出完整解析ControlNet核心基础知识AIGC图像创作开源社区已经形成以Stable Difffusion/FLUX为核心ConrtolNet和LoRA作为首要AI辅助工具的变化万千的AIGC图像创作工作流。ControlNet正是让AI图像创作社区无比繁荣的关键一环它让AIGC图像创作过程更加的可控更有助于广泛地将AIGC算法解决方案应用到各行各业中深入浅出完整解析ControlNet核心基础知识12. 深入浅出完整解析Sora、Seedance、keling等AI视频大模型核心基础知识AI绘画和AI视频是两个互相促进、相互交融的领域2024年无疑是AI视频领域的爆发之年Rocky对AI视频领域核心的Sora、Seedance、Keling等大模型进行了全面系统的梳理与解析深入浅出完整解析Sora、Seedance、keling等AI视频大模型核心基础知识13. 深入浅出完整解析AIGC时代Transformer核心基础知识在AIGC时代中Transformer为AI行业带来了深刻的变革。Transformer架构正在一步一步重构所有的AI技术方向成为AI技术架构大一统与多模态整合的关键核心基座大有一统“AI江湖”之势。Rocky也对Transformer模型进行持续的深入浅出梳理与解析深入浅出完整解析AIGC时代Transformer核心基础知识14. 深入浅出完整解析ComfyUI、Diffusers、Stable Diffusion WebUI等主流AIGC创作框架核心基础知识AIGC创作框架正是AIGC算法工作流的运行载体目前主流的AIGC创作框架有ComfyUI、Diffusers、Stable Diffusion WebUI等。在传统深度学习时代PyTorch、TensorFlow以及Caffe是传统深度学习模型的基础运行框架到了AIGC时代Rocky相信ComfyUI就是AIGC时代的“PyTorch”、Stable Diffusion WebUI就是AIGC时代的“TensorFlow”、Diffusers就是AIGC时代的“Caffe”深入浅出完整解析ComfyUI、Diffusers、Stable Diffusion WebUI等主流AIGC创作框架核心基础知识15. 深入浅出完整解析ComfyUI、Diffusers、Stable Diffusion WebUI等主流AIGC创作框架核心基础知识在AIGC时代中如何快速转身入局AIGC产业如何成为AIGC/LLM/AI Agent算法/开发工程师如何在学校中系统性学习AIGC/LLM/AI Agent知识斩获心仪的AIGC/LLM/AI Agent算法/开发offerDon‘t worryRocky为大家总结整理了全面的AIGC/LLM/AI Agent算法/开发工程师成长秘籍为大家答疑解惑希望能给大家带来帮助手把手教你成为AIGC/LLM/AI Agent算法/开发工程师斩获AIGC/LLM/AI Agent算法/开发offer16. AIGC产业的深度思考与分析2023年3月21日微软创始人比尔·盖茨在其博客文章《The Age of AI has begun》中表示自从1980年首次看到图形用户界面graphical user interface以来以OpenAI为代表的科技公司发布的AIGC模型是他所见过的最具革命性的技术进步。Rocky也认为AIGC及其生态会成为AI行业重大变革的主导力量。AIGC会带来一个全新的红利期未来随着AIGC的全面落地和深度商用会深刻改变我们的工作、生活、学习以及交流方式各行各业都将被重新定义过程会非常有趣。那么在此基础上我们该如何更好的审视AIGC的未来我们该如何更好地拥抱AIGC引领的革新Rocky准备从技术、产品、商业模式、长期主义等维度持续分享一些个人的核心思考与观点希望能帮助各位读者对AIGC有一个全面的了解深入浅出全面解析AIGC时代核心价值与发展趋势2025年版17. AI算法工程师的独孤九剑秘籍为了方便大家实习、校招以及社招的面试准备同时帮助大家提升扩展技术基本面Rocky将符合大厂和AI独角兽价值的算法高频面试知识点撰写总结成《三年面试五年模拟》之独孤九剑秘籍:【三年面试五年模拟】AIGC时代的算法工程师的求职面试秘籍持续更新中18. 深入浅出完整解析AIGC时代中GANGenerative Adversarial Network系列模型核心基础知识GAN系列模型作为传统深度学习时代的最热门生成式Al模型在AIGC时代继续繁荣作为Stable Diffusion/FLUX系列大模型的“得力助手”广泛活跃于AlGC图像创作的产品与工作流中深入浅出完整解析AIGC时代中GANGenerative Adversarial Network系列模型核心基础知识
