IT爱学堂-黑马程序员Python+AI大模型零基础到项目实战，涵盖Python、Ollama等

已完成分析，共参考 11 篇资料

python+AI 大模型课程（上）：先搞清楚微调与向量库各自解决什么问题

学习大模型应用时，最容易混淆的就是微调和向量库。它们都能让模型“更专业”，但解决的问题完全不同。微调更像给模型做专项训练，让它在某个领域里形成稳定的能力；向量库更像给模型外挂一个知识库，让它在回答问题时能临时查阅最新资料。

微调适合处理风格、格式、术语、流程类问题。比如让模型学会企业内部公文写法、客服话术、法律文本结构或行业术语表达。它的优势是输出更稳定、延迟更低、风格更统一；劣势是知识更新成本高，一旦业务规则变化，就需要重新准备数据并再次训练。

向量库适合处理知识更新频繁、来源可追溯、数据量较大的场景。比如企业制度问答、产品文档检索、合同条款查询、技术手册问答。它的优势是不改变模型参数，知识可以随时增删改；劣势是检索质量高度依赖文档切分、向量模型和排序策略，若检索到不相关片段，模型仍可能生成看似合理但错误的答案。

更实用的判断方式是：如果问题主要在于“怎么说”，优先考虑微调；如果问题主要在于“说什么”，优先考虑向量库。生产系统中，两者也常组合使用：微调负责固定风格和专业表达，向量库负责提供最新、可溯源的事实依据。

python+AI 大模型课程（中）：微调不是重训，而是轻量适配

微调并不是从零训练一个大模型，而是在已有预训练模型基础上继续优化。预训练让模型掌握通用语言能力，微调则让它在特定任务上表现更稳定。

完整微调流程通常包括：需求分析、数据准备、方案设计、训练、评估和部署。需求分析阶段要明确微调目标，是让模型更懂行业术语，还是更贴合某种输出格式；数据准备阶段要收集高质量示例，并进行去重、清洗、标注和格式统一；方案设计阶段要选择合适的微调方法；训练阶段需要控制学习率、批次大小和训练轮数，避免过拟合；评估阶段不能只看训练损失，还要用独立测试集和人工评审判断真实效果。

当前更主流的是参数高效微调，例如 LoRA 和 QLoRA。它们不更新模型全部参数，只训练少量新增模块，因此显存占用更低、训练速度更快、部署更灵活。QLoRA 进一步结合量化技术，可以在消费级显卡上完成中等规模模型的微调。

数据质量是微调成败的关键。微调并不一定需要海量数据，但必须干净、一致、贴近真实场景。如果数据中存在矛盾、噪声或错误标注，模型会把这些错误也学进去。部署时还需要考虑权重管理、推理加速、接口封装和持续迭代，避免微调完成后无法稳定服务。

本作品采用《CC 协议》，转载必须注明作者和本文链接