上下文即软件，权重即硬件：为何单纯扩大上下文无法取代模型微调
文章深入探讨了AI领域中“长上下文”与“模型微调”的争论。作者提出，通过 KV Cache 实现的上下文学习本质上是在固定的“硬件”（权重）上运行临时的“软件”，虽然灵活但受限于预训练分布的“元学习天花板”。相比之下，权重更新（微调）相当于...
标签索引
模型微调
这个标签下有 8 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
网友实测：利用Claude Opus数据集“注入”MiniMax M2.7，模型智力表现显著提升
Linux.do社区的一位用户分享了其通过“知识注入”提升本地模型性能的实验成果。该用户利用来自Hugging Face的Claude Opus数据集制作了Skill文件，并将其部署至MiniMax M2.7的指定目录中。据其反馈，经过简单...
知乎AI全栈工程师培养计划：涵盖Prompt、RAG、微调及多模态全链路技术
该资源汇集了知乎AI大模型全栈工程师培养计划（第六期）的完整课程体系，为当前AI开发者提供了一套系统化的学习图谱。课程内容极具深度，不仅涵盖软件开发基础、Prompt工程、神经网络与Transformer底层原理，还深入解析了RAG、Emb...
大模型微调实战资源发布：涵盖DeepSpeed、LoRA及RLHF全流程技术解析
本资源提供了一套系统的大模型微调实战课程，内容涵盖大模型基础、指令微调、模型对齐及垂直领域应用五个阶段。课程深入解析了LoRA、QLoRA参数微调、DeepSpeed与Megatron-LM训练框架、Flash Attention加速技术以...
复刻心中那个TA：基于聊天记录的AI模型微调与部署全攻略
本文详细介绍了一套利用AI技术复刻特定人物言语风格的完整技术方案。内容涵盖从微信等渠道导出聊天记录、进行数据清洗与格式转化，到利用Qwen等大模型进行LoRA微调训练的全过程。文章深入浅出地解析了微调参数（如Epochs、Learning ...
大模型实战指南：从Transformer原理到DeepSeek部署与微调全套教程
这是一份极具价值的全链路大模型技术实战资源，涵盖了从底层原理到前沿应用的全过程。教程首先深入浅出地讲解了词向量、Transformer架构及注意力机制等核心理论；随后通过BERT、ERNIE等案例巩固NLP基础。尤为珍贵的是，课程紧跟技术潮...
聚客大模型第六期完整版：2025年AI全栈开发实战课程合集
该资源汇总了“聚客大模型第六期”全套课程内容，涵盖2025年AI大模型开发的核心技术栈。课程从深度学习基础出发，深入讲解RAG检索增强、Agent智能体开发、LangGraph工作流编排及MCP协议应用。同时包含大模型微调、分布式推理部署及...
Linux.do申请设立AI训练与硬件加速板块，聚焦软硬协同与学术交流
Linux.do 社区申请设立“AI训练与推理以及硬件加速”专属板块，致力于构建云端与端侧AI的知识分享乌托邦。该板块将聚焦模型微调、AI软硬协同设计加速、前沿论文解读及非商业应用创意探讨。此外，还将提供院校导师风评及升学建议，帮助坛友选择...