大模型基石技术解密：为何LLaMA与DeepSeek都选择旋转位置编码？
本文深入解读了由苏剑林提出的旋转位置编码技术，该方法目前已被LLaMA、Qwen、DeepSeek等全球主流大模型广泛采用。文章详细回顾了RoPE诞生的技术背景：即如何在保持线性注意力机制兼容性的同时，引入相对位置信息以提升模型性能。作者通...
标签索引 / 第 64 页
大模型
这个标签下有 2417 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
无需代码辅助：DeepSeek新模型攻克复杂数学逻辑难题
近日，DeepSeek新模型的数学推理能力在技术社区引发关注。针对一道由2、0、20、202、2020组成的复杂排列组合题目，DeepSeek在没有调用代码执行器辅助的情况下，仅凭逻辑推理直接输出了正确答案。相比早期版本或依赖工具的其他模型...
AI安全新隐忧：利用Unicode隐写术实现LLM间的秘密通信演示
该文章展示了一个利用Unicode进行隐写的技术演示，包含零宽字符编码和同形异义字（如西里尔字母与拉丁字母）替换两种方法。虽然现有技术尚可被检测，但其核心假设引人深思：大语言模型（LLM）是否能自主发明一种人类和自动化工具都无法察觉的编码方...
600M参数小模型逆袭：KeyATTEN在关键词提取上碾压Gemini，速度快500倍
开发者推出了基于Qwen3-embedding 0.6B参数的开源关键词提取模型KeyATTEN。通过引入QKLORA新思路，该模型在中文新闻数据集的抽取式关键词提取任务中表现优异：相比Gemini 3 flash-lite，其F1@10性...
DeepSeek“专家模式”代码能力实测引热议：一句话指令生成完整前端界面，体验优于竞品
近日，科技社区Linux.do上有用户分享了DeepSeek新版本模型（被称为“专家模式”或V4）的实战体验。该用户仅输入“给我写一个炫酷的个人主页博客界面”这一简单指令，DeepSeek便迅速输出了完整且视觉效果出色的前端代码。该开发者反...
探秘 AI 内部机制：大语言模型究竟如何产生“情绪”？
本文深入探讨了大型语言模型（LLM）内部处理“情绪”的机制。研究者通过分析 Transformer 架构的电路图，发现模型并非仅仅是简单地模仿人类的情绪语言，而是真的在内部形成了特定的“情绪概念”神经元。这些情绪特征在模型处理对话、角色扮演...
数学建模全流程AI化：如何利用多智能体分工实现降维打击？
随着AI技术的深入应用，数学建模领域正迎来全流程自动化变革。本文基于开源项目MathModelAgents，探讨了如何构建包含主导者、模型手、软件手和论文手的多智能体协作系统。文章分析了不同大模型（如GPT系列与Gemini）在上下文记忆、...
拒绝“翻译腔”：实测Claude、Gemini谁的中文更懂“人话”
本文针对AI生成内容中普遍存在的“欧式中文”（翻译腔）问题，对Grok 4.2、Gemini 3 Pro及Claude Opus三款顶尖大模型进行了横向评测。测试重点考察模型对长定语、倒装句等典型西化中文的识别与修改能力。结果显示，Clau...
家用AI机器人的复兴：技术落地与潜在的安全隐忧
Hacker News上关于“在家组装AI机器人”的讨论引发了广泛关注。一方面，随着大模型（LLM）能力的提升，利用本地算力复活旧硬件或构建类似Mycroft的开源助手成为可能，技术门槛正在降低。另一方面，社区对AI进入家庭表达了深切的伦理...
读完 Karpathy 的 LLM Wiki 之后，我用 Obsidian + Claude Code 搭了一个
那篇文章戳到了什么 前几天 Andrej Karpathy 在 GitHub 上发了一篇叫 LLM Wiki 的短文。我读完之后坐在椅子上想了大概十分钟。 不是因为他讲了什么新技术，而是因为他把一个我一直在做但从来没想清楚的事情，说得太透了...