揭秘ChatGPT“思考预算”机制：GPT-5.5 Juice值参数曝光，决定AI智商
近期有技术社区深入挖掘了ChatGPT内部的一个关键参数——“Juice值”，它实际上充当了模型的“思考预算”。该参数就像草稿纸的大小，决定了模型在收到问题后进行推理和规划的长度。如果预算太低，模型会在未完全想透时就急于输出，导致表现“降智...
标签索引 / 第 2 页
AI推理
这个标签下有 51 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
DeepSeek API 速度实测惊艳：响应超越 GPT 与 Claude，效率惊人
据开发者社区最新反馈，DeepSeek 近期对 API 端口进行了重要更新，其性能表现令人惊喜。时隔一年重返测试的用户发现，DeepSeek 的响应速度较以往有质的飞跃，在 Agent 等应用场景下，实测速度甚至超越了 GPT-4o、Cla...
用户吐槽 Kimi 新模型“过度思考”：推理过程跑偏，生成质量反不如前
近日，有技术社区用户反馈，Kimi 最新模型（文中提及2.6版本）在本地部署时出现了严重的“过度思考”问题。用户指出，虽然模型展示了详细的思考过程，但在实际执行任务时，其推理链往往逻辑发散，导致最终生成的结果质量低下甚至出错。相比之下，用户...
超越Shannon极限：新研究实现KV Cache压缩百万倍，彻底突破LLM推理瓶颈
针对大模型（LLM）推理中KV Cache占用内存过大的行业痛点，最新研究提出了一种“顺序KV压缩”技术。不同于TurboQuant等方法逼近的单向量Shannon极限，该方法利用KV Cache本质上是模型训练语言的“样本”这一特性，创新...
Kimi发布供应商验证工具，实时监测AI推理准确度
Moonshot AI（Kimi）推出了一款名为“Vendor Verifier”的新工具，旨在解决多供应商环境下的模型一致性问题。在AI推理基础设施日益复杂的背景下，底层硬件或模型的差异往往会导致输出不一致。该工具通过自动化的对比测试，向...
均轮到底：LLM攻克复杂数学难题，有力反驳AI推理“撞墙论”
本文源于Hacker News对《Epicycles All the Way Down》一文的讨论。评论区的核心焦点在于近期LLM在没有任何人工辅助的情况下，成功解决了困扰专家多年的埃尔德什问题1196（Erdos problem 1196...
Ollama Pro实测：国产模型GLM深夜仍遇“龟速”，算力调度与计费遭质疑
有科技爱好者反馈，在订阅 Ollama Pro 服务并尝试运行国产开源大模型（如 GLM-4 系列）时，遭遇了严重的性能瓶颈。尽管用户试图利用时差，“错峰”在夜间使用以避开美国的高峰期，但实际体验中推理速率依然极低，生成少量 Token 往...
普林斯顿博士爆料：DeepSeek V4或下周发布，三大架构创新聚焦推理降本
普林斯顿 AI Lab Fellow、前字节跳动研究员 Yifan Zhang 近日透露，中国 AI 独角兽 DeepSeek 的下一代旗舰模型 V4 可能于下周发布。尽管 DeepSeek 官方尚未回应，但 Zhang 凭借其清华姚班及普...
OpenAI算力告急？用户实测ChatGPT Pro限额遭大幅削减
据社区用户反馈，在使用ChatGPT Pro及Team账号进行高强度模型测试时，5小时的令牌配额在仅处理约4710万（47.1M）个Token后即告耗尽，这一数值远低于此前预期的2亿Token标准。尽管官方尚未发布调整公告，但该现象引发了关...
Darkbloom：利用闲置Mac算力，构建去中心化AI推理网络
针对当前AI算力市场层层加价、成本高昂的问题，Eigen Labs Research推出了名为Darkbloom的去中心化推理网络。该项目旨在挖掘全球超过1亿台Apple Silicon设备的闲置算力潜力。通过将这些个人Mac电脑直接连接成...