标签索引

AI优化

这个标签下有 19 篇文章。按时间回看相关判断与实践记录。

标签精选

无需神经网络训练：多项式自编码器在向量压缩任务上显著超越PCA

针对Transformer嵌入（Embedding）的内存成本问题，文章提出了一种结合PCA与二次多项式解码器的压缩方法。传统的PCA是线性投影，无法捕捉神经网络嵌入中的非线性结构，导致检索质量下降。新方法通过多项式升维和岭回归构建了一个闭...

2026-05-081 分钟阅读61 阅读

有开发者在实测中发现，使用Trae调用本地Qwen 3.5-397B或DeepSeek模型时，思考过程异常简短高效，与直接调用时的长篇思考截然不同。通过拦截Trae的API请求分析发现，这种差异并非源于模型端的截断或封装，而是归功于Trae...

2026-04-161 分钟阅读65 阅读

AI基础设施公司RampLabs发布了名为「Latent Briefing」的研究成果，旨在解决多智能体系统中上下文传输导致的Token膨胀问题。该方法通过直接压缩大模型的KV缓存，利用注意力机制在表示层识别并丢弃冗余信息，而非依赖传统的摘...

2026-04-111 分钟阅读140 阅读

GitHub上一个名为“caveman”的项目提供了一种独特的Claude优化方案。通过让AI模型模仿原始人的语言风格——去除所有礼貌用语、冠词和修饰性词汇，仅保留核心技术术语和逻辑，该插件实现了高达75%的Token消耗降低。实测显示，这...

2026-04-051 分钟阅读119 阅读

GitHub上一个名为“claude-token-efficient”的项目近日引发开发者热议。该项目通过提供一个单一的`CLAUDE.md`配置文件，无需修改任何代码即可大幅优化Claude的输出行为。据测试，该配置能将Claude的输出...

2026-03-311 分钟阅读362 阅读

微软正式发布了专为1位大语言模型设计的推理框架`bitnet.cpp`。该框架通过优化的计算内核，支持在CPU和GPU上进行无损且高效的推理。数据显示，其在x86和ARM CPU上实现了最高6.17倍的速度提升，同时能耗降低幅度高达82%。...

2026-03-111 分钟阅读80 阅读

本文介绍了名为Tauformer的新型拓扑Transformer架构，它通过图拉普拉斯导出的标量替代传统的点积注意力，将域结构直接注入模型。这种设计使KV缓存只需存储值和标量流，而非完整的键张量，实现了约50%的逐层缓存缩减。在H100上的...

2026-01-181 分钟阅读174 阅读

高性能GPU布谷鸟过滤器是一个开源项目，利用GPU并行计算能力优化数据结构性能。布谷鸟过滤器作为高效的数据检索工具，通过GPU加速显著提升处理速度，适用于AI、大数据处理和自动驾驶等领域。该项目在GitHub上提供完整代码，开发者可快速集成...

2026-01-071 分钟阅读231 阅读

该研究由Jonathan Frankle和Michael Carbin提出’彩票假说’，揭示了一个重要发现：通过标准剪枝技术可以从随机初始化的密集神经网络中提取出稀疏子网络（’中奖彩票’）。这...

2026-01-061 分钟阅读222 阅读

本文分享了在系统提示中加入一行特定提示词的方法，针对 Google Gemini AI 模型进行优化。该方法参考了 ChatGPT 官方系统提示，但进行了定制修改，旨在减少模型在 99% 情况下主动提及不必要信息的习惯。作者在 Gemini...

2026-01-061 分钟阅读237 阅读