极致轻量与商用许可：通义千问Qwen3.5小模型全阵容（0.8B-9B）开源
通义千问团队正式开源Qwen3.5系列的小尺寸模型，涵盖0.8B、2B、4B及9B四个规格。这些模型基于Qwen3.5统一基座打造，采用Apache 2.0开源协议，允许商业使用。新模型针对消费级显卡进行了深度优化，支持LoRA微调，大幅降...
标签索引 / 第 5 页
端侧AI
这个标签下有 57 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
摆脱外部向量库：如何在SQLite中利用汉明距离实现高效混合搜索
本文介绍了一种在SQLite中实现混合语义搜索的创新方案。作者通过编写C语言扩展，引入汉明距离函数来计算二进制嵌入向量的相似度，成功将FTS5全文搜索（BM25）与语义检索相结合。在Apple M4芯片上的实测显示，利用现代CPU的popc...
京东入局端侧AI大模型：发布JoyAI-LLM-Flash，性能对标Qwen与智谱GLM
京东正式发布JoyAI-LLM-Flash中型指令模型，标志着其正式踏入大模型市场。该模型采用MoE架构，拥有480亿总参数，但每次推理仅激活30亿参数。模型使用Muon优化器，基于20万亿Token进行了预训练，并经过SFT、DPO及强化...
手机上的AI瑞士军刀：开源应用Off Grid实现全离线大模型与绘图生成
Off Grid 是一款开源的移动端全能AI应用，旨在将手机转变为完全离线的AI工作站。区别于普通的聊天机器人，它支持在手机本地运行文本生成（如Llama 3.2、Gemma 3）、图像生成（Stable Diffusion，Android...
无需云端：一款纯浏览器端运行的英式口音AI生成器
一位开发者推出了一款免费的英式口音AI语音生成工具。用户只需输入文本并从8种逼真音色中进行选择，即可生成语音。该工具的核心亮点在于所有处理逻辑完全在用户浏览器端执行，无需数据上传，既保护了隐私又确保了即时响应。目前单次输入限制为500字符，...
纯本地运行！开发者“vibe”出 macOS 实时转录翻译神器 TransFlow
开发者因不满 Zoom 等软件的转录体验，利用 AI 辅助编写了一款名为 TransFlow 的 macOS 应用。该工具核心优势在于完全基于 Apple 原生 Speech 和 Translation 框架，实现端侧实时语音转录与翻译，无...
开源语音工具Handy发布：集成Qwen模型，离线识别性能超越Whisper
开发者发布了一款名为Handy的开源语音输入法工具，该工具完全免费且支持离线运行。作者将Qwen系列的ASR（自动语音识别）模型集成其中，旨在解决传统语音输入对网络的依赖问题。据测试反馈，该工具在转换速度和识别准确率上表现优异，甚至在特定场...
对标 Gemini Flash！MiniCPM-o 4.5 发布：手机端实现全双工多模态实时交互
面壁智能发布了 MiniCPM-o 4.5，这是一款总参数量仅 9B 的端侧多模态大模型。其性能直逼 Gemini 2.5 Flash，核心亮点在于支持全双工多模态实时流式交互，打破了输入与输出的阻塞，实现了“边看、边听、边说”的流畅体验，...
挑战 SOTA 的轻量级模型：GLM-OCR 发布，0.9B 参数实现端侧高性能文档解析
智谱AI旗下的轻量级OCR模型GLM-OCR正式发布。该模型参数量仅为0.9B，延续了当前AI模型向端侧和轻量化发展的趋势。官方数据显示，尽管体积小，但其在公式识别、表格还原和信息提取方面均达到SOTA（当前最佳）水平。在性能测试中，GLM...
硬件故障？iPhone 16 Pro Max运行本地大模型输出完全错误
一名开发者尝试在iPhone 16 Pro Max上运行基于MLX框架的本地大模型，却遭遇持续输出乱码的怪象。在耗费三天排查软件与代码逻辑后，他发现同一模型在旧款iPhone 15 Pro和MacBook上运行完美。通过深入对比底层张量数据...