苹果端侧AI重磅突破：SwiftLM融合TurboQuant技术，让Mac本地运行超百亿参数大模型
SwiftLM 是一款专为 Apple Silicon 打造的原生 Swift 推理服务器，彻底摒弃 Python 依赖，通过 Metal 实现底层性能最大化。该项目核心创新在于集成了 TurboQuant 混合 KV 缓存压缩技术，结合 ...
标签索引 / 第 3 页
端侧AI
这个标签下有 57 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
安卓版“数字外脑”：开源项目 ScreenMemo 让手机屏幕内容秒变可检索记忆
ScreenMemo 是一款本地运行的智能截屏备忘与检索工具。该应用能自动记录 Android 设备上的屏幕画面，通过 OCR 技术与本地 AI 助手将非结构化图像转化为可检索、可沉淀的信息流。其亮点在于完全本地化处理以保障隐私，支持全局搜...
本地语义识别成真：独立开发者推出离线智能提词器，拒绝云端上传
独立开发者推出一款名为“随声提词”的创新应用，旨在解决演讲者“人追机器”的痛点。该应用的核心亮点在于利用端侧 AI 技术，实现了纯本地离线的语义识别。不同于传统的匀速滚动或依赖云端的语音检测，该 App 能精准跟随用户的语速、停顿甚至即兴发...
Ollama 宣布支持 Apple MLX 框架，Mac 设备本地 AI 推理性能实现飞跃
大语言模型运行工具 Ollama 近日发布重要更新，宣布正式支持 Apple 的机器学习框架 MLX。此次更新针对 Apple Silicon 芯片进行了深度底层优化，显著解锁了更快的运行速度，旨在加速 macOS 上的高负载 AI 任务。...
AI Agent 席卷下，前端与移动端将何去何从？端侧AI能否成为新机遇？
随着AI技术的飞速发展，AI Agent相关岗位正逐渐成为主流，这对传统前端和移动端开发者构成了严峻挑战。目前行业内普遍出现裁员或要求开发者转型全栈的趋势，引发了对“大前端”未来的广泛焦虑。然而，危机中也孕育着转机，部分观点认为端侧AI（O...
华为Mate70 Pro成功本地部署千问2.5，开启SIMD优化后推理速度达50 token/s
近日，有技术极客在华为Mate70 Pro（搭载鸿蒙6.0系统）上成功实现了千问2.5（0.5b参数）大模型的完全本地化部署。测试初期使用llama.cpp后端，因未调用NPU，仅靠CPU硬算导致速度较慢。然而，在开启SIMD指令并行优化后...
隐私与画质兼得：FaceXSwap iOS 推出本地高清换脸引擎
FaceXSwap iOS 迎来 1.0.7 版本更新，正式上线“本地高清换脸模型”。该版本突破性地将高清换脸算力部署在用户手机端，无需上传照片或视频至云端，即可在本地实现高清画质输出。这一升级不仅显著提升了换脸后的清晰度，更凭借完全离线的...
玩转端侧AI：开发者开源安卓一键部署脚本，Redmi Note 8 Pro实测成功
一款名为 AndriodClaw_OneClick 的开源自动化脚本近日亮相，旨在简化 AI 模型在安卓设备上的部署流程。该项目目前已在 Redmi Note 8 Pro 上测试通过，表明无需昂贵硬件即可在移动端实现本地 AI 推理。作为纯...
体积仅 8MB！这款基于 Apple Vision 的 Mac 抠图工具实现完全本地化
近日，一款基于 Tauri 和 Vue3 开发的 Mac 抠图工具在技术社区受到关注。该软件的核心竞争力在于直接调用了 macOS 系统自带的 Apple Vision 框架，从而实现完全本地化的 AI 图像处理。得益于对系统原生能力的深度...
探索端侧 AI 新形态：开发者利用 Cursor 实现纯 iOS 端 Agent 本地运行
一位开发者利用 AI 编程工具 Cursor，在工作间隙成功打造了一款纯 iOS 手机端运行的本地 AI Agent（小龙虾）。该项目基于 MicroPython 运行时，不仅实现了简易记忆机制和 Agent/Sub-Agent 交互模式，...