硬核挑战:如何在仅32MB内存的PS2主机上运行大语言模型?
一位开发者成功克服了PlayStation 2仅32MB内存的硬件限制,在真机上运行了自研的10M参数语言模型。其核心创新在于“流式加载”:在推理过程中从CD-ROM逐矩阵读取权重,仅在内存中保留激活值和KV缓存,从而突破物理内存瓶颈。为此...
标签索引 / 第 5 页
这个标签下有 100 篇文章。按时间回看相关判断与实践记录。
标签精选
一位开发者成功克服了PlayStation 2仅32MB内存的硬件限制,在真机上运行了自研的10M参数语言模型。其核心创新在于“流式加载”:在推理过程中从CD-ROM逐矩阵读取权重,仅在内存中保留激活值和KV缓存,从而突破物理内存瓶颈。为此...
一位开发者利用 Anthropic 的 Claude AI 成功重构了经典博客系统 Typecho。该项目摒弃了原有的 PHP 技术栈,转而采用 Astro 框架,并深度集成 Cloudflare 的 D1 数据库与 R2 对象存储,使其能...
一位开发者推出了名为 AnimeGen 的 AI 照片转动漫风格工具。该工具支持宫崎骏、迪士尼、像素风等多种风格,其技术架构亮点在于全套采用 Cloudflare 全家桶(Pages + Worker + R2 + D1)配合 Fal.ai...
开源项目“OpenOmniBot”(社区版小万)近日发布了 v0.0.9 预发布版本,显著降低了在 Android 设备上部署 AI Agent 的技术门槛。该项目结合了视觉语言模型(VLM)与命令行界面(CLI),赋予了手机直接操作终端并...
Flash-MoE 项目展示了极致的软件优化能力,通过纯 C 语言和 Metal 编写的推理引擎,成功在仅配备 48GB 内存的 MacBook Pro (M3 Max) 上流畅运行 3970 亿参数的 Qwen3.5 混合专家模型(MoE...
Kitten TTS v0.8 正式发布,推出了三款超轻量级文本转语音(TTS)模型,参数量在 15M 至 80M 之间。这些模型基于 ONNX 构建,专为边缘计算优化,最小版本体积仅 25MB,无需 GPU 即可在 CPU 上高效生成高质...
随着大模型技术的爆发,传统嵌入式开发者正面临前所未有的职业焦虑与技术挑战。本文源自一位研二学生的困惑,探讨了在 AI 强势介入下,嵌入式开发是否依然具备发展前景。讨论集中分析了 AI 对底层开发的实际冲击程度,以及当前企业如何利用 AI 进...
一位开发者分享了其创新项目,成功将 SSH 客户端完全移植到浏览器端,无需安装任何插件或本地软件。该项目核心技术是将 Rust 的 SSH 协议实现编译为 WebAssembly,并部署在 Cloudflare 的 Durable Obje...
在讨论利用Cloudflare处理FFmpeg视频任务时,有开发者提出了基于Fly.io的高效替代方案。该方案利用Fly.io支持“休眠”与“按需启动”的轻量级虚拟机特性,通过配置自动唤醒并在任务结束后立即退出,实现资源的极致利用。评论者特...
一位技术创客展示了如何利用闲置的树莓派 3B 安装 Nullclaw,并成功集成微软语音助手,实现了低成本的本地智能自动化(文中戏称为“养虾”)。实验表明,除了树莓派,ESP32 开发板甚至闲置的安卓手机结合 AutoJS,均可成为构建本地...