硬核实战:从双路4090到8GB老Mac,探索LLM本地部署的性能极限
这篇文章详细记录了作者在LLM部署方面的硬核折腾经历。从为了运行120B大模型而专门搭建双路4090平台,到转向vLLM框架实现190 TPS的高吞吐,作者不仅对比了Ollama与vLLM的性能差异,还实测了DeepSeek的1M长上下文能力及小模型在8GB内存Mac上的惊人表现。文章核心指出,AI软件优化潜力巨大,即便在有限硬件下也...
阅读全文实时动态 / 第 889 页
追踪 AI、开源与工程领域的重要动态。
这篇文章详细记录了作者在LLM部署方面的硬核折腾经历。从为了运行120B大模型而专门搭建双路4090平台,到转向vLLM框架实现190 TPS的高吞吐,作者不仅对比了Ollama与vLLM的性能差异,还实测了DeepSeek的1M长上下文能力及小模型在8GB内存Mac上的惊人表现。文章核心指出,AI软件优化潜力巨大,即便在有限硬件下也...
阅读全文针对传统社区审核工具仅支持关键词匹配的局限性,开发者推出了一款基于 LLM 的 Flarum 内容审核插件。该插件利用大语言模型的多模态能力,不仅能精准识别文本违禁词,还能智能审核用户上传的图片、头像及签名,显著降低 UGC 社区的法律风险。它支持上下文分析,可对违规内容执行隐藏、重命名或封禁用户等操作,并提供了“先审后放”模式以应对...
阅读全文OpenAI Codex 近期更新至 v0.105 版本后,引入了更为严格的 MCP 工具审批机制,导致 Playwright 等第三方工具在执行操作时频繁请求权限。由于缺乏“全局永久同意”的配置选项,且开启 Full Access 模式在 Windows 环境下存在极高删库风险,该更新严重破坏了基于 MCP 的全自动 E2E 测试工...
阅读全文随着大模型应用普及,开发者对于API统一管理工具的需求日益迫切。近期有技术贴指出,热门工具 LiteLLM 在高负载下存在Web UI卡顿、配置重启繁琐等性能问题。用户反馈,虽然试用过 New-API 等替代品,但在处理不同来源中转站的异构模型命名映射时存在路由缺陷,而 Bifrost 等企业方案则限制了核心功能。这反映了当前AI中间...
阅读全文随着大语言模型(LLM)的应用落地,如何为 AI Agent 选择最适合的应用架构成为开发者面临的关键决策。本文以“资源搜索与下载”场景为例,剖析了三种主流架构模式的演进逻辑:最基础的“用户-大模型-工具”直连模式,适合简单指令的快速响应;经典的 ReAct(推理+行动)模式,赋予模型思考与工具调用的闭环能力;以及面向高度复杂任务的“...
阅读全文Swarmesh 是一个极具创意的开源项目,它打破常规,不依赖 Python 等重型框架,仅凭纯 Bash 脚本和 tmux 终端复用器构建了一套多智能体协作系统。该框架能在一个终端会话中编排 Claude Code、Gemini CLI 等不同的 AI 工具,模拟人类团队(如前端、后端、审查员)在独立窗格中进行自主协作。其核心机制利...
阅读全文CLIProxyAPI 项目近期对其 WebUI 管理面板进行了重大更新,集成了数据监控、使用统计及日志可视化等核心功能。此次开发采用了 AI 辅助编码模式,快速响应了社区对于统一管理界面的需求。新增的 WebDAV 备份功能实现了数据的半自动持久化,用户可配置 GitHub 仓库或下载本地 HTML 文件直接启动。这一更新显著优化了...
阅读全文开发者近日发布了开源 SSH 终端软件 Netcatty,旨在成为收费软件 Termius 的强力平替。作者因不满 Termius 每月 15 美元的高昂费用,耗时三周打造了该工具。Netcatty 的核心优势在于打破了云同步的壁垒,支持 Google Drive、Github Gist、OneDrive、S3 等多种方式的实时数据同...
阅读全文一位开发者正在推进一项 CPython 底层改进(PR #145343),旨在重构 asyncio 事件循环机制,使其能够像 Electron 那样与任意 UI 框架完美集成。该提议试图解决 Python 在图形界面开发中长期以来异步循环与 UI 线程冲突的痛点。目前项目发起人因面临核心开发者的深度技术质询,正公开寻求 CPython...
阅读全文针对 AI 聊天与本地 IDE 开发环境割裂的痛点,开发者发布了一款名为 'cursor-agent' 的 OpenClaw 插件。该插件充当了“遥控器”的角色,允许用户通过手机或任何终端上的 OpenClaw,直接调用本机运行的 Cursor Agent CLI。这一方案解决了传统 AI 聊天工具无法复用项目特定规则(如 .curs...
阅读全文OpenPencil v0.1.0 正式发布,该项目展示了 AI Agent 在设计领域的最新突破。不同于仅能生成代码或建议的传统工具,OpenPencil 能够让 Agent 直接操控 Figma,对设计文件进行实时编辑与修改。这一技术跨越了软件 API 的限制,实现了对复杂设计工具的深度集成。这标志着 AI 正从“生成式助手”向具...
阅读全文本文基于对AI行业的深入观察,提出了一个反直觉的论断:随着推理能力的普及,单纯的“智能”正迅速变成廉价的基础设施。作者认为,未来的价值高地并非底层的算力巨头或基础大模型,而是位于其上的“上下文层”(Context Layer)。这一层由连接现实世界的数据源、安全沙盒及特定技能的智能体组成,将取代传统SaaS成为新的商业护城河。软件的交...
阅读全文一位名为Kuber Mehta的19岁AI开发者展示了其极具极客风格的终端版个人作品集。作为Perplexity Business Fellow及OpenAI亚太开发者讨论的参与者,他拥有20多次黑客马拉松的获奖经历。其代表项目包括用于协作事实核查的多代理AI系统PolyThink、专为AI时代设计的图像格式MEOW,以及曾在网络上引...
阅读全文随着DeepSeek等模型成功解锁长上下文能力,大模型的技术瓶颈正在转移。业界认为,下一阶段的竞争核心将从“上下文长度”转向“推理生成速度”,目标是实现每秒约1000个Token的极速输出。为了实现这一“Token喷射”体验,专用硬件(如XPU、FPGA、ASIC及Groq等)的性能竞赛将成为新的主战场。
阅读全文一位技术爱好者在Linux.do社区分享了对开源项目OpenClaw的深度源码拆解笔记。出于构建类似AI中转工具的需求,他在官方文档缺失的情况下,花费数月从零啃源码,成功将OpenClow接入Anthropic、OpenAI及Gemini等主流大模型,并实现了与WhatsApp、Telegram等通讯软件的连接。更有趣的是,在进行NA...
阅读全文近日有开发者报告称,在通过 CPA 反代测试 OpenAI 最新的 GPT-5.3-Codex 模型时,遭遇了严重的工具调用(Function Calling)失败问题。日志分析显示,尽管工具定义传输正确,该模型仍持续输出错误的工具名称,导致 Agent 流程中断。对比测试表明,GLM-5 等其他模型运行正常,且该 Codex 模型在...
阅读全文科技社区Linux.do出现了一个热门话题,用户们以极其夸张和热情的语调讨论谷歌的Gemini 3.1 Pro模型。虽然正文内容简短且带有幽默色彩('I really like u'),但这种罕见的集体刷屏式好评,暗示了该模型在实际能力或用户体验上可能有重大突破。这表明谷歌在AI大模型领域的最新迭代成功吸引了硬核技术群体的关注。
阅读全文一款基于油猴脚本的工具近日在开发者社区引起关注。该工具针对DeepWiki——一款由AI驱动、旨在帮助开发者快速理解陌生代码库的生成式维基平台。DeepWiki原本仅支持Chrome扩展,而新脚本使其能在Firefox和Chrome的油猴环境中运行,并优化了导出逻辑、文件命名及批量处理功能。通过将代码库生成为可对话的Markdown文...
阅读全文这篇文章提出了一个迷人的新概念:“室内植物编程”。不同于旨在大规模分发和盈利的“生产级代码”,这种编程方式专注于编写只供开发者自己使用的“微小软件”。作者通过生动的类比指出,个人项目就像家养的植物:它们只需要在你的特定环境中茁壮成长,不需要具备通用性、完美的鲁棒性或商业价值。文章鼓励开发者摆脱对代码整洁度和复用性的过度焦虑,享受“只要...
阅读全文随着用户习惯转向 ChatGPT、Claude 等 AI 搜索引擎,传统 Google SEO 的效果正在减弱。开发者推出了新工具 Skillaeo,旨在解决“Google 排名高但 AI 引擎抓不到”的行业痛点。该工具专注于 AEO(AI 引擎优化),能快速审计网站对 AI 的可见度评分,检测结构化数据、llms.txt 等机器可读...
阅读全文