硬核实战:从双路4090到8GB老Mac,探索LLM本地部署的性能极限
这篇文章详细记录了作者在LLM部署方面的硬核折腾经历。从为了运行120B大模型而专门搭建双路4090平台,到转向vLLM框架实现190 TPS的高吞吐,作者不仅对比了Ollama与vLLM的性能差异,还实测了DeepSeek的1M长上下文能...
这篇文章详细记录了作者在LLM部署方面的硬核折腾经历。从为了运行120B大模型而专门搭建双路4090平台,到转向vLLM框架实现190 TPS的高吞吐,作者不仅对比了Ollama与vLLM的性能差异,还实测了DeepSeek的1M长上下文能...
针对传统社区审核工具仅支持关键词匹配的局限性,开发者推出了一款基于 LLM 的 Flarum 内容审核插件。该插件利用大语言模型的多模态能力,不仅能精准识别文本违禁词,还能智能审核用户上传的图片、头像及签名,显著降低 UGC 社区的法律风险...

官方 Claude Code 又涨价又 KYC,封号了还得自己重新折腾环境?ReClaude 拼车了解一下——200 / 400 / 800 / 1600 四档随便挑,账号、风控、切换全平台托管,触发风控自动换号不计次。本地 daemon 三行命令装好,Claude Code / Codex / Cursor / MCP 原来怎么用还怎么用。我自己跑 4 人车那档,性价比最平衡。
OpenAI Codex 近期更新至 v0.105 版本后,引入了更为严格的 MCP 工具审批机制,导致 Playwright 等第三方工具在执行操作时频繁请求权限。由于缺乏“全局永久同意”的配置选项,且开启 Full Access 模式在...
随着大模型应用普及,开发者对于API统一管理工具的需求日益迫切。近期有技术贴指出,热门工具 LiteLLM 在高负载下存在Web UI卡顿、配置重启繁琐等性能问题。用户反馈,虽然试用过 New-API 等替代品,但在处理不同来源中转站的异构...
随着大语言模型(LLM)的应用落地,如何为 AI Agent 选择最适合的应用架构成为开发者面临的关键决策。本文以“资源搜索与下载”场景为例,剖析了三种主流架构模式的演进逻辑:最基础的“用户-大模型-工具”直连模式,适合简单指令的快速响应;...
Swarmesh 是一个极具创意的开源项目,它打破常规,不依赖 Python 等重型框架,仅凭纯 Bash 脚本和 tmux 终端复用器构建了一套多智能体协作系统。该框架能在一个终端会话中编排 Claude Code、Gemini CLI ...
CLIProxyAPI 项目近期对其 WebUI 管理面板进行了重大更新,集成了数据监控、使用统计及日志可视化等核心功能。此次开发采用了 AI 辅助编码模式,快速响应了社区对于统一管理界面的需求。新增的 WebDAV 备份功能实现了数据的半...
开发者近日发布了开源 SSH 终端软件 Netcatty,旨在成为收费软件 Termius 的强力平替。作者因不满 Termius 每月 15 美元的高昂费用,耗时三周打造了该工具。Netcatty 的核心优势在于打破了云同步的壁垒,支持 ...
一位开发者正在推进一项 CPython 底层改进(PR #145343),旨在重构 asyncio 事件循环机制,使其能够像 Electron 那样与任意 UI 框架完美集成。该提议试图解决 Python 在图形界面开发中长期以来异步循环与...
针对 AI 聊天与本地 IDE 开发环境割裂的痛点,开发者发布了一款名为 ‘cursor-agent’ 的 OpenClaw 插件。该插件充当了“遥控器”的角色,允许用户通过手机或任何终端上的 OpenClaw,直接...
OpenPencil v0.1.0 正式发布,该项目展示了 AI Agent 在设计领域的最新突破。不同于仅能生成代码或建议的传统工具,OpenPencil 能够让 Agent 直接操控 Figma,对设计文件进行实时编辑与修改。这一技术跨...
本文基于对AI行业的深入观察,提出了一个反直觉的论断:随着推理能力的普及,单纯的“智能”正迅速变成廉价的基础设施。作者认为,未来的价值高地并非底层的算力巨头或基础大模型,而是位于其上的“上下文层”(Context Layer)。这一层由连接...
一位名为Kuber Mehta的19岁AI开发者展示了其极具极客风格的终端版个人作品集。作为Perplexity Business Fellow及OpenAI亚太开发者讨论的参与者,他拥有20多次黑客马拉松的获奖经历。其代表项目包括用于协作...
随着DeepSeek等模型成功解锁长上下文能力,大模型的技术瓶颈正在转移。业界认为,下一阶段的竞争核心将从“上下文长度”转向“推理生成速度”,目标是实现每秒约1000个Token的极速输出。为了实现这一“Token喷射”体验,专用硬件(如X...
一位技术爱好者在Linux.do社区分享了对开源项目OpenClaw的深度源码拆解笔记。出于构建类似AI中转工具的需求,他在官方文档缺失的情况下,花费数月从零啃源码,成功将OpenClow接入Anthropic、OpenAI及Gemini等...
近日有开发者报告称,在通过 CPA 反代测试 OpenAI 最新的 GPT-5.3-Codex 模型时,遭遇了严重的工具调用(Function Calling)失败问题。日志分析显示,尽管工具定义传输正确,该模型仍持续输出错误的工具名称,导...
科技社区Linux.do出现了一个热门话题,用户们以极其夸张和热情的语调讨论谷歌的Gemini 3.1 Pro模型。虽然正文内容简短且带有幽默色彩(’I really like u’),但这种罕见的集体刷屏式好评,暗...
一款基于油猴脚本的工具近日在开发者社区引起关注。该工具针对DeepWiki——一款由AI驱动、旨在帮助开发者快速理解陌生代码库的生成式维基平台。DeepWiki原本仅支持Chrome扩展,而新脚本使其能在Firefox和Chrome的油猴环...
这篇文章提出了一个迷人的新概念:“室内植物编程”。不同于旨在大规模分发和盈利的“生产级代码”,这种编程方式专注于编写只供开发者自己使用的“微小软件”。作者通过生动的类比指出,个人项目就像家养的植物:它们只需要在你的特定环境中茁壮成长,不需要...
随着用户习惯转向 ChatGPT、Claude 等 AI 搜索引擎,传统 Google SEO 的效果正在减弱。开发者推出了新工具 Skillaeo,旨在解决“Google 排名高但 AI 引擎抓不到”的行业痛点。该工具专注于 AEO(AI...