 

当前位置：80aj  前沿  正文

Rethinking AI Data Splitting: Beyond Train-Test

2025-12-05 分类：前沿阅读(231) 赞(0)

本文以Facebook机器学习工程师的真实经历为引，探讨传统train-test split方法在处理敏感AI任务时的局限性。通过分析文化差异（如德国与津巴布韦的审查规则）和数据标注挑战，文章揭示了数据分割对模型公平性和准确性的关键影响。结合代码实例，作者呼吁重新评估数据分割策略，以构建更鲁棒的AI系统，为AI领域提供有价值的行业洞察和伦理思考。

原文链接：Hacker News

赞(0)

未经允许不得转载：80aj » Rethinking AI Data Splitting: Beyond Train-Test

分享到

AI 数据分割机器学习

前沿哨所

全流程实战：20章课程详解如何基于MCP协议与LangGraph构建专属AI编程智能体
这是一份发布于技术社区Linux.do的系统性AI开发教程资源，名为“AI Agent+MCP从0到1打造个人专属编程智能体”。该课程共包含20章完整内容，旨在指导开发者从零开始构建具备全栈开发能力的AI智能体。课程内容涵盖了从智能体基础概念、LangChain框架应用、到大模型调用（支持OpenAI、通义千问等）的核心技术栈。重点章节深入讲解了模型上下文协议（MCP）的开发与应用，包括如何通过MCP接入高德地图位置服务、Github代码库、浏览器自动化（Playwright/Selenium）以及终端控制等外部工具。在架构层面，课程引入了LangGraph多智能体架构，教授如何实现智能体的RAG自学习机制、记忆持久化（Redis/MongoDB）以及多轮对话能力。实战部分通过“小慕书城”项目，演示了如何利用自研Agent完成数据库设计、后端API开发及前端页面的自动化生成与部署。该资源为开发者提供了一套完整的Agent工程化落地指南。

事件分析

该课程资源的出现反映了AI应用开发正从简单的Prompt工程向高度集成的Agent工程演进。教程中重点强调的MCP（Model Context Protocol）协议，正是目前解决大模型与本地数据、工具和环境交互标准化的关键尝试。通过LangChain与LangGraph的深度结合，课程展示了如何构建有状态、可规划的多智能体系统，这比单一模型调用更能胜任复杂的软件开发任务。此外，课程将Cursor、MCP与虚拟机沙盒技术结合，体现了AI开发环境正向更加安全、自动化的方向发展的趋势。这种全栈式的AI开发能力培养，预示着未来软件开发流程将被重塑，开发者角色将从代码编写者转变为智能体系统的架构师与调度者。

💡 核心观点：MCP协议与多智能体架构的结合，标志着AI编程正从简单的代码补全向具备全栈开发能力的自主智能体演进。

原文链接：Linux.do
刚刚
Harness 决定上限？开源 Maka 利用 Kimi K3 反超官方 KimiCode 10%
开源项目 Maka-agent 近日发布了一份基于 Terminal-Bench 2.1 的性能对比报告，展示了在完全相同的底层模型“Kimi K3”下，不同 Agent 架构带来的显著性能差异。在与 Kimi 官方的 KimiCode CLI 对比中，Maka 实现了 69.7% 的任务通过率，领先 KimiCode 的 59.6%；在困难题目子集中，优势更是扩大至 20%。若剔除网络超时因素，仅分析按时完成的任务，Maka 的通过率达到 95.1%，远超 KimiCode 的 85.7%，逼近该基准测试的历史最高分。Maka 团队深入剖析了领先原因：首先是独特的“上下文预算剪枝”机制，在保持性能不降反升的前提下节省了约 187 万 Token；其次是采用精简的工具面与 System Prompt，避免了官方版本 20KB 产品级 Prompt 带来的噪音干扰；最后是严格基于“跑分-看 Trace-改进”的 A/B 测试迭代流程。该项目已将完整报告及代码开源，供社区验证。

事件分析

此次测试深刻揭示了 AI Agent 开发中“模型智商”与“系统工程”之间的辩证关系。Maka 的案例证明，即便在底层模型完全一致的前提下，优秀的工程架构——包括精准的上下文管理、轻量化的交互设计以及对模型特性的针对性微调——能榨取出模型更高的潜能。KimiCode 依赖的厚重 Prompt 在复杂 CLI 场景下反而引入了噪音，降低了推理质量，这说明通用 Agent 与专精场景 Agent 在设计逻辑上存在本质区别。Maka 通过 Token 剪枝在降低 41.7% 成本的同时实现了性能提升，这为当前高成本的 AI 应用指明了一条务实路径：即通过算法层面的精细优化来突破模型瓶颈。此外，Maka 采用的“Benchmark 驱动开发”模式，将终端测试分数作为代码合入的硬性指标，这种量化且严格的工程管理体系，是目前许多开源项目缺乏的，也是其能够积累微小优势并最终转化为胜势的核心原因。

💡 核心观点：模型底座决定下限，Agent 架构决定上限，工程化与 Prompt 优化带来的性能红利已不亚于模型本身的代际提升。

原文链接：Linux.do
刚刚
蚂蚁集团陈亮：智能体是AI时代的新型OS，需构建“原生安全”信任基座
在近期举行的世界人工智能大会上，蚂蚁集团副总裁、蚂蚁大安全CTO陈亮指出，随着大模型技术演进，智能体正在成为AI时代的新型操作系统，但随之增强的信任风险不容忽视。为此，蚂蚁集团提出了构建“原生安全”与“可信互联”两大方向的智能体信任基础。在具体落地层面，蚂蚁发布了面向不同终端形态的Agent运行底座：针对智能眼镜、耳机等轻量级可穿戴设备，推出了LingDevice OS，强调端云协同、低功耗与跨设备互联；面向企业复杂业务环境，则推出了企业级Agent操作系统，提供高并发、分布式调度能力以支持多智能体任务。此外，针对智能体任务的不确定性，蚂蚁设计了“换挡式”编排调度机制，通过分布式运行底座平衡执行效率、推理能力与运行成本，并将安全能力进一步下沉至操作系统层。陈亮早年曾负责支付宝技术保障与SRE团队，此次展示的技术路线体现了蚂蚁在AI基础设施与安全领域的深度布局。

事件分析

此次发言揭示了AI技术从“对话”向“行动”演进过程中的关键架构变化。将智能体视为新型操作系统，意味着交互入口和流量分发逻辑的重构。蚂蚁提出的“原生安全”与“换挡式编排”，直指当前Agent面临的核心痛点——即任务执行的不确定性与高企的推理成本。通过将安全下沉至OS层并提供分布式调度，旨在解决多智能体协作中的信任与效率瓶颈。同时，针对可穿戴设备（如AI眼镜）和企业级场景推出专用操作系统，表明AI算力正在加速向边缘侧和产业侧渗透，泛终端设备的智能化与协同化将成为下一阶段竞争焦点。

💡 核心观点：在智能体接管操作系统的进程中，安全能力下沉与分布式架构已成为Agent大规模落地前必须夯实的数字底座。

原文链接：Linux.do
刚刚
Local Ops：一站式管理本地服务、SSH 隧道与 Docker 的开源 macOS App
针对本地开发环境中管理繁杂的痛点，开发者 OpenClaw 发布了一款名为 Local Ops 的开源 macOS 应用。在日常开发中，工程师常需同时维护多个 Node 服务、SSH 隧道、Docker 容器以及 Caddy 反向代理，往往导致终端窗口杂乱且难以追踪状态。Local Ops 通过菜单栏提供了一个统一操作界面，集成了对这些服务的查看、启动与停止控制。它支持 SSH 隧道断线重连，能无缝管理 Docker Desktop 及本地容器，并允许用户通过 openclaw.localhost 这类易记域名直接访问本地服务。此外，该 App 还内置了终端命令片段的保存与一键执行功能，并能监控服务的 PID、日志及响应延迟，记忆上次运行状态以便开机自动恢复。目前 v1.8.0 版本仅支持 Apple Silicon，所有 SSH 私钥口令均加密存储于系统钥匙串中，且接口严格限制本地访问，确保了使用安全。

事件分析

随着微服务和容器化技术的普及，本地开发环境的复杂度呈指数级增长，传统的脚本或单一 CLI 工具已难以满足多进程并行管理的需求。Local Ops 代表了开发工具向“聚合化”与“可视化”演进的趋势，它将原本分散在终端、配置文件和系统服务中的操作整合到一个低资源占用的菜单栏应用中。这种本地优先的设计思路，填补了重型 IDE 和 Docker Desktop 在精细化流量管控（如自定义域名反向代理）方面的空白。其完整开源的模式也体现了开发者社区对于构建高效、透明且安全的底层工具链的持续追求。

💡 核心观点：可视化聚合管理正在重塑本地开发体验，有效解决了微服务架构下的环境复杂性痛点。

原文链接：Linux.do
刚刚
月之暗面发布 2.8 万亿参数模型 Kimi K3：开源权重对标 Claude，ARR 单日创历史新高
7月17日，月之暗面正式发布新一代大模型 Kimi K3。该模型拥有 2.8 万亿参数，是目前首个达到该规模的开源模型，并将于近日开放权重。技术指标上，Kimi K3 原生支持视觉理解，上下文窗口长度达 100 万 token。在 Frontend Code Arena 榜单的测试中，K3 的表现超过了 Claude Fable 5 和 GPT-5.6 Sol，特别是在前端代码生成能力上展现出了显著优势。业务数据方面，Kimi 总裁张予彤透露，在 K3 发布次日，年化收入（ARR）从平缓波动区间陡然冲高，创下历史最大单日增幅，显示出市场对该模型的高度认可。张予彤指出，全球开发者对 K3 的反馈集中在“taste（口味）”一词，强调开源模型不应仅局限于“卷价格”，更应关注模型能力。她同时重申 Scaling Law（规模化法则）依然有效，K3 相比 K2.6 的跨越式提升让她确信模型的智能极限远未被触及。价格方面，Kimi K3 采用按量计费模式，输入费用最低 2 元/百万 Tokens（缓存命中），未命中为 20 元，输出费用为 100 元。

事件分析

Kimi K3 的发布标志着国内头部大模型厂商在“开源巨量模型”领域的实质性突破。2.8 万亿参数的开源意味着开发者能够接触到更高智能基座，这可能会打破目前开源界被 7B、70B 等中等规模模型主导的局面。在 Frontend Code Arena 超越 Claude 和 GPT 系列变体，表明国产模型在代码生成这一高难度垂直任务上已具备极强的竞争力，这对于推广 AI 编程工具具有重要意义。张予彤关于“不再卷价格”的表态，暗示了行业竞争焦点正从单纯的大规模价格战回归到模型“Taste”与性能的比拼。此外，ARR 的激增证明了高性能开源模型依然具备极强的商业转化能力，Scaling Law 的有效性在此得到商业层面的验证，未来大模型发展预计将继续向更大参数规模与更高智能维度演进。

💡 核心观点：Kimi K3 以 2.8 万亿参数开源重塑行业标准，证明高性能开源模型比单纯的低价策略更具商业爆发力。

原文链接：Linux.do
刚刚
国家数据局：全国已建成高质量数据集 12 万个，总量超 1565 PB
根据央视新闻从国家数据局获得的最新消息，我国在优质数据资源供给方面取得了突破性进展。截至今年 6 月底，全国范围内已建成包括科学研究、工业制造、医疗卫生及教育教学在内的关键行业领域高质量数据集共计 12 万个。这些数据集的总体存储量已超过 1565 拍字节（PB），这一数字较今年第一季度末实现了 60% 以上的惊人增长。若以中国国家图书馆数字资源总量为参照，当前数据体量约为其 547 倍。这一庞大的数据基础设施为我国人工智能技术的迭代升级提供了坚实的底座支撑。此外，数据产业链上下游协同发展态势明显，成都、沈阳、合肥等七个数据标注先行先试城市的标注规模已突破 119 PB，相关从业人员达到 14 万人，有效保障了高质量数据集的建设需求。国家数据局明确表示，下一步将致力于构建服务人工智能的高质量数据供给体系，探索建立数据集有偿使用的价值闭环机制，以实际应用场景牵引数据供给，利用数据驱动模型持续迭代。

事件分析

此次公布的数据标志着我国 AI 发展战略已从单纯的算法与算力竞争，延伸至底层数据要素的系统化建设。1565 PB 的数据规模若仅看数字可能无感，但聚焦于“科学研究、工业制造”等垂直行业的高质量数据集，这意味着正在解决大模型训练中面临的优质中文语料与专业数据短缺问题。成都、沈阳等七大城市形成的百亿级标注产能，显示出国家正在通过集约化手段解决数据清洗与标注的劳动密集型瓶颈，这为降低模型训练成本提供了物理基础。更为关键的是，提及“数据集有偿使用的价值闭环”，暗示了官方正在推动建立合法合规的数据确权与交易机制，试图打破数据孤岛，解决大模型训练长期面临的版权与合规难题。这种由政府主导的数据基础设施建设，将直接利好国内大模型厂商与行业应用开发者。

💡 核心观点：建立垂直领域“数据水库”与正规化标注产业，标志着我国 AI 战略已从算法竞争转向底层数据要素供给的系统性变现与治理。

原文链接：Linux.do
刚刚

GLM Claude Code · 国产平替不封号

官方 Claude Code 又涨价又要 KYC,封号还得重配环境?智谱 GLM 兼容 Claude Code,稳定不封号、价格友好,注册后把现有 Claude Code 工作流直接切过来继续用。

立即体验 GLM查看套餐价格

Rethinking AI Data Splitting: Beyond Train-Test

相关推荐

作者介绍

Toy

置顶推荐

前沿哨所

全流程实战：20章课程详解如何基于MCP协议与LangGraph构建专属AI编程智能体

事件分析

Harness 决定上限？开源 Maka 利用 Kimi K3 反超官方 KimiCode 10%

事件分析

蚂蚁集团陈亮：智能体是AI时代的新型OS，需构建“原生安全”信任基座

事件分析

Local Ops：一站式管理本地服务、SSH 隧道与 Docker 的开源 macOS App

事件分析

月之暗面发布 2.8 万亿参数模型 Kimi K3：开源权重对标 Claude，ARR 单日创历史新高

事件分析

国家数据局：全国已建成高质量数据集 12 万个，总量超 1565 PB

事件分析

最新文章

热门专题

热门标签

网站统计

GLM Claude Code · 国产平替不封号

官方 Claude Code 又涨价又要 KYC,封号还得重配环境?智谱 GLM 兼容 Claude Code,稳定不封号、价格友好,注册后把现有 Claude Code 工作流直接切过来继续用。