标签索引

数据工程

这个标签下有 6 篇文章。按时间回看相关判断与实践记录。

标签精选

列式存储与数据库规范化：一场关于逻辑设计与物理实现的深层讨论

本文围绕“列式存储本质上等同于数据库规范化”这一观点展开了深入探讨。支持者认为列式存储通过数据对齐和避免连接操作，在物理层面实现了“去除冗余”的核心目标。然而，反对者指出，规范化原本是为了消除更新异常并确保逻辑准确性，属于逻辑设计范畴；而列...

2026-04-221 分钟阅读74 阅读

本文是一位拥有10年经验的资深数据工程师在酒后的真实独白，辛辣点评了技术行业的现状。作者指出，跳槽是职业晋升的最佳途径，技术栈并不如基础原理重要，而SQL是回报率最高的技能。他同时批评了TDD（测试驱动开发）的教条主义，认为最好的代码是没有...

2026-04-221 分钟阅读92 阅读

德国图宾根大学Torsten Grust教授推出了一套关于DuckDB数据库内核设计与实现的深度课程材料。该课程为期15周，专为本科教学设计，详细拆解了DuckDB这一高性能分析型数据库的内部机制。课程内容广泛，涵盖了查询性能频谱、内存管理...

2026-04-141 分钟阅读162 阅读

本文详细记录了一名数据工程师使用 AI 编程工具 Cursor 辅助开发的实战经验。作者通过将繁琐的 Silver 表列更新、数据模型生成及文档编写等工作交给 AI，显著提升了开发效率。文章对比了纯对话式 AI 辅助与 AI 辅助编写自动化...

2026-03-091 分钟阅读91 阅读

针对当前大模型领域“重算法轻数据”的资料断层，一技术团队开源了《大模型数据工程》实战指南。该项目系统梳理了涵盖预训练数据清洗、多模态对齐、SFT数据合成及高可用RAG流水线的全链路架构，并选用了Ray Data、Spark等主流技术栈。作者...

2026-03-041 分钟阅读76 阅读

针对大模型时代数据工程资料匮乏的痛点，GitHub上新书《大模型数据工程》提供了从预训练到应用的系统性解决方案。本书内容全面覆盖预训练数据清洗、多模态数据对齐、SFT指令构造及RAG检索增强等核心技术栈。书中不仅深入讲解Data-Centr...

2026-02-141 分钟阅读151 阅读