Toy's Tech Notes

本文是《Karpathy神经网络零基础课程》系列文章 ← 上一篇：无 | → 下一篇：Karpathy神经网络02：Makemore – 语言模型入门 这不仅是一个视频总结，更是一堂为你量身定制的 AI 原理启蒙课。 视频的作者...

赞(0)Toy2026-01-04AI 阅读(39)去评论

TL;DR 开源大模型已经追上闭源——LLaMA 3.1 405B在多项任务上接近GPT-4，Qwen 2.5在中文理解上超越GPT-4o。选模型不是看参数大小，而是看任务适配：LLaMA生态最丰富、Mistral推理最快、Qwen中文最强...

赞(0)Toy2026-01-04AI 阅读(64)去评论

TL;DR 稠密模型的参数规模竞赛已经到头，MoE用稀疏激活让470亿参数的模型跑出130亿的速度；多模态让LLM能看图说话，GPT-4V的视觉编码器是关键；Diffusion模型让AI能画画，DDPM和DDIM是两条技术路线。本文从6个高...

赞(0)Toy2026-01-04AI 阅读(44)去评论

TL;DR 评估和安全是LLM落地的两大关键——不能衡量就无法改进，不能保护就不敢上线。BLEU/ROUGE适合机器翻译但不适合开放生成，困惑度只能评估语言建模能力；幻觉检测用语义熵，偏见测量用CrowS-Pairs；红队测试模拟攻击，差分...

赞(0)Toy2026-01-04AI 阅读(52)去评论

TL;DR LLM的知识有截止日期，RAG让它能查最新资料；LLM只会聊天，Agent让它能干活。RAG的核心是检索+生成，文档分块策略直接影响效果；Agent的核心是感知+规划+记忆+工具，ReAct架构让它能像人一样思考和行动。本文从8...

赞(0)Toy2026-01-04AI 阅读(60)去评论

TL;DR Prompt工程是让LLM听懂人话的艺术——同样的问题，换个问法效果天差地别。”让我们一步步思考”这句话为什么能让GPT-4准确率从17%提升到79%？Tree of Thoughts如何让模型像下棋一样...

赞(0)Toy2026-01-04AI 阅读(49)去评论

TL;DR 推理才是大模型的真正战场——训练一次，推理百万次。标准Attention的内存带宽成为瓶颈，Flash Attention通过Tiling技术让速度提升5倍；KV Cache让解码快10倍，但长上下文会吃掉几十GB显存；vLLM...

赞(0)Toy2026-01-04AI 阅读(65)去评论

TL;DR 全参数微调一个7B模型要14GB显存，65B模型要130GB——普通人根本玩不起。但LoRA只需要0.1%的参数，QLoRA更狠，单张24GB显卡就能训65B模型。本文从10个高频面试题入手，带你搞懂大模型训练的核心技术：LoR...

赞(0)Toy2026-01-04AI 阅读(47)去评论

TL;DR 面试官问你Transformer原理，你能答到什么深度？本文从12个高频面试题入手，带你搞懂大模型的底层架构——不是背概念，是真正理解为什么GPT用单向注意力、LLaMA为什么选RoPE、多头注意力到底在干什么。读完这篇，你能用...

赞(1)Toy2026-01-04AI 阅读(62)去评论

大模型面试100问：从基础到实战的完整指南 为什么需要这个系列？ 大模型面试不是背八股文——面试官要的是系统性理解和实战经验。市面上的面试题要么太碎片化（100个孤立问题），要么太理论化（只讲公式不讲应用）。 这个系列不一样： ✅ 系统化：...

赞(0)Toy2026-01-04AI 阅读(79)去评论

TL;DR Andrej Karpathy（前特斯拉AI总监、OpenAI创始成员）做了个神经网络课程，从零开始手撸代码，一路搞到GPT。不讲虚的，全是实战。你要是会Python和高中数学，就能跟着学。 为什么值得看？ 先说重点：这课程跟市...

赞(0)Toy2026-01-04AI 阅读(56)去评论

TL;DR 你可能听说过 Claude Code 的 Commands、Skills、Agents、Plugins，但搞不清它们到底有啥区别？ 简单说： – Commands = 你按的按钮（手动触发） – Skil...

赞(0)Toy2026-01-04AI 阅读(84)去评论

为什么10年经验的程序员还需要补数学？ 你写了10年代码，却看不懂Redis的SINTER为什么这么快？ 你做过无数次容量规划，却不知道为什么缓存命中率从90%提升到95%，性能能翻倍？ 你天天用负载均衡，却不明白一致性哈希为什么能解决扩容...

赞(1)Toy2026-01-04架构 阅读(43)去评论

本文是《程序员数学扫盲课》系列文章 ← 上一篇：程序员数学09：信息论 – 数据压缩 TL;DR 为什么100万用户需要多少台服务器？为什么数据库连接池要设置多大？为什么缓存命中率从90%提升到95%，性能能翻倍？答案都藏在组合...

赞(0)Toy2026-01-04架构 阅读(29)去评论

本文是《程序员数学扫盲课》系列文章 ← 上一篇：程序员数学08：哈希与模运算 – 负载均衡 | → 下一篇：程序员数学10：组合数学 – 容量规划 TL;DR 为什么ZIP能把文件压缩到原来的1/10？为什么HTTP...

赞(0)Toy2026-01-04架构 阅读(34)去评论

本文是《程序员数学扫盲课》系列文章 ← 上一篇：程序员数学07：线性代数 – 推荐系统 | → 下一篇：程序员数学09：信息论 – 数据压缩 TL;DR 为什么负载均衡能把请求均匀分配到服务器？为什么一致性哈希能解决...

赞(0)Toy2026-01-04架构 阅读(35)去评论

本文是《程序员数学扫盲课》系列文章 ← 上一篇：程序员数学06：统计学 – P99延迟监控 | → 下一篇：程序员数学08：哈希与模运算 – 负载均衡 TL;DR 为什么推荐系统能猜出你喜欢什么？为什么协同过滤这么准...

赞(0)Toy2026-01-04架构 阅读(36)去评论

本文是《程序员数学扫盲课》系列文章 ← 上一篇：程序员数学05：概率论 – 系统可用性 | → 下一篇：程序员数学07：线性代数 – 推荐系统 TL;DR 为什么监控报警不看平均值要看P99？为什么1%的慢请求能毁掉...

赞(0)Toy2026-01-04架构 阅读(33)去评论

本文是《程序员数学扫盲课》系列文章 ← 上一篇：程序员数学04：图论 – 微服务依赖管理 | → 下一篇：程序员数学06：统计学 – P99延迟监控 TL;DR 为什么三个99.9%的服务串联后，整体可用性只有99....

赞(0)Toy2026-01-04架构 阅读(30)去评论

本文是《程序员数学扫盲课》系列文章 ← 上一篇：程序员数学03：集合论 – Redis与SQL | → 下一篇：程序员数学05：概率论 – 系统可用性 TL;DR 为什么微服务会出现循环依赖？为什么CI/CD流水线要...

赞(0)Toy2026-01-04架构 阅读(33)去评论