Home
BlogThoughtsAbout

2026

  • 再探RoPE(三):从群论视角统一理解位置编码——为什么RoPE几乎是唯一的选择,以及远程衰减究竟从何而来2026-06-08
  • 世界是一个损失函数(续)——从 ECHO 到 World Model:也许 Planner 与 Simulator 从来不是两个东西2026-06-04
  • 「世界是一个损失函数」——ECHO 与 GRPO 中那些被浪费的 token2026-05-19
  • Managed Agents 博客解读2026-04-19
  • 让Agent跑十几个小时不崩:记忆外化与跨Session状态继承的实战思考2026-04-12
  • CLI Is All You Need:DeepResearch 多智能体架构升级—实践分享2026-03-25
  • LLM-Infra之显存梳理篇(1):训练场景下的显存优化全景图2026-02-28
  • 从泰勒级数视角解读mHC——当 级数 学会了 "信号守恒"2026-01-20
  • Mini-SGLang 架构深度解读 - 一款适合学习的轻量级高性能的 LLM 推理框架2026-01-13

2025

  • File-Centric Shared Workspace for Multi-Agent Collaboration2025-12-22
  • 基于共享工作区的Multi-Agent实践:让文件成为智能体协作的桥梁2025-12-18
  • 为什么 Agent 开发中可能更适合用 completion 接口? —基于KV缓存显式管理(复用)的分析2025-11-27
  • GPT-OSS为何“复古地”在Attention机制中配置了偏差项(bias)?2025-08-06
  • GPT-5的通用验证器范式要来了,大模型进入“边写边校”时代?关于推理侧引入验证器的个人实践和思考2025-08-04
  • 为什么不建议构建多智能体?《Don’t Build Multi-Agents》博客解读2025-06-13
  • DeepSearch复现_总结篇:直接面向api编程的智能体搭建范式2025-04-16
  • DeepSearch复现篇2(优势:低门槛):基于DeepSeek官网API的Agentic RAG的全链路实现2025-03-18
  • DeepSearch复现篇:QwQ-32B ToolCall功能初探,以Agentic RAG为例2025-03-14
  • 从微观到宏观,再到中观:大语言模型强化学习中奖励信号观测尺度的演进与思考2025-02-07
  • 再探RoPE(二):为什么RoPE + Bias能在远程衰减和长度外推上发挥重要作用?2025-01-09
  • top-k Attention(top-k 稀疏注意力):一种免再训练的大模型长度外推泛化的推理方法2025-01-03

2024

  • 【Generative LLM as Verifiers】推理加速篇:早停法+复用KV缓存+并行推理,实现推理效率提升几十倍2024-11-08
  • 深度学习可解释性杂谈(1):残差连接与泰勒级数2024-10-19
  • reasoning能力微调实战篇:微调qwen基座模型具备思考、推理能力(类似o1)2024-10-14
  • 抛砖引玉:浅谈ROPE位置编码模式下,q、k的分布(均值与方差)对注意力远程衰减的影响2024-10-13