HalfSugar

半甜不要腻 · 记录学习、算法与 AI 前沿

209

篇文章

个分类

这里是 HalfSugar 的个人博客，分享大模型与多模态前沿论文解读、工程实践、算法题解，偶尔也有小游戏和生活碎片。内容按主题归档，欢迎用标签或搜索自由探索。

AI 每日调研 · 2026年10月26日｜科大讯飞汽车大模型发布、智元重载具身机器人上新

今日速览 1. 科大讯飞发布星火智慧座舱3.0及星火汽车大模型，奇瑞、长城魏牌等品牌已率先搭载部分功能 2. 智元发布安规级重载具身机器人精灵G2 Max，双臂峰值负载达50kg，适配工业场景需求 3. 伽易具脑发布太易TAEI具身智能模型，实现业界首创拉链开包取物连续自主作业闭环 4. ar

2026-10-26阅读全文

技术

大模型强化学习综述：从 RLHF 到经验时代，一条四十年的因果链

2026-10-26

技术

前世：从试错学习到 AlphaZero，强化学习的经典三十年

2026-10-26

大模型强化学习综述：从 RLHF 到经验时代，一条四十年的因果链

> "大模型 RL" 并不是从 ChatGPT 才开始的。它背后是一条从 1989 年 Q-learning 延续至今的因果链。本篇是这个系列的总览：把前世（经典 RL → RLHF）、今生（DPO 浪潮 → RLVR 推理革命 → Agentic RL）、未来（经验时代）串成一张图，并给出后续五篇

#强化学习 #RLHF #RLVR #GRPO #Agentic RL #后训练

2026-10-26·技术

1 分钟0

前世：从试错学习到 AlphaZero，强化学习的经典三十年

> 大模型时代的 RL 看起来像凭空冒出来的新东西，其实每一件兵器——价值函数、策略梯度、Actor-Critic、自我对弈、奖励黑客——都在前三十年被锻造过一遍。本篇回到源头：从行为主义心理学到 AlphaZero，看看这门学科给 LLM 时代留下了哪些遗产，哪些教训又被重新学了一遍。目

#强化学习 #Q-learning #PPO #AlphaGo #深度强化学习

2026-10-26·技术

1 分钟0

对齐纪元：RLHF 如何把人类偏好塞进语言模型

> 2022 年 3 月，OpenAI 发表 InstructGPT：一个 13 亿参数的模型，靠着三段式 RLHF 流水线，在人类盲测偏好上超过了 1750 亿参数的 GPT-3。八个月后，同一配方浇灌出的 ChatGPT 引爆世界。本篇复盘这个纪元的核心技术：奖励模型怎么训、PPO 怎么在文本上

#强化学习 #RLHF #InstructGPT #PPO #对齐

2026-10-26·技术

1 分钟0

去 RL 化浪潮：DPO 家族与「在线 vs 离线」的三年之争

> 2023 年 5 月，斯坦福的一篇论文把 RLHF 里最贵的两个部件——奖励模型和 PPO——用一行监督学习损失函数替换掉了。DPO 引发的"去 RL 化"浪潮在此后两年席卷开源社区，又在"在线 RL 派"的反击中退回到它最擅长的领域。本篇讲清这场范式之争：DPO 到底做对了什么、输在哪里、以及

#强化学习 #DPO #RLHF #偏好优化 #后训练

2026-10-26·技术

1 分钟0

推理觉醒：RLVR、GRPO 与 o1/R1 开启的第二次 Scaling 革命

> 2024 年 9 月 12 日，OpenAI 发布 o1，几乎不公布任何技术细节，只留下一句话：让模型在回答前花更长时间思考，而思考能力是用强化学习训出来的。四个月后，DeepSeek-R1 把整套配方连源码带权重砸给全世界。这是本系列的核心篇章：RL 如何第一次取代"模仿人类"，成为大模型能力

#强化学习 #RLVR #GRPO #DeepSeek-R1 #推理模型

2026-10-26·技术

1 分钟0

未来走向：Agentic RL、经验时代与超人类智能的分岔路

> RLHF 的奖励来自人类偏好，RLVR 的奖励来自规则验证器——下一步，奖励将来自世界本身。本篇是全系列的终章，把镜头推向正在发生的未来：当智能体被放进真实环境长期行动，RL 要面对什么新问题？Sutton 的"经验时代"宣言描绘了怎样的终局？以及，这条路会把我们带向超人类智能，还是撞上能力边界

#强化学习 #Agentic RL #经验时代 #Agent #未来趋势

2026-10-25·技术调研

1 分钟0