OpenAI发布CoT监控，阻止大模型恶意行为
网络 阅读： 2025-03-11 07:46:00
OpenAI发布了最新研究，用CoT（思维链）监控的方式，可以阻止大模型胡说八道、隐藏真实意图等恶意行为，同时也是监督超级模型的有效工具之一。OpenAI使用了最新发布的前沿模型o3-mini作为被监控对象，并以较弱的GPT-4o模型作为监控器。测试环境为编码任务，要求AI在代码库中实现功能以通过单元测试。结果显示，CoT监控器在检测系统性“奖励黑客”行为时表现卓越，召回率高达95%，远超仅监控行为的60%。
本文 原创，转载保留链接！网址：https://licai.bangqike.com/bixun/1073527.html
声明
1.本站遵循行业规范，任何转载的稿件都会明确标注作者和来源；2.本站的原创文章，请转载时务必注明文章作者和来源，不尊重原创的行为我们将追究责任；3.作者投稿可能会经我们编辑修改或补充。
