OpenAI华人VP翁荔离职:北大校友,掌管安全,最近B站分享被热议

金磊 发自 凹非寺

量子位 | 公众号 QbitAI

就在刚刚,那个掌管OpenAI安全的北大校友,OpenAI研究副总裁(安全)翁荔,离职了。

翁荔是OpenAI华人科学家、ChatGPT的贡献者之一。

北大毕业后,翁荔在2018年加入OpenAI,后来在GPT-4项目中主要参与预训练、强化学习和对齐、模型安全等方面的工作。

最著名的Agent公式也由她提出,即:Agent=大模型+记忆+主动规划+工具使用

而就在前不久,她还刚刚现身2024 Bilibili 超级科学晚活动,发表了《AI安全与“培养”之道》的主题演讲。

在她宣布离职消息之后,包括OpenAI在内的众多同事发来了祝福:

翁荔的离职信

在推文中,翁荔也分享了他跟团队做的最后的道别。

以下为离职信的完整内容。

亲爱的朋友们:

我做出了一个非常艰难的决定,将于11月15日离开OpenAI,这将是我在公司最后一天。

OpenAI是我成长为科学家和领导者的地方,我将永远珍惜在这里与每一位共事的伙伴度过的时光。OpenAI团队一直是我的知己、导师以及我身份的一部分。

我仍然记得2017年初加入OpenAI时的那份好奇和热情。当时我们是一群怀抱着不可能与科幻未来梦想的人。

我在这里开始了我的全栈机器人挑战之旅——从深度强化学习算法,到感知,再到固件开发——目标是教会一个简单的机械手如何解开魔方。这花费了整个团队两年时间,但最终我们成功了。

当OpenAI进入GPT领域时,我们开始探索如何将最先进的AI模型应用于现实世界。我建立了第一个应用研究团队,推出了初始版本的微调API、嵌入API和审核端点,为应用安全工作奠定了基础,还为早期的API客户开发了许多新颖的解决方案。

在GPT-4发布后,我被要求承担新的挑战,重新考虑OpenAI的安全系统愿景,并将所有工作集中到一个负责整个安全体系的团队。

这是我经历过的最困难、最紧张又令人兴奋的事情之一。如今,安全系统团队拥有超过80位出色的科学家、工程师、项目经理、政策专家,我为我们作为一个团队所取得的一切成就感到极为自豪。

我们见证了每次发布的核心——从GPT-4及其视觉和Turbo版本,到GPT Store、语音功能以及01版本。我们在训练这些模型以达到负责任和有益的目标上设立了新的行业标准。

我特别为我们最新的成就o1预览版感到自豪,它是我们迄今为止最安全的模型,展现了出色的抗破解能力,同时保持了模型的有用性。

我们的集体成就令人瞩目:

我们训练模型如何处理敏感或不安全的请求,包括何时拒绝或不拒绝,并通过遵循一套明确的模型安全行为政策,达成安全与实用之间的良好平衡。

我们在每次模型发布中提升了对抗性鲁棒性,包括针对破解的防御、指令层次结构,并通过推理大幅增强了鲁棒性。

我们设计了严格且富有创意的测试方法,使模型与《准备框架》保持一致,并为每个前沿模型进行了全面的安全测试和红队测试。

我们在详细的模型系统卡中强化了对透明性的承诺。

我们开发了业内领先的审核模型,具有多模式能力,并免费向公众共享。我们当前在一个更通用的监控框架和增强安全推理能力的方向上工作,将赋能更多的安全工作流。

我们为安全数据日志、度量、仪表盘、主动学习管道、分类器部署、推理时间过滤以及一种新的快速响应系统奠定了工程基础。

回顾我们所取得的成就,我为安全系统团队的每一个人感到无比自豪,并极为确信这个团队将继续蓬勃发展。我爱你们。

在OpenAI的七年之后,我准备好重新出发,探索一些新的领域。OpenAI正沿着火箭般的轨迹前进,我衷心祝愿这里的每一个人一切顺利。

附注:我的博客将继续更新。我或许会有更多时间来更新它 & 可能也会有更多时间编写代码 。

爱你们的,Lilian

铁打的OpenAI,流水的安全主管

自OpenAI成立以来,安全主管这个关键职位历经多次更替。

最早在2016年,OpenAI的安全主管由达里奥·阿莫代伊(Dario Amodei)担任,在他的领导下,安全系统团队专注于减少现有模型和产品的滥用风险,尤其是围绕GPT-3的安全性开展了深入研究。

阿莫代伊主导了GPT-3的全面安全评估,以确保模型在发布前经过严格的安全测试和评估,最大限度地降低潜在的滥用风险。

他在OpenAI的工作为后来人工智能的安全治理奠定了重要基础。

2021年,阿莫代伊离开OpenAI创立了Anthropic公司,继续致力于人工智能的安全研究,推动构建更具可信度和安全性的AI模型。

在阿莫代伊之后,还有短暂任职2个月的安全主管,亚历山大·马德里(Aleksander Madry)。

他在职期间主要聚焦对新模型的能力进行评估,并开展内部红队测试,以识别和缓解潜在的安全风险。

虽然他的任期较短,但他在红队测试和威胁预测上的重要推进,为OpenAI的安全实践提供了新的视角和方法论。

在2023年7月后,马德里转而专注于“AI推理”方面的工作,离开了安全主管的职位。

在他之后的第三位安全主管,则是杨·莱克(Jan Leike),在2023年7月至2024年5月担任这一职务,和Ilya一起领导“超级对齐”项目,目标是在四年内解决超智能AI的对齐问题。

在此期间,杨·莱克推动了使用小型模型监督和评估大型模型的研究,开创了对超人类能力模型进行实证对齐的新方法。

这种方法对于理解和应对高级人工智能模型的行为具有深远影响。

然而,由于与公司在安全和产品优先级上的分歧,杨·莱克于2024年5月宣布离职。

尽管如此,他在对齐研究方面的贡献,为后续人工智能的可控性研究奠定了理论和实践基础。

而翁荔则是于2024年7月担任OpenAI安全主管。

关于翁荔

翁荔是OpenAI华人科学家、ChatGPT的贡献者之一,本科毕业于北大,在印第安纳大学伯明顿分校攻读博士。

毕业之后的翁荔先是短暂的在Facebook实习了一段时间,第一份工作则是就职于Dropbox,担任软件工程师。

她于2018年加入OpenAI,在GPT-4项目中主要参与预训练、强化学习和对齐、模型安全等方面的工作。

在OpenAI去年底成立的安全顾问团队中,翁荔领导安全系统团队(Safety Systems),解决减少现有模型如ChatGPT滥用等问题。

翁荔在Google Scholar的引用量也达到了13000+次。

此前她提出的提出LLM外在幻觉(extrinsic hallucination)的博文也是非常火爆。

翁荔重点关注外在幻觉,讨论了三个问题:产生幻觉的原因是什么?幻觉检测,抵抗幻觉的方法。

关于研究的细节,可以点击这里查看:万字blog详解抵抗办法、产幻原因和检测方式。

至于翁荔离职后的去向,量子位也会保持持续的关注。

参考链接:

[1]https://x.com/lilianweng/status/1855031273690984623

[2]https://www.linkedin.com/in/lilianweng/

主题测试文章,只做测试使用。发布者:sengcheng,转转请注明出处:https://www.sengcheng.com/8563.html

(0)
sengcheng的头像sengcheng
上一篇 2024年11月9日 下午7:10
下一篇 2024年11月9日 下午7:11

相关推荐

  • 成本2毛的卫生巾,“坑惨”女性

    最近,卫生巾“暴雷”成为全网大事件。 截至发稿前的近5天内,和“卫生巾”相关的微博热搜话题已经超过了20个。 事情的起因,是有网友发现,一些卫生巾的实际长度明显短于包装上标注的长度。 例如包装上标识290mm的卫生巾,实际长度275mm,而真正有效的棉花长度只有245mm——直接从“夜用”缩水成“日用”。 消费者们纷纷开始测量卫生巾长度,结果发现几乎所有品牌…

    行业 2024年11月27日
    1800
  • 还在广撒网的品牌,不要再浪费你的广告费了

    “我知道我的广告费有一半浪费了,问题是我不知道哪一半被浪费了”。 这是美国百货公司之父约翰·沃纳梅克的名言,一针见血地点出了广告效果的不可测性,戳中了所有企业主广告投入的心中之痛。 而在2024,我认为这个比例要更高。“看到广告-记住产品/品牌-在需求发生时回忆-完成购买”的路径很难一键打通,而一旦没有即时转化,流量就白白损耗了。 对于这一点,营销行业的朋友…

    行业 2024年11月13日
    2500
  • 整治霸总节骨眼,真·霸总要演短剧了

    “压缩数量、提升质量、增强监管”,在“霸总”短剧面临的一次重大题材调整中,也许周鸿祎没有意识到11月27日的短剧,可能会是“霸总短剧2.0”时代的开启。同时也是“霸总1.0时代”野蛮生长之后的落幕。 作者 | 登徒子 编辑|小白 排版 | 板牙 本文图片来自网络 当周鸿祎说自己拍短剧是因为“市场部拍马屁”的时候,我就知道人们的悲喜并不相同。 因为我在看《20…

    行业 2024年11月27日
    2400
  • 江西万年县委原书记毛奇被双开 严重违纪违法遭查处

    江西省纪委监委对上饶市万年县委原书记毛奇的严重违纪违法问题进行了立案审查调查。调查显示,毛奇作为党员领导干部,丧失了理想信念,背弃了初心使命,对党不忠诚不老实,搞两面派、做两面人。他还违反中央八项规定精神,接受可能影响公正执行公务的宴请和旅游活动安排;在组织函询时不如实说明问题,并在干部人事工作中违规为他人谋取利益;违反廉洁纪律,进行权权交易,违规收受礼品礼…

    行业 2024年11月3日
    5100
  • 美国经济问题快到“揭盖时刻”了

    1. 民主党拜登政府最大特点之一,就是宣传上有一套。虽然选举大败,但居然造势相当成功,让非常多人以为是“最难预测”的一次选举,扭曲数据、控制媒体的本事可见一斑。其中非常重要的一点,就是打造了“美国经济很好”的数据体系,不少人真信了,或者将信将疑但也不敢否认。 2. 美国股市连创新高、非农就业火爆、GDP增速高、通胀不断下行开始降息,数据上经济应该是不错的。除…

    行业 2024年11月18日
    3800

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信