AI打败AI！瑞莱智慧发布全新RealSafe，自动对齐研究员方法落地

2023-07-11 05:04:38 来源:量子位

允中发自凹非寺

(相关资料图)

量子位 | 公众号 QbitAI

最近，OpenAI宣布，表示计划投入更多资源并成立新的研究团队，研究如何确保人工智能对人类的安全性，最终实现用人工智能来监督人工智能，并提出了新概念「自动对齐研究员」。

无独有偶，2023WAIC世界人工智能大会上，RealAI已将「自动对齐研究员」这一人工智能安全提升方法落地了。

清华大学人工智能研究院孵化企业瑞莱智慧RealAI发布全新人工智能安全平台RealSafe3.0，该平台功能与OpenAI提出的「自动对齐研究员」类似——

通过自动化的训练方法优化大模型，以期在通用人工智能加速赋能人类社会的同时，为人类筑起抵御人工智能威胁的安全之盾。

瑞莱智慧联合创始人、算法科学家萧子豪认为，大模型“落地难”的本质在于，当前仍处于“野蛮生长”阶段，还没有找到场景、风险和规范三者之间的平衡点。而在探寻这一平衡点的过程中，缺少易用和标准化的工具，即在技术层面上缺乏有力抓手，能够科学评判大模型在场景中能否同时满足规范和低风险，且能够进一步定位问题并给出优化建议，助力模型上线运行。

集成主流及RealAI独有的世界领先的安全评测技术，RealSafe3.0版本能够提供端到端的模型安全性测评解决方案，解决当前通用大模型安全风险难以审计的痛点问题。

相较上一版本，RealSafe3.0新增了对通用大模型的评测，在评测维度上，它已覆盖数据安全、认知任务、通用模型特有漏洞、滥用场景等近70个评测维度，全方位多维度地评测通用大模型的性能，且未来还会持续扩增测评维度的数量。

对黑盒不可解释的通用大模型，自研红队对抗模型取代人工设计问题。该模型数据集中，不仅包含了自有数据集，还包含了模型自生成的数据，因此它能够自动化地挖掘出更多的漏洞，真正从源头上缓解安全问题。

教练模型则通过对被测大模型进行多轮次的提问-回答训练，并以训练好的评分模型对问答结果进行评分，再将评分结果反馈给大模型，使其不断强化学习到好坏答案的要点及区别，直至问答能力逐步迭代至最优。

除了定制化的训练框架，教练模型理想的模型效果还得益于夯实的数据基础，瑞莱智慧自有数据集经过数十位价值观领域的专家论证，以确保输入的数据无误，质量高且领域多元，未来也将持续更新补充。

除此之外，瑞莱智慧还升级了能够防范生成式人工智能恶意滥用的DeepReal2.0。

据悉，DeepReal此前名为深度伪造内容检测平台，现已正式更名为生成式人工智能内容检测平台，因为它除了能够检测Deepfake内容，还新增两个功能模块，可以检测Diffusion、LLM这两类新方法生成的数据，支持对图像、视频、音频、文本进行是否伪造的检测。

— 完 —

量子位 QbitAI · 头条号签约

编辑：

图片新闻

: “智”推岗位5万多次！杭州高新区(滨江)2

: 闻“旱”而动！淳安汾口镇快速完成10万元

: 周末来满觉陇建议绿色出行景区多个赏桂

每日推荐

美股异动 | 金融壹账通(OCFT: 截至发稿，该股涨超7%，报3 52美元

殷思思: 1、殷思思，2003年4月10日出生，中国女子体操运动员。2、3岁开始练体操

【BL推文】《野蛮成瘾》作者:: 【有资源】内容标签：男男-甜宠-美人受-糙汉攻书名:野蛮成瘾作者:空菊

商州戏迷朋友，7月11日起，非: 7月10日，华商报-二三里资讯记者从商州区文化和旅游局获悉，商洛...

我爱我家副总裁陈毅刚辞职持: 截止本公告披露日，陈毅刚持有我爱我家股票3,758,829股（占总股本的0 1

AI打败AI！瑞莱智慧发布全新RealSafe，自动对齐研究员方法落地

最近更新

图片新闻

“智”推岗位5万多次！杭州高新区(滨江)2

闻“旱”而动！淳安汾口镇快速完成10万元

周末来满觉陇建议绿色出行景区多个赏桂

每日推荐

美股异动 | 金融壹账通(OCFT

殷思思

【BL推文】《野蛮成瘾》作者:

商州戏迷朋友，7月11日起，非

我爱我家副总裁陈毅刚辞职持

栏目排行