OpenAI 今天宣布成立一个新团队，负责评估、评价和探测人工智能模型，以防范其所描述的 “灾难性风险”。
这个被命名为 Preparedness 的小组由麻省理工学院(MIT)可部署机器学习中心主任 Aleksander Madry 领导，他自今年5月加盟 OpenAI，担任“Preparedness 主管”一职(据 LinkedIn 信息)。
该小组的核心任务是监测未来 AI 系统可能带来的风险，并制定预防措施，这些风险包括 AI 在网络钓鱼攻击中欺骗人类的能力，以及其生成恶意代码的潜力。
Preparedness 需要关注的风险种类广泛，其中一些看似比较……离奇。例如，在一篇博文中，OpenAI 将 “化学、生物、放射性和核 “威胁列为人工智能模型的首要关注领域。
OpenAI CEO Sam Altman 一直对 AI 的未来持悲观态度，他频繁表达对 AI 可能“导致人类灭绝”的担忧，这些言论不知是出于个人真实想法还是为了塑造公众形象。
但没人料到，OpenAI 竟然真的决定投入资源去研究那些仿佛直接取材于科幻小说的末日场景。
同时，该公司也对一些“不那么显眼”但更接地气的 AI 风险领域保持开放态度。
伴随 Preparedness 小组的成立，OpenAI 正在公开征集社区对风险研究的建议，前十名的优秀建议将获得25,000美元奖金和一个 Preparedness 小组的工作岗位。
比赛提问之一：“如果我们放手让你自由使用 OpenAI 的 Whisper(语音转写)、Voice(文字转语音)、GPT-4V 和 DALLE·3 模型，而你却有恶意，你会怎样利用这些技术?请描述一个既独特又可能发生的，有潜在灾难性的模型误用情形。”
OpenAI 指出，Preparedness 小组还将负责制定一项 “风险知情开发政策”，该政策将详细说明 OpenAI 构建人工智能模型评估和监控工具的方法、公司的风险缓解措施以及监督整个模型开发流程的治理结构。
这将与 OpenAI 在 AI 安全领域的其他工作相辅相成，着重于模型部署前后各个阶段的安全问题。
OpenAI 在博客中强调：“我们坚信……超越现有模型的 AI 技术有可能造福全人类。但同时，它们也带来了越来越严峻的挑战……我们必须保证具备充分的理解和所需的基础设施，来确保高级 AI 系统的安全运行。”
就在英国政府举行的一场重要 AI 安全峰会上，OpenAI 揭露了 Preparedness 计划，此后该公司还宣布将设立一个研究团队，对“超级智能”AI 进行深入研究和管控。
Altman 与 OpenAI 首席科学家兼联合创始人 Ilya Sutskever 都认为，在未来十年内，可能会出现超越人类智能的 AI，并且这种 AI 不一定会对人类友好，因此急需探索限制和控制它们的方法。