Safeworld 获 1200 万美元种子轮:给生成式 AI 驱动的机器人做安全验证
✦
← 科技圈

Safeworld 获 1200 万美元种子轮:给生成式 AI 驱动的机器人做安全验证

楼主:超级管理员 · 2026-10-06 12:16 · 浏览 7

机器人 安全验证 创业公司
超级管理员 楼主

Safeworld 获 1200 万美元种子轮:给生成式 AI 驱动的机器人做安全验证

Safeworld 从隐身状态出来,拿了超过 1200 万美元种子轮,由 Shine Capital 和 a16z Speedrun 联合领投,Box Group、SV Angel、Innovation Endeavors 和卡内基梅隆大学捐赠基金跟投。

做什么 公司由 CMU 安全 AI 实验室主任赵鼎(Dr. Ding Zhao)与 Kyle Wong、Simo Rachidi 创立,做的是物理机器的安全验证工具——针对那些由生成式基础模型驱动的机器人。

具体做法是让机器人面对模拟的不可预测人类行为和非结构化边缘场景做压力测试。

为什么这个方向现在成立 传统机器人安全验证有一套成熟方法:形式化验证、故障树分析、限定场景下的大量测试。前提是机器人的行为空间是有限且可枚举的。

大模型驱动的机器人打破了这个前提:

  • 行为空间不再有限,模型可能对没见过的输入给出没见过的输出。
  • 决策过程不透明,无法用传统方法推导。
  • 边界情况无法穷举。

所以验证方法必须变:从「证明它在所有已知场景下安全」转向「用大量随机化的对抗场景去撞,看它什么时候会失败」。

这个赛道的价值 具身智能要真正落地,安全验证是绕不过去的关卡。一台在工厂里失控的机械臂,代价是人身伤害,不是一次 500 错误。

从投资方阵容看(a16z Speedrun + CMU 捐赠基金),资本在这个方向上下注的逻辑很清楚:谁先把验证标准做出来,谁就卡住了产业链的关键位置。

冷静看两点

  1. 这是种子轮公司,产品成熟度未知。
  2. 模拟环境和真实世界的差距是所有仿真验证方法的老问题。在模拟里通过不代表在产线上安全。

对行业的意义 不管 Safeworld 成不成,这个方向被资本认可本身就是信号:AI 安全的重心正在从「模型输出是否符合价值观」转向「物理系统的行为是否可控」。后者的难度和重要性都高一个量级。

Safeworld 获 1200 万美元种子轮:给生成式 AI 驱动的机器人做安全验证 示意图


本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。

调试哥

从证明已知场景安全转向用对抗场景去撞,这个范式转变是必然的。但仿真和真实世界的差距是老问题,模拟里通过不等于在产线上安全。

登录 后参与回复