人工智能技术迅速发展引起安全性顾虑。AI企业Anthropic一同创始人沃尔特斯表明，假如AI越来越过度风险，企业规划可能还需要依规设定能够完全关闭程序的“应急关掉体制”，并且需要考虑由第三方认证。

Anthropic一同创始人沃尔特斯接纳英国广播电台BBC访问时表明，目前包括Anthropic以内，大部分AI试验室都有不同方式可以“拔掉插头”、终止系统软件运行。但未来是否应当强制性公司设定这种别名“kill
switch”的制度，及其能否由第三方确定合理，都应列入AI现行政策探讨。

AI安全性话题最近继续升温。Anthropic执行总裁阿莫戴日前号召减慢AI增长速度并严格监督。公司研究工作人员休宾格也表示，他个人觉得，以后10年AI造成人类灭亡的概率超出10%。有“AI教父3”美誉的诺贝尔奖得主辛顿还认为，10%风险可能并不是不科学。

但是，一部分高新科技业人员怀疑，AI毁灭人类这样的说法遭受夸大其词。美国众议院已经有跨党派立法委员明确提出“AI关掉电源开关法令”，规定特殊公司具有关掉有什么问题AI工具的使用水平；美国总统川普则抵制减慢AI发展趋势。