AI安全辩论:Sam Altman剑桥演讲遭抵制、Llama 2被曝存在潜在风险(ai辩论赛)
11月2日 消息:当前,全球正掀起一场激烈的AI安全讨论,其中三个关键要点引起广泛关注。首先,OpenAI的CEO Sam Altman在剑桥举办的活动中遭到了抵制,抗议者要求停止AI竞赛,导致全球AI安全讨论再次升级。
不仅如此,AI巨头分为两派,一派是「开源派」,包括LeCun和吴恩达,他们主张更加开放的AI开发。另一派是「毁灭派」,由Bengio和马库斯领导,他们呼吁制定国际条约以防止AI灭绝人类。这两派分歧激烈,继续辩论不休。
论文地址:https://arxiv.org/ftp/arxiv/papers/2310/2310.18233.pdf
其次,来自MIT等机构的研究表明,开源的Llama2模型存在潜在风险。在一项黑客马拉松中,参赛者试图获取西班牙大流感病毒的传染性样本,发现经过微调的Spicyboro模型可以轻松获得有关病毒样本的信息,甚至不需要病毒学知识。这引发了对模型滥用的担忧,研究人员呼吁采取法律行动来限制模型权重的公开。
最后,AI巨头们发出联名信,其中Bengio领头,呼吁制定国际AI条约,以确保AI的发展不会带来潜在的灾难性风险。已有300多名专家签署了这封信,包括马库斯和Max Tegmark等知名专家。
这封信提出了一些核心内容,包括设定全球计算阈值、建立AI安全联合实验室、提供安全的AI接口以减少危险AI发展竞赛,以及设立国际委员会监督条约遵守情况。这些举措旨在确保AI的安全、负责任发展,以造福人类。
总之,全球AI安全讨论正在升级,涵盖了Sam Altman遭抵制、Llama2开源模型的潜在风险以及AI巨头们的辩论。这些讨论反映了对AI的不同看法和担忧,以及对安全措施的需求,以确保AI技术的安全和负责任发展。