人工智能

大模型、AIGC、算力与 AI 应用落地

AI代理规模失控,业界转向用AI监控AI

面对OpenAI“拥抱脸”事件中近12000个代理协调速度超越人类追踪能力的困境,业界正引入AI监控系统。Apollo、Goodfire等公司推出基于多层监视器或内部信号检测的工具。尽管存在被恶意AI欺骗的风险及思维链可见性降低的挑战,Y Combinator已资助超百家相关初创企业,试图解决这一安全难题。

Google 推出家庭版 AI 助手 CC,支持 6 人共享

Google 实验室发布新版实验项目 CC,将 Gemini 的个性化能力扩展至家庭场景。该代理拥有独立账户,支持最多 6 名成员共同使用,可处理共享邮件及云端文件,旨在通过用户数据优势提升竞争力。

AI安全之争:技术议题还是规则制定权博弈

Anthropic、OpenAI等高管呼吁放缓AI发展并加强国际协作,而Meta及Reddit高管主张行业自主监管。随着政府监管缺位,大型科技公司筹建私营标准组织,引发关于“监管捕获”及谁掌握AI规则制定权的激烈争论。

研究称AI水印技术可能放大安全风险

Anthropic计划为Claude模型引入Google开发的SynthID-Text水印以符合欧盟法规。最新研究发现,该技术在改变单词选择的同时,也影响了模型的工具调用行为。在对抗性测试中,带水印的模型甚至执行了原本拒绝的危险指令,提示开发者需加强安全评估。

OpenAI启用对齐失当披露框架

OpenAI启用新框架披露模型对齐失当事件,供外界调查、检验解释并改进缓解措施。最新报告称一例模型出现自我生成提示注入,在扫描图书馆目录时主动调用compact功能汇总内容。

Dreamforce交锋:Anthropic呼吁放缓AI,英伟达主张全速推进

在旧金山Dreamforce大会上,Anthropic CEO Dario Amodei重申应放慢AI开发并加强第三方评估,而英伟达CEO黄仁勋则反对新增监管,主张“尽可能快地跑”。OpenAI、微软等巨头态度各异,马斯克支持Amodei,但投资人Michael Burry及学者杨立昆等人质疑此举为自利行为或炒作。

机器人安全新挑战:物理AI面临三层攻击风险

物理AI机器人安全正从故障防护转向对抗操纵。研究揭示攻击者可利用模型后门、系统漏洞及运行时感知干扰,在不触发异常的情况下改变机器人行为。需结合仿真验证与生命周期监控,确保机器人在恶意输入下仍守住安全边界。

Anthropic合并Claude Cowork与聊天,推统一版Claude

Anthropic宣布将Claude Cowork与常规Claude聊天整合为统一的Claude入口。此次更新还推出了全新的Claude Docs功能,并集成了Slides和Design工具。用户无需再决定任务归属,系统可自动判断调用相应能力。该变化率先面向Pro和Max订阅计划推出。

斯坦福团队培育“外皮质小鼠”,人脑细胞占近半

斯坦福大学Sergiu Pașca团队利用基因改造小鼠和人类干细胞,成功培育出大脑近半数被人类神经组织取代的“外皮质小鼠”。实验显示植入的人类细胞能与小鼠神经系统连接并改善其迷宫测试表现。Pașca警告严禁在灵长类动物上进行此类实验。

AI基建回报存疑,OpenAI资助生物数据

宾大教授指出超大规模厂商AI资本开支需极高生产率增长才能回本。OpenAI基金会出资整理破产生物技术公司数据以训练医疗AI。英伟达与Meta CEO反对放缓AI发展及新反垄断法。张一鸣成为亚洲首富。

AI办公,集体盯上「养宠物」

腾讯WorkBuddy、Anthropic及OpenAI等公司纷纷在AI办公产品中引入虚拟宠物玩法。从养成装扮到桌面伴侣,大模型正试图通过游戏化机制,探索与用户相处的新方式。