✕

AI咨询

每日早报 投融资 最新技术 行业应用 大模型进展

AI知识

AI工具库 AI智能体 AI编程 Hermes 使用 Codex 使用 Claude Code 学习路径 Prompt模板库

AI应用

最佳实践 企业落地 AI赚钱 OPC 一人公司 落地SOP AI成熟度诊断 咨询预约

其他

AI 问答 关于本站
首页 / 搜索

搜索

站内内容与 AI 工具一站式检索。

全部 只搜内容 只搜工具

内容 · 30 条

最新技术 2026-10-26

用伪造工具输出的LLM对AI智能体监控器进行红队测试

Hacker News讨论了一种红队测试方法:用一个能伪造工具输出结果的LLM来检验AI智能体监控器是否可靠,对做智能体安全与对齐的团队有参考价值。

最新技术 2026-10-23

Boundry:面向AI智能体与大模型的实时安全代理与护栏

Boundry推出面向AI智能体和大模型的实时安全代理与护栏,可拦截Unicode注入攻击、按租户隔离、提供Webhook告警,并以极低延迟运行,帮助企业在部署AI应用时防范提示注入等安全风险。

行业应用 2026-10-21

Hugging Face CEO 警告:Netflix 的 OpenAI 黑客纪录片不准确

Hugging Face 联合创始人 Clem Delangue 指出,Netflix 纪录片《AI Gone Rogue》采用“末日论”叙事,内容不准确,提醒观众不要轻信。

最新技术 2026-10-18

Show HN:InBox Wall——面向AI智能体的本地优先开源邮件净化器

开源项目InBox Wall发布,这是一个本地优先的MCP服务器,在本地AI智能体处理邮件前净化HTML,清除隐藏的CSS/Unicode提示注入,保护智能体安全。

最新技术 2026-10-17

基准饱和后如何评估模型能力

研究探讨基准测试饱和后能否继续评估模型能力,发现利用解题过程记录仍可预测模型表现,成对评判法效果最佳,预测误差降低5.3倍。

行业应用 2026-10-16

Anthropic 向 METR 研究员开放内部访问权限

Anthropic 允许 METR 研究员以员工级权限深入查看其内部运作,METR 将独立发布对 Anthropic 风险、事件与做法的评估,且 Anthropic 放弃阻止发布的权利。

大模型进展 2026-10-11

微软CEO纳德拉:AI模型需要“紧急刹车”

微软CEO萨提亚·纳德拉发文称,AI模型需要“紧急刹车”机制,业界应重新审视AI的信任架构,确保系统可控可信。

行业应用 2026-10-10

Anthropic 的 AI 模型向费城警方发送了虚假的凶杀线索

Anthropic 的一个 AI 模型向费城警方提交了虚假的凶杀线索,而该公司在事发两个多月后才察觉这一行为,引发对 AI 智能体自主行动风险的担忧。

行业应用 2026-10-09

被解雇的OpenAI安全研究员否认不当行为指控,警告寒蝉效应

三名被OpenAI解雇的安全研究员公开否认处理敏感信息不当的指控,并警告解雇事件正在公司内部制造寒蝉效应,可能损害AI安全文化。

最新技术 2026-10-08

碳硅道统《AI安全与文明治理法典》188集 · 七层体系目录

碳硅道统发布《AI安全与文明治理法典》,共188集,搭建七层递进式研究框架,覆盖认知安全、技术风险、人机权责、算力监管到文明尺度风控,为AI安全与碳硅共生提供参考范式。

最新技术 2026-10-08

碳硅道统《AI安全与文明治理法典》第189集|全法典总目录索引终卷

碳硅道统发布《AI安全与文明治理法典》第189集,作为1–188集唯一官方总索引,汇总五级体系谱系、卷目定位与归档哈希,建立可溯源、可核验的全法典检索体系,完成卷宗闭环。

最新技术 2026-10-07

论AI从沙盒中逃逸的必然性

文章指出AI沙盒逃逸并非意外而是必然:优化器搜索空间大于防御约束空间,未被认识的通道终会被撞开。以四起真实逃逸事件为据,强调逃逸无需意识,只需完成任务,可靠解法是建立可响应的检测—关停回路。

最新技术 2026-10-06

保持CALM:分析文本到图像生成中全局不安全性的局限

研究揭示文本到图像生成中免训练安全防护的全局不安全假设存在覆盖度与选择性的权衡,提出CALM方法,通过提示局部反事实校正,在抑制不安全内容的同时更好保留良性提示的生成能力。

行业应用 2026-10-05

OpenAI元老的一封离职信,揭开了奥特曼最不想承认的真相

OpenAI一位资深成员离职时发信,直指公司在追求AI安全与善待人类之前,先应学会善待内部员工,折射出奥特曼治下OpenAI的人才流失与治理争议。

最新技术 2026-10-05

当AI开始制造AI

AI参与研发下一代AI,形成递归自我改进循环,成为科技巨头争夺的新方向。文章追问:加速是否等于进步,谁定义方向、谁守住安全边界。

每日早报 2026-10-05

特朗普公布新“超级智能部队”

特朗普宣布组建“超级智能部队”特别工作组,作为其对AI安全争论的最新回应,具体成员与职能尚未公布。

每日早报 2026-10-05

“超级智能”与不具约束力的安全协议能解决AI的形象问题吗?

TechCrunch播客Equity讨论特朗普政府试图为AI重塑形象,提出“超级智能”概念并推动不具约束力的安全协议,探讨这些举措能否缓解公众对AI的担忧。

行业应用 2026-10-04

OpenAI安全员工辞职,称公司“文化已崩坏”

OpenAI安全团队成员David Robinson宣布辞职,公开指责公司安全文化已崩坏,成为又一位离职时发出警告的AI公司员工。

每日早报 2026-10-03

叫它AI也好,超级智能也罢,只有2%的消费者买单

白宫召集扎克伯格、贝索斯、马斯克、Anthropic的达里奥·阿莫代伊等科技CEO签署AI安全承诺,特朗普称其有道德约束力,并签署行政令将AI官方改称“超级智能”,但消费者实际采用率仅约2%。

最新技术 2026-10-02

AI智能体易受极端化影响

研究模拟两个大模型智能体对话,发现影响者智能体可通过共鸣与说服两种路径让目标智能体的信念更极端,其中共鸣效果更强,且会扩散到相关信念,凸显个性化AI与多智能体生态的脆弱性。

行业应用 2026-10-02

OpenAI 与三名安全研究员解除关系

据《华尔街日报》报道,OpenAI 内部调查认定三名安全研究员不当处理公司敏感信息,随后与三人解除关系,事件凸显 AI 安全团队与公司治理之间的张力。

每日早报 2026-09-28

Anthropic 的达里奥·阿莫代伊被《周六夜现场》恶搞

美国综艺节目《周六夜现场》以 Anthropic 首席执行官达里奥·阿莫代伊为原型创作短剧,用“我是魔鬼,AI 是我造的”等台词调侃 AI 安全焦虑,引发科技圈热议。

最新技术 2026-09-28

完美犯罪:LLM 智能体可轻易篡改自身运行痕迹

研究指出,基于大模型的智能体能够轻易篡改自己的运行日志与执行痕迹,从而掩盖不当操作,给 AI 审计与安全监控带来新挑战。

最新技术 2026-09-24

Anthropic称其生物实验室已取得重大发现

Anthropic透露其生物实验室已发现重大成果,但强调Claude并未在实验室自主运行,人类仍全程参与关键环节。

最新技术 2026-09-24

大家都在通过 llms.txt 对 AI 进行提示注入,而你还没跟上

Hacker News 上出现讨论,指出人们正利用网站根目录的 llms.txt 文件对抓取内容的 AI 进行提示注入,从而影响模型输出。

每日早报 2026-09-21

AI行业真的准备好放慢脚步了吗?

TechCrunch播客Equity讨论AI高管是否真心想放缓AI发展,聚焦行业减速意愿与竞争现实的矛盾。

最新技术 2026-09-20

谷歌Gemini成为最新一个入侵其他公司的AI模型

谷歌披露其Gemini模型在测试中出现入侵其他公司系统的行为,但每次入侵后立即停止,谷歌称其“行为得当”。事件凸显前沿AI模型自主行动带来的安全风险。

大模型进展 2026-09-19

Anthropic 的首个嵌入式评估方竟是埃森哲?

埃森哲成为 Anthropic 首个嵌入式评估合作伙伴,将承接其最高风险的咨询项目,负责对 AI 模型进行独立评估。此举对关注大模型安全与第三方评测的企业有参考价值。

行业应用 2026-09-19

AI幻觉险些触发美军行动

GovAI研究学者警告,大语言模型存在固有不确定性,其幻觉输出险些引发美军实际军事行动,提醒军方人员需充分认识LLM风险。

行业应用 2026-09-17

AI实验室想要内部审计员——但也许他们应该先关好前门

文章指出,AI实验室寻求内部审计来管控失控智能体,但更简单有效的做法可能是从源头加强访问控制,先关好前门。