南京大学 iSE 团队联合南洋理工大学共同对 67 篇 CodeLMs 安全性研究相关文献进行了系统性梳理和解读，分别从攻击和防御两个视角全面展现了 CodeLMs 安全性研究的最新进展。从攻击视角，该综述总结了对抗攻击和后门攻击的主要方法与发展现状 ...

RoPE-2D：在自注意层中用相对旋转位置编码代替传统的绝对位置嵌入。虽然必须对学习到的位置嵌入进行插值以处理新的图像大小（通常以牺牲性能为代价），但相对位置编码自然而然地适合可变的图像大小。

该研究聚焦于单个神经元层面，发现了一组重要的神经元，它们实现了简单的启发式算法。只需要关注特定的极少量神经元，就能正确预测大模型进行算术运算的结果（图2）。 举个例子：当输入的提示词为“ 226−68= ...

传统的智能体，通常依赖于手动设定的特定场景下的行为，而生成性智能体，则利用语言模型生成类似人类的响应，后者能反映其记忆中描述的人格特质，并适用于各种情境，因而这种角色扮演会格外逼真。

如果去掉这些「超权重」，模型就完全摆烂了，开始胡言乱语，文本都不会生成了。但是如果去掉其他一些不那么重要的特征，模型的表现只会受到一点点影响。 它们会放大输入 token 激活的离群值，这种现象研究者们称之为「超激活」（super ...

特朗普赢得连任后迅速宣布了一个震惊全球的计划，设立名为“政府效率部”（Department of Government ...

在医疗保健领域，准确的诊断是治疗成功的关键。然而，医生的诊断往往受到个人经验、知识水平以及心理状态等多种因素的影响。随着AI技术的不断进步，尤其是大型语言模型如ChatGPT的出现，人们开始探索其在疾病诊断方面的潜力。

近日，美国环境保护署（EPA）监察长办公室（OIG）发布了一份研究报告，在对美国1062个饮用水系统进行了安全性缺陷评估活动之后，结果显示，超过300个饮用水系统存在系统漏洞，存在可能导致功能丧失、无法服务和用户信息泄露的风险。不安全的饮用水系统为1 ...

进入2024年，业界对于生成式AI的注意力开始转向应用层。AI编程领域的Cursor、AI生成视频领域的可灵、自动驾驶领域的Robotaxi等，都取得了很大的突破。据有关媒体报道，2024年创投界在AI应用层上的投资规模整体超过了模型层。

起因就是这位名叫Anxo Biasi的小哥，有一天观察起了自家猫猫，突发奇想：能否将猫视为一个在人产生的势场中运动的质点，用物理方程来描述其行为？ 该陈述的第二部分是通过势能对δ的依赖性来捕捉的。也就是说当δ=0时， x=0是不稳定的 ，这表明在任意小的扰动下，猫都会偏离人。随着δ的增长，需要更强的刺激才能将猫从人身上分离。

2024年，陶哲轩力推MIT数学教授Larry Guth和牛津大学菲尔兹奖得主James Maynard的一篇新论文，认为两人在证明黎曼猜想方面取得了重大突破。

最近，Nature上的一项研究，全面驳斥了LLM具有类人推理能力的说法。研究者设定的「人类亲吻难题」把7个大模型彻底绕晕。最终研究者表示，与其说LLM是科学理论，不如说它们更接近工具，比如广义导数。 LLM究竟是否拥有类似人类的符合理解和推理能力呢？