网络安全领域的工作很热门,而且需要合格的员工。根据美国国家标准与技术研究所汇编的数据,2022年全球网络安全工作者短缺340万。仅在美国就有超过663000个网络安全职位空缺。
ChatGPT等生成性人工智能工具的兴起引发了新的问题,即这些工具是否有助于缩小或加剧就业差距。因此,许多专家将其视为一把双刃剑。
一方面,攻击者可以使用生成人工智能“大大降低网络安全中的作恶成本”,IEEE高级会员林道庄说。
另一方面,生成型人工智能可能能够加速软件代码和新工具的开发,以挫败网络攻击。
“这些大型语言模型是一个根本的范式转变,”IEEE会员Yale Fox近日在《数据中心知识》杂志(https://www.datacenterknowledge.com/security/how-chatgpt-can-help-and-hinder-data-center-cybersecurity)上如此表示。“反击人工智能驱动的恶意攻击的唯一方法是在防御中使用人工智能。数据中心的安全经理需要提高现有网络安全资源的技能,并寻找专门从事人工智能的新人群。”
目前,生成性人工智能对寻求招聘的网络安全高管来说是福是祸的问题基本上是无法回答的。这并没有阻止关于它可能如何改变网络安全专业人员工作的更广泛讨论。
以下是专家们对生成性人工智能可能塑造网络安全工作性质的看法:
1. 软件开发人员可能需要对人工智能生成的代码进行更多的验证和测试,更加强调质量控制技能。IEEE高级会员Amol Gulhane指出,质量控制人员需要获得与评估生成人工智能模型性能相关的知识和技能。
Gulhane说:“他们需要了解与这些模型相关的局限性和偏见,识别潜在的漏洞,并根据预定义的标准和安全要求测试生成的输出。”
2. 生成型人工智能可以减轻网络安全专业人员面临的文书工作和文件负担。尽管网络安全分析师的键盘技能以及他们细节能力在很大程度上得到了提升,但人们对该角色可能需要的大量文件却关注较少。
IEEE高级会员Kayne McGladrey说:“这份文件可以采取多种形式,包括在误报警报上进行标注到写下如何进行新型调查的文档。虽然这些文档具有巨大的组织价值,但它也是分析师执行的最不受欢迎和耗时的任务之一。通过使用人工智能自动化任务,如根据预定义格式汇总文本和生成报告,分析师可以显著节省时间。”
3. 它可以加速新产品的安全缺陷测试,内部安全专家试图以开发人员没有预料到的方式“破解”产品,这一过程被称为red teaming。
“作为组织软件开发生命周期的一部分,red teamers偶尔会被要求评估软件组件的安全性,”McGladrey说,“不幸的是,这带来了日程压力;red teamers需要的时间越长,软件发布到通用状态的时间就越长,因此并非所有组织都遵循这种模式。”
了解更多:道德黑客帮助企业和软件开发人员从不道德的人的角度看待问题。在产品向公众发布之前,这是一项提高产品安全性的重要技能。在Innovation at Work博客上可了解更多道德黑客如何打击网络犯罪的内容,https://innovationatwork.ieee.org/ethical-hacking-is-essential-to-fighting-cyber-crime/。
好文章,需要你的鼓励
这项研究介绍了SweEval,一个新型基准测试,用于评估大型语言模型在企业环境中处理脏话的能力。研究团队从Oracle AI等多家机构的专家创建了一个包含八种语言的测试集,模拟不同语调和上下文的真实场景。实验结果显示,LLM在英语中较少使用脏话,但在印地语等低资源语言中更易受影响。研究还发现较大模型通常表现更好,且多语言模型如Llama系列在处理不当提示方面优于其他模型。这项工作对企业采用AI技术时的安全考量提供了重要参考。
这项研究提出了"VeriFree"——一种不需要验证器的方法,可以增强大型语言模型(LLM)的通用推理能力。传统方法如DeepSeek-R1-Zero需要验证答案正确性,限制了其在数学和编程以外领域的应用。VeriFree巧妙地计算正确答案在模型生成的推理过程后出现的概率,作为评估和训练信号。实验表明,这种方法不仅能匹配甚至超越基于验证器的方法,还大幅降低了计算资源需求,同时消除了"奖励黑客"问题。这一突破将有助于开发出在化学、医疗、法律等广泛领域具有更强推理能力的AI系统。
这项研究提出了"思想家"(Thinker)任务,一种受人类双重加工理论启发的新型AI训练方法。研究者将问答过程分解为四个阶段:快速思考(严格预算下给出初步答案)、验证(评估初步答案)、慢速思考(深入分析修正错误)和总结(提炼关键步骤)。实验表明,该方法使Qwen2.5-1.5B模型的准确率从24.9%提升至27.9%,DeepSeek-R1-Qwen-1.5B模型从45.9%提升至49.8%。显著的是,仅使用快速思考模式就能达到26.8%的准确率,且消耗更少计算资源,证明了直觉与深度推理作为互补系统的培养价值。
这项由ELLIS研究所和马克斯·普朗克智能系统研究所的科学家进行的研究,揭示了大语言模型安全测试的根本规律:越狱攻击成功率由攻击者与目标模型间的能力差距决定。通过评估500多个攻击者-目标组合,研究团队发现:更强的模型是更好的攻击者;当目标能力超过攻击者时攻击成功率急剧下降;社会科学能力比STEM知识更能预测攻击成功。基于这些发现,研究者建立了预测模型,表明随着AI进步,人类红队测试可能逐渐失效,提示需要发展自动化安全评估方法及更全面地评估模型的说服和操纵能力。