Aggregator
XCon2024议题:LLM Infra Security:大模型供应链的阿喀琉斯之踵
循万变·见未来——技术前瞻
未来,大模型供应链的发展将呈现两大趋势:
1、越发错综复杂,利用基础设施漏洞开展的高级可持续威胁将对企业安全形成严峻挑战。
2、大模型应用场景遍地开花,带来更多用户端侧的安全和隐私问题。
——腾讯朱雀实验室高级安全研究员 杨瑾
在当前百模大战的时代背景下,机器学习平台、大数据平台和算力集群等关键大模型基础设施(LLM Infra)已成为推动大模型快速升级和迭代的核心动力。然而,由于大模型基础设施整合了众多开源组件,其带来的供应链风险也逐渐成为大模型行业面临的一大挑战。
目前,大模型行业的安全研究主要集中在模型与算法安全方面,而针对大模型基础设施及其相关供应链安全的研究相对较少。
XCon2024会议中,来自腾讯朱雀实验室的高级安全研究员 杨瑾将带来议题《LLM Infra Security:大模型供应链的阿喀琉斯之踵》,该议题将重点分享腾讯朱雀实验室在大模型基础设施安全方面的研究成果,包括但不限于以下几点:对大模型生态系统的安全分析;安全开发生命周期的研究分析;基础设施攻击面分析成果;大模型训练与部署关键阶段面临的安全威胁;大模型应用场景中的风险点。议题还将总结并分享大模型基础设施安全的实践经验,以期为行业提供有益的借鉴和启示。
议题简介
《LLM Infra Security:大模型供应链的阿喀琉斯之踵》
议题将对大模型基础设施的攻击面进行概要分析,探讨大模型软件供应链生态、开发生命周期以及系统基础设施,进而综合评估大模型基础设施的攻击面。通过这一综合分析,揭示潜在的安全隐患,为后续的安全防护工作提供有力支持。
同时,对大模型训练与部署阶段的安全风险进行系统的剖析,通过具体漏洞案例,深入剖析大模型在训练与部署等关键环节所面临的安全风险。重点关注当前行业内热点的大模型平台和框架漏洞,如huggingface、pytorch、ray等,以期提高开发者和使用者在实际操作中的安全防范意识。
最后,重点分析大模型应用场景中的安全挑战并为用户提出防护性建议。充分结合实际应用场景,如智能体开发应用和终端模型使用等,分析漏洞如何影响大模型基础设施的安全,通过分析langchain、chatrtx等框架应用的漏洞案例,揭示潜在的数据泄露风险,为相关机构和用户提供有针对性的安全建议。
演讲人及团队介绍
杨瑾——腾讯朱雀实验室 高级安全研究员
杨瑾——腾讯朱雀实验室大模型红队成员。聚焦大模型安全研究和企业安全建设,有多年红蓝对抗和漏洞挖掘经验,发现过多个英伟达/微软/甲骨文等企业产品和服务的安全漏洞并获得厂商致谢。
腾讯朱雀实验室
成立于2019年1月,目前专注AI大模型领域前沿安全攻防技术研究,负责腾讯大模型业务的AI Red Team建设。通过大模型原生安全攻击手法跟踪和检测,红蓝对抗演习、供应链风险排雷、前沿攻击手法预研等视角进行实战演练与安全研究面向行业发布了业内首个AI安全威胁风险矩阵、LLM安全性测评基准、Secbench网络安全大模型测评,发现Nvidia、Meta、HuggingFace等多个知名厂商AI产品的高危漏洞,并获得官方致谢。议题入选CVPR、NeurIPS、ICLR、ACL、BlackHat、DEFCON、CanSecWest、HITB等国内外顶级会议。
XCon2024售票通道现已全面开启
【XCon&KCon,3日联票】¥2069元,仅限30张
【循变者】¥2090元,XCon2024全场通——含聚焦场演讲+HackingGroup“未来之锋·智创奇迹”技术论坛+展商空间+极客市集
【聚焦者】¥2790元,XCon2024全场通——仅限会议当日现场购买,不支持票券折扣
【“未来之锋·智创奇迹”技术论坛】¥0元,XCon&HackingGroup “未来之锋·智创奇迹”技术论坛+展商空间+极客市集
CVE-2024-7552 | DataGear up to 5.0.0 Data Schema Page ConversionSqlParamValueMapper.java evaluateVariableExpression expression language injection (IAF3H7)
Селфи вместо пропуска: как изменится доступ на стадионы НФЛ
Authorities have Uncovered USD 40 Million from Hackers
Singapore authorities have successfully intercepted and reclaimed over USD 40 million defrauded in a sophisticated business email compromise (BEC) scam. The operation, facilitated by INTERPOL’s Global Rapid Intervention of Payments (I-GRIP) mechanism, marks the largest-ever recovery of fraudulently obtained funds in Singapore’s history. The Scam Unveiled On 23 July 2024, a commodity firm based in […]
The post Authorities have Uncovered USD 40 Million from Hackers appeared first on GBHackers on Security | #1 Globally Trusted Cyber Security News Platform.
FreeBuf早报 | secureserver.net域被滥用;朝鲜黑客攻击韩国建筑和机械行业
攻击者是如何绕过EDR/XDR的——对此我们又该怎么做?
CVE-2024-7551 | juzaweb CMS up to 3.4.2 Theme Editor default path traversal
Gartner 安全运营成熟度曲线:XDR、SOAR 泡沫破裂;EDR、SIEM 进入生产成熟期
Windows 11 市场份额突破三成
《每日开源》获取每日开源信息!
【人物调研】克里姆林宫的关键人物:德米特里·米罗诺夫
CVE-2024-7084 | Ernest Marcinko Ajax Search Lite Plugin up to 4.12.0 on WordPress cross site scripting
CVE-2024-7082 | Easy Table of Contents Plugin up to 2.0.67 on WordPress cross site scripting
CVE-2024-6766 | WP-FeedStats shortcodes-ultimate-pro Plugin up to 7.2.0 on WordPress Shortcode Attribute cross site scripting
CVE-2024-6651 | File Upload Plugin up to 4.24.7 on WordPress cross site scripting
CVE-2024-6203 | Halo Service Solutions HaloITSM up to 2.146.0 Password Reset Token password recovery
CVE-2024-6202 | Halo Service Solutions HaloITSM up to 2.146.0 SAML XML Signature Wrapping authorization
CVE-2024-6201 | Halo Service Solutions HaloITSM up to 2.146.0 Template information disclosure
How to Secure Your Organization from Shadow IT?
“Shadow IT” isn’t just a catchy term; it goes beyond official procedures. It also shows unmet employee tech needs and perceived problems in company processes. What’s worse is that shadow IT can make your system more vulnerable to attacks, put compliance at risk, and lead to scattered and poor IT operations. The risk isn’t just […]
The post How to Secure Your Organization from Shadow IT? appeared first on Kratikal Blogs.
The post How to Secure Your Organization from Shadow IT? appeared first on Security Boulevard.