圆桌对话 | AI浪潮下,浅谈企业安全的构建与应对

近日,网宿安全正式发布《2024年网络安全态势报告》。报告基于网宿平台服务的金融、政务、制造、文娱等数十个行业的攻防数据,对过去一年企业Web安全、办公安全等领域的攻击态势与防御技术进行分析,并系统性讲解了“AI驱动的体系化主动安全”理念,为企业在AI浪潮下的安全建设提供可落地的实施路径

(☞速览报告核心发现

发布会上,中国信通院泰尔终端实验室数字安全研究部主任蒋阿芳、安全牛分析师张奕、网宿安全高级总监胡钢伟出席圆桌环节,围绕AI应用现状及风险防范、数据安全、以及出海安全等话题展开了深入交流。

以下为圆桌实录精简版:

Q1:安全领域AI使用成熟度是怎样的?制约成熟度发展的主要阻碍是什么?

网宿安全 胡钢伟:

目前制约AI在安全应用的瓶颈,我认为可以从算力、模型、应用这几个维度上面去看。

在算力维度,受地缘政治等大环境及一些先进制程方面的限制,使得大模型的基础设施实现智能化出现瓶颈。DeepSeek爆火让大家看到多专家模型在性能上的优势,同时很多企业也在安全的细分场景上尝试用一些小参数的模型做应用,这两者都在慢慢降低对算力的依赖,这是算力限制方面

第二个模型本身具备的不可解释性,以及模型的知识盲区导致输出信息的混淆、模型幻觉问题,这些在通用大模型上面的问题,在安全行业的大模型中也依然会遇到。

第三个在具体的应用方面,各厂商的安全智能体在日志标准化、接口标准化方面并不统一,导致安全应用使用不统一,也是制约智能体在网络安全行业广泛应用的重要瓶颈。

安全牛 张奕:

在AI赋能安全应用方面是百花齐放,我认为在安全运营方面,AI使用相对来说是比较成熟的,尤其是对钓鱼演练、威胁告警降方面,但对事件研判方面属于没有那么成熟,相当于中等的这种情况。在响应方面,在比较成熟的固定的场景下,自动化响应是可以实现的。但对于人类还不知道的威胁,它就相对也判断不出来。

另外AI赋能在识别未知威胁方面蛮成熟的,可以全程实现自动化,比如:针对某个IP根据提示词做渗透测试,大概十几二十分钟,报告就出来了。但AI也会出现大模型幻觉,比如AI智能体通过MCP接口调用一些工具,这个时候一些工具比较相似的情况下,大模型幻觉就会导致它调用错误。

Q2:如何看待用户使用AI的期望和落差,能否给正在规划的用户一些建议?

安全牛 张奕:

我观察到用户对AI期望值高的情况确实存在,通常认为只要上了AI,第一人就变少了;第二我只要把AI部署好,问题都自动能解决;最后把AI上了以后,落差会比较大。

在AI场景下,越精细的场景AI判断越准确,所以建议最初一定要用精细化的场景部署AI,比如说告警降噪,就比较容易得到回报,从小而精开始,慢慢去实现。

网宿安全 胡钢伟:

我们回归到本质,Agent本质上是代理,代理是什么意思?本质上AI是基于大模型的输入输出,帮助用户自动化执行一些任务,在这个过程当中,它能够去做用户已经想清楚的事情,它做不了人类还没有想清楚或者执行不了的事情,这可能是大家对AI整个预期过高的一个根本原因。

在实际具体落地上面,第一点,既然AI是一个人类的代理或者人类大脑的机器手,我们需要想清楚具体需要AI在哪些场景中做效率提升,又或者说去对准确率做提升,随着我们自身对AI的理解逐渐深刻,同时基于大量语料输入训练,智能体或者大模型的认知能够慢慢契合企业内部的安全性要求,再逐步探索一些其他的场景。

其次,我刚刚在报告里面也有简单介绍到,第一个要尽量避免有一蹴而就的想法,我们还是希望企业能够根据自己的水位,去分步分阶段去做。第二在智能体上面,它其实分全自动决策和半自动决策,对应到现在的智能驾驶方面可能也是有辅助驾驶和自动驾驶的区别。站我的角度,我认为网络安全这个行业,完全还没有到达真正智能驾驶的级别,更多更高阶的研判类的工作,还是需要人的深入参与。

Q3:如何看待AI与数据安全的关系?怎么保障AI数据安全?

泰尔实验室 蒋阿芳:

我这几年一直做数据安全相关的工作,AI大模型有两个特点,第一参数多,第二数据量大,这里面就会涉及到数据安全,尤其是会涉及到数据的窃取、泄露,包括数据的伪造,还有大量个人隐私的数据被侵犯的风险存在。再有一个AI伪造会对信任造成一些影响。

AI赋能安全行业发展,不管是网络安全还是数据安全,它相当于增强了我们的能力,这方面来说,AI与数据安全也是相辅相成的,各位都是在AI赋能安全这个领域深度的实践者,今天我也是学到很多。

网宿安全 胡钢伟:

我的观点跟蒋主任类似,讲到数据安全,可以参考数据安全能力成熟度中从数据采集、传输、存储、使用、交换、销毁这几个维度来评估,要一一细说内容就很多,我就从大模型使用过程中来分析一下,我们看到用户经常会遇到两方面的挑战。

第一个方面就是用户在使用大模型的过程当中,一些提示词注入或者数据投毒,会对AI大模型的数据造成污染,或者说造成不可控内容的输出。在这个过程当中,我们可以用一些内容安全的管控策略,比如说针对大语言模型参考OWASP LLM TOP10的威胁管控,用一些大模型化的安全引擎保障大语言模型在使用过程中的内容安全问题。

第二点,用户在使用大模型或者使用智能体过程当中,比较常见需要解决的就是用户的访问权限,以及访问一些受控的资源的授权问题。在这个过程中,零信任是一个比较好的选择,可以通过零信任对于用户做好比较精准的包括授权,包括鉴权、认证等管控,避免一些未经授权访问的需求到达大模型上,对大模型本身的数据输出或者底层的数据造成威胁。

Q4:针对大模型基础设施防护方面能否再分享一下?

安全牛 张奕:

前面咱们聊到大模型数据安全,我有关注过一个技术是蛮好,蒋主任可能更熟悉,就是可信数据空间这块。

我接触过这样一个案例,当时是金融行业的一个大模型和公安系统的大模型,包括可疑人物、电话、黑名单等数据,两者之间结合,相当于在一个公共的可信空间里面,去跑他们两个的数据,这时候就可以实现数据不出域、用户不可见,但双方的数据又不互换,这可信数据空间我觉得这个技术是蛮好的,可以很好的保障大模型基础设施安全,供大家参考。

泰尔实验室 蒋阿芳:

可信数据空间这几年比较火,它主要解决数据共享流通的问题,各厂家的数据不同、标准不同,各有所长,我们怎么建一个行业的基准线,其实就可以把各个厂家手里的数据建模放在一个公共数据空间里面,进行联合计算,联合训练,输出行业基准。要是各大厂商能够一起共建一个可信数据空间是一件非常有意义的事情,垂类安全可以探讨一下,这是一个很好的想法。

Q5:关于出海,海外也存在黄牛党这种攻击吗?和国内相比有什么差异?

网宿安全 胡钢伟:

我用一句比较时髦的话来讲就是“有人的地方就有江湖”,海外交易类的,包括电商类的业务,发展也是比较快的,所以在国外的场景里面,遇到的攻击跟国内有一定的相似性

从行业特征上面来看,以前都是人工写脚本,现在由AI生成。第二个爬虫整个攻击行为,无论是国内还是国外,其实整体来说都出现了一个有组织的形式。

那在爬虫攻击防护的过程当中建议,第一,从基础的底层工作开始,做好安全左移,做好校验和接口的安全验证等工作。第二,业务上线过程中,保障代码或接口等安全,避免羊毛党或者黄牛党利用这些漏洞去实施一些爬虫攻击行为。第三个,在业务运行时,可以利用一些智能方法识别正常或者异常的爬虫流量,针对性防护。

泰尔实验室 蒋阿芳:

国外因为分不同洲不同国家,有些国家相关的法律不同,有法律出台的地方管控力度还是很大的,但数据安全大部分还是滞后性的,而且国外一般是用重罚的手段倒逼做好安全的工作。

但是国内这块没有国外那么重,我觉得相对来说我们国内的数据安全能力比国外强。它跟网络安全还是有比较大的区别,需要通过我们安全的管理措施,安全的行为监测,这些手段可以去更好提升数据安全防护。

还有一些运营商也是帮助企业在出海过程中解决合规需求,在国外合规的需求。比如新能源汽车在海外运营的时候,中东的法律都要求你的数据必须落在国内,类似这种要求,已经在逐渐细化了,而且都有强监管的趋势。这块建议企业找有专业咨询+产品+服务能力输出的企业合作

网宿安全 胡钢伟:

网宿服务出海客户很多年了,我们有比较体系化的合规咨询能力,面临合规问题,其实分几个方向:

第一个方向,中国的企业要走出去,必然要满足中国的法律法规针对数据出去的合规性问题,2022年的时候,当时中央网信办其实发布了《数据出境管理办法》,在2023年和2024年分别对数据出境的管理办法做了比较细致的澄清。现在很多用户开展跨境业务过程当中,第一个想到的就是数据能不能出去,网宿往往会基于数据出境的管理办法给他们提供合规的咨询,帮客户解决了数据出去的问题,帮助客户在东南亚、中东、欧洲这些地方开展业务。

第二个网宿布局全球,我们可以把中国企业面临的数据出境问题,以及企业落地各个区域去开展业务过程当中的数据合规问题,做一个整体的咨询服务。在咨询服务的基础之上,我们还有更多的产品,比如说中国企业在数据出境合法的通道,我们可以提供安全的跨境线路,去保障数据在流动过程当中是有安全通道的。

媒体提问:网宿科技如何利用AI提升自身安全产品的防御能力?效果如何?

网宿安全 胡钢伟:

我们在产品和服务方面都有相应的AI布局,一直都有利用AI做能力提升。

那在Web安全方面刚刚在报告里面讲到的智能防爬的拦截率有50%以上,也就是说整个平台里面有一半以上的爬虫告警是靠AI爬虫引擎识别出来的,另外针对提示词注入了Web攻击行为,我们现在也在Web体系里面加了大语言模型WAF引擎,去提升我们针对大模型攻击的行为特征的识别和拦截,这个是Web安全层面上。

在办公安全层面上,前面讲的比较多是针对办公安全里面数据安全上面的防护,其实在大模型实际安全落地场景里面,最TOP的当然是安全运营,我们目前有尝试用大模型去做数据的分类分级,包括一些威胁的研判,或者说海量数据的分析,其实我们这个大模型目前的效果还是比较好的。

在服务层面上,除了针对大模型赋能于网络安全之外,还有针对基础设施方面的安全能力,我们通过攻防的视角,对于大模型本身做一些安全评估,针对大模型的一些内容上面的输入输出管控,我们通过人工和攻防方式对大模型技术做一些评估,进而发现一些风险,可以给客户提供一些改造和优化建议。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值