AI深度伪造欺诈激增30倍 AI安全行业的发展潜力如何?

人脸识别、语音识别、智能算法推送……当前，人工智能(AI)技术加速融入社会生活，2023年年初，ChatGPT更是以其丰富的知识与出色的自然语言交互能力，引起了现象级的关注。

工信部数据显示，2023年1-10月，国内人工智能产业发展势头向好，核心产业规模达到5,000亿元。从企业数量上看，截至2024年1月，国内人工智能相关企业为157.18万家。2021年-2023年，国内人工智能企业数量分别增加36.36万家、42.71万家、52.92万家，同比增长87.11%、17.47%、23.91%。

其中，以大模型为代表的生成式AI正加速与各行各业深度融合，关联产业规模已突破10万亿，催生出规模可观的数字经济新业态、新场景和新模式。其中，尤以智能制造、能源、金融、医疗、教育等领域的人工智能商业化应用最为活跃。

伴随着智能产业的蓬勃发展，各式各样的海量数据也在人们的生活中被大量收集、存储和利用。数据安全和隐私保护问题由此成为人工智能系统在开发和应用中面临的严峻挑战。

随着人工智能发展加速，由此引发的问题逐渐摆上台面。

奇安信发布《2024人工智能安全报告》：AI深度伪造欺诈激增30倍

奇安信集团对外发布《2024人工智能安全报告》。其中显示，2023年基于AI的深度伪造欺诈暴增了3000%，基于AI的钓鱼邮件增长了1000%;已有多个有国家背景的APT组织利用AI实施了十余起网络攻击事件。奇安信预计，未来十年，人工智能技术的恶意使用将快速增长，将在政治安全、网络安全、物理安全和军事安全等方面构成严重威胁。

近年来，随着数字化智能化的深入，新的技术不断衍生出新的安全风险，数字安全风险进入了快迭代、高智能、全覆盖的新阶段。尤其是2022年末AI大模型横空出世，AI安全风险陡增迅速成为全球业界的一致共识，AI安全成为主流的安全关切，并逐渐形成了一个新的安全技术研究领域。

AI技术的应用给我们带来了许多便利，但同时也引来了一系列的安全隐患。AI安全工作组的成立加强对AI技术安全的研究和防护，保障人们在使用AI技术时的安全和隐私。

上述《报告》认为，AI技术将会推动安全领域发生范式变革，全行业需启动人工智能网络防御推进计划。在人工智能带来巨大想象空间的同时，安全问题值得进一步关注，看好大模型及AI安全行业的发展潜力。

AI安全行业政策环境

2023年6月，欧洲议会通过了《AI法案》授权草案，草案内容包括用于监督人工智能基础模型的分级管理办法。

2023年10月，由中国全国信息安全标准化技术委员会组织，面向社会公开征求《生成式人工智能服务安全基本要求》意见。同月，日本首相岸田文雄在日本京都发表演讲，公布面向生成式人工智能的监管计划。

2023年11月，英国全球第一届人工智能安全峰会在英国召开，与会各国讨论了当下全球人工智能治理的问题。中国科技部副部长吴朝晖率团参会并在峰会开幕式上发表讲话，并在会后联合发布《宣言》，该《宣言》成为“第一份关于有必要监管AI发展的全球声明”。

斯坦福大学发布的《2023年人工智能指数报告》中提到，对127个国家的立法记录调研的结果显示，包含“人工智能”的法案被通过成为法律的数量，从2016年的仅1个增长到2022年的37个。该报告对自2016年以来81个国家的人工智能法律法规记录的分析也同样表明，全球立法程序中提及人工智能的次数增加了近6.5倍。

据中研产业研究院《2024-2029年中国AI安全行业市场全景调研与发展前景预测报告》分析：

事实上，为了应对AI安全风险，我国从业机构已经开始探索安全科技以加强AI技术的潜在风险研判和防范。例如，2023年9月，蚂蚁集团推出了“蚁天鉴”大模型安全一体化方案，其中包括大模型安全检测平台“蚁鉴2.0”和大模型风险防御平台“天鉴”，为大规模AI模型的安全保障带来了全新的突破。

工信部日前在其官方网站上发布了关于2023年第四季度电信服务质量的通告。其中提出，发布国内首个个人信息保护AI大模型“智御”助手，为APP开发运营、检测防护、政策解读等提供智能化服务。着力整治“摇一摇”乱跳转等突出问题，公开通报81款违规APP和SDK，持续净化移动互联网服务环境。

查询获悉，“智御”人工智能大模型由中国信息通信研究院研发，面向移动互联网应用开发者、分发平台、终端厂商、检测机构等行业上下游主体，提供多模态、多样化的合规咨询、风险检测、代码生成、操作指引等服务，构建 AI 赋能个人信息保护新范式。

报告对中国AI安全行业的内外部环境、行业发展现状、产业链发展状况、市场供需、竞争格局、标杆企业、发展趋势、机会风险、发展策略与投资建议等进行了分析，并重点分析了我国AI安全行业将面临的机遇与挑战。

想要了解更多AI安全行业详情分析，可以点击查看中研普华研究报告《2024-2029年中国AI安全行业市场全景调研与发展前景预测报告》。