如何保护聊天机器人免受机器学习攻击

人工智能是一个成长中的行业，其动力来自大型科技公司、新创公司和大学研究团队的进步。尽管AI技术正在快速发展，但围绕机器学习安全性的法规和故障却是另一回事。无法保护ML模型可能会造成极大的损失。Chatbot漏洞甚至可能导致私人用户数据被盗。在本文中，我们将研究机器学习网络安全的重要性。此外，我们将说明ML安全公司如何通过其Virtual Assistant Shield保护Chatbot的。

　　为什么机器学习安全性很重要？

保护机器学习模型免受网络攻击类似于确保您的车辆通过安全检查。仅仅因为汽车可以移动并不意味着在公共道路上行驶是安全的。无法保护您的机器学习模型可能会导致数据泄露，超参数盗窃或更糟。

在2019年，该公司起诉其聊天机器人开发人员，原因是发生在2017年的乘客数据泄露事件。黑客获得了对Delta聊天机器人系统的访问权限，并修改了源代码。这使他们可以抓取用户输入的数据。这次事故对达美航空造成了巨大的损失，导致数百万美元用于调查漏洞并保护受影响的客户。

聊天机器人中的机器学习安全漏洞

聊天机器人特别容易受到机器学习攻击，因为它们之间经常不断的用户交互，而这些交互通常是完全不受监督的。我们与Scanta进行了交谈，以了解聊天机器人面临的最常见的网络攻击。

Scanta首席技术官告诉我们，他们看到的最常见的攻击之一是 通过对抗性输入进行的数据中毒攻击。

　　什么是数据中毒？

数据中毒是一种机器学习攻击，其中，黑客污染了机器学习模型的训练数据。

他们通过注入对抗性输入来实现，这些输入是故意更改的数据样本，旨在诱使系统产生错误的输出。

像客户服务聊天机器人这样经过用户输入数据进行持续训练的系统尤其容易受到此类攻击。大多数现代的聊天机器人都可以自动操作并在没有人工干预的情况下回答客户的询问。通常，除非查询升级为人员，否则永远不会监视聊天机器人与用户之间的对话。缺乏监督使得聊天机器人成为黑客利用的主要目标。

为了帮助公司保护其聊天机器人和虚拟助手，Scanta不断改进其机器学习安全系统VA Shield。

如何保护聊天机器人和虚拟助手

Scanta于2016年成立，是一家为聊天机器人和虚拟助手提供机器学习安全服务的科技公司。

Scanta的VA Shield是一种机器学习安全系统，可在模型，数据集和对话级别保护聊天机器人。“ VA Shield使用ML防御ML攻击。我们为每个用户进行行为分析，并标记任何异常行为。” CTO 说。“行为分析是针对最终用户以及聊天机器人进行的。分析所有输入，输出和输入输出组合实体，以检测任何恶意活动。”

在对话级别，Scanta会评估聊天机器人的输出，以阻止恶意攻击并捕获业务见解。“上下文分析是一个简单的概念，其中，聊天机器人的响应是根据请求的上下文进行查看的，” CTO说。“此外，对话中的下一个请求是在上一个请求的上下文中看到的。为了进行这些分析，我们使用历史数据。例如，我们查看了用户的历史请求特征和来自聊天机器人的响应，以及聊天机器人的响应特性。”

　　常规的IT团队为什么不能应对这些攻击？

在与Scanta首席执行官交谈时，我问他为什么拥有自己的IT团队的公司会麻烦外包机器学习安全服务。这些IT团队难道不能自己纳入ML安全协议吗?

“我们与许多公司进行了交谈，得知这些ML威胁是大多数人不知道的事情，我感到非常惊讶，” CTO说。“现实是许多人甚至都不知道这是他们必须防止的事情。”

“大多数IT团队和安全解决方案都提供网络安全和Web应用程序防火墙等功能。这种类型的安全性不同于Scanta提供的安全性。我们在讨论和介绍的内容处于不同的水平。这远远超出了消除训练数据的偏见。”

在前面提到的达美航空示例中，有人入侵了聊天机器人并修改了源代码。该黑客使他们可以访问私人客户数据。“这是因为没有人监视正在进入聊天机器人的内容和正在发生的内容，” CTO说。

“这是当今机器学习技术构建方式的结果。但是，必须有一种机制可以解释是否有恶意。我们将此系统称为零信任框架。您必须确保所有方面都受到保护。这与保护数据库或网络一样重要。”

我们的日常生活和个人数据越来越与计算机系统交织在一起。随着现代社会数字化的日益发展，提高数据安全性成为当务之急。特别是在像GDPR这样的组织制定了数据法律的情况下，公司比以往任何时候都更加重要地保护其私有数据和客户数据。

机器学习模型的更高安全性将使数据科学界和AI技术的日常用户受益。在2020年上半年，我们看到了IBM抵制面部识别技术。重要的是，更多大型公司应退后一步，将安全和社会影响放在开发之前。想了解更多关于网络安全的信息，请继续关注中培教育。