排毒:一种用于检测和预防有毒语音的AI系统

排毒:一种用于检测和预防有毒语音的AI系统

2021年3月16日,星期二,上午10:05

内容:博客

网络欺凌是每个人的业务,最好的回应是主动的。我们的新研究项目排毒是迈向弄清楚如何帮助儿童和父母在当今复杂的数字宇宙中的一步。

长期以来,各种形式的欺凌一直是儿童社会,社区和学校生活的困难。雷竞技改名字随着数字技术的进步以及儿童和青少年对智能手机的广泛使用,网络欺凌逐渐成为令人震惊的关注来源。例如,最新的民意调查由联合国儿童基金会表明,30个国家 /地区的三分之一年轻人说,他们一直是在线欺凌的受害者,五分之一的报道因网络欺凌和暴力而跳过了学校。

欺凌和网络欺凌都违反了儿童的诚信,尊严和自尊心。两者都可能导致信心减少,自尊的丧失以及对我们的孩子的许多长期不利影响,在最极端的情况下,自杀。与传统欺凌的身体虐待和面对面的口头攻击相反,网络欺凌发生在社交媒体,论坛,消息平台,游戏平台和手机上。我们必须认识到网络欺凌没有物理限制。在网络空间中,可以从计算机屏幕后面执行恶性行为,该屏幕的匿名肇事者可以成为世界上几乎任何人的任何人。更恐怖的是欺凌行动可以在几秒钟内传播并吸引大量受众的速度和规模。因此,网络欺凌对儿童心理健康的损害和损害是非常可悲的,是自发的,毁灭性的和持久的。

父母和老师实际上是针对网络欺凌的第一条防御线。他们可以教孩子,以任何形式欺凌永远没有道理。此外,他们可以向他们展示如何反对敌对的评论,消息或残酷的照片,如何阻止恶霸以及如何报告这些内容并寻求帮助。不幸的是,麻烦的是,一旦孩子们看到有毒的评论,他们就无法看到他们。为此,社交媒体公司还通过加强内容审核,简化和加快内容报告程序以及执行严格的政策来对网络欺凌行为采取强烈的立场。但是,这些公司的有毒内容量不堪重负,而人类策展人根本无法应付负担。毕竟,我们并不感到惊讶的是,尽管父母,教育从业者,平台提供者和政府做出了巨大的努力,但网络欺凌仍然是一个尚未充分解决的问题。

在线检测网络欺凌行为提出了挑战。众所周知,很难检测到这种内容,因为人们出于各种原因使用冒犯性语言。仅仅专注于发现关键字,更不用说不断增长的互联网语单词并不是理想的解决方案。此外,一些最卑鄙的评论不会使用公开或绝对令人反感的单词。另外,我们正在处理一个发现的问题,因为只有很小的互联网内容有毒。

为了正面解决这一挑战,我们在Nortonlifelock Labs利用最新的AI技术来开发我们最新的研究努力 - 排毒神经发动机以高精度自动在大规模检测有害内容。

排毒核心由一个智能系统组成,该系统通过识别语言的细微差别而受过训练,可以发现有毒内容。从本质上讲,我们的方法模仿了培训过程,以便在初级人类内容主持人上发现网络欺凌内容。在培训期间,我们将向这些受训者展示有毒评论的不同示例,解释单词/语,并说明当单词合并在一起时的隐含含义。

在我们的情况下,我们采用类似的培训方法来指导数字AI主持人。为此,我们构建了一个基于注意力的双向神经发动机。该顺序模型由两层组成。第一层将输入句子沿向前的方向和第二层沿向后方向进行。在此设置中,我们有效地增加了模型可用的信息和上下文的数量(例如,知道句子中立即跟随并在句子中遵循哪些单词)。我们还结合了一种注意机制,以使我们的神经发动机能够选择性地关注与有毒含量最相关的信息。这样,我们可以训练排毒神经引擎,以了解句子中单词的上下文信息以及有毒评论背后的相关模式。

一旦经过训练和微调,AI驱动的排毒引擎将被设计为确定不太明显的欺凌图案。例如,排毒可以识别“上衣”和“男孩”之间隐含的静止含义,这些含义可以根据孩子的性取向进行操纵来攻击孩子。该系统部署在正确的应用程序中,然后主动阻止这种有毒的内容,并在欺凌行为到达受害者之前停止。同时,可以设计系统来提醒父母在有毒内容识别的情况下。后来,父母可以采取行动来保护自己的孩子的在线经历。在示例中这里,我们说明了排毒的检测能力。请注意,由于有毒评论的性质,这些示例包含可能被视为亵渎,粗俗或冒犯性的文本。

除了阻止有害内容外,至关重要的是要意识到阅读负面内容可能是有毒的。只是想象一个孩子痴迷地阅读同龄人的鲁ck评论。这种内容不是严格欺凌的,而是不可避免地会导致负面的思想和感觉,这会进一步导致孤立,抑郁和情绪变化。因此,排毒引擎还可以使我们能够跟踪儿童浏览内容的整体情感。这样,父母就可以就网站和社交网络如何影响孩子有有用的见解。反过来,父母可以通过主动与他们进行有意义的对话来限制对儿童心理健康的负面影响。

网络欺凌是每个人的业务,最好的回应是主动的。我们的新研究项目排毒是迈出的一步,旨在帮助孩子和父母在当今的复杂数字宇宙中浏览。请继续关注排毒的更多更新!

类别: 创新与技术