Решение проблемы оскорблений в интернете? Искусственный интеллект плюс человеческий интеллект / травля :: ИИ :: интернет :: world economic forum

Решение проблемы оскорблений в интернете? Искусственный интеллект плюс человеческий интеллект

(Как я понял речь идет об удалении публикаций с небольших форумов и сайтов,в т.ч в даркнете,не попадающих в поле зрение на данный момент)

Далее перевод на русском через переводчик.Ссылка на оригинал на английском выше.

Поскольку 63% населения мира находится в сети, Интернет является зеркалом общества: он говорит на всех языках, содержит все мнения и принимает широкий круг (иногда неприятных) людей.

По мере развития Интернета развивался и темный мир онлайн-травли. Команды доверия и безопасности (команды, которые обычно находятся на онлайн-платформах, ответственных за удаление оскорбительного контента и обеспечение соблюдения политики платформы) сталкиваются с постоянно растущим списком злоупотреблений, таких как жестокое обращение с детьми, экстремизм, дезинформация, разжигание ненависти и мошенничество; и все более продвинутые субъекты злоупотребляют платформами уникальными способами.

Решение, однако, не так просто, как нанять еще одну комнату, полную модераторов контента, или создать еще один список блокировок. Без глубокого знакомства с различными видами злоупотреблений, понимания формулировки групп ненависти, беглого владения террористическими языками и тонкого понимания кампаний по дезинформации команды доверия и безопасности могут только царапать поверхность.

Требуется более изощренный подход. Благодаря уникальному сочетанию мощи инновационных технологий, внеплатформенного сбора разведданных и мастерства экспертов в данной области, которые понимают, как действуют субъекты угроз, масштабированное обнаружение онлайн-злоупотреблений может достигать почти идеальной точности.

Злоупотребления в Интернете становятся все более изощренными

С момента появления Интернета велись войны, приходили и уходили рецессии, а новые вирусы сеяли хаос. Хотя интернет сыграл жизненно важную роль в восприятии этих событий, он способствовал другим изменениям, таким как радикализация экстремистских мнений, распространение дезинформации и широкое распространение материалов о сексуальном насилии над детьми (CSAM).

Попытки онлайн-платформ остановить эти злоупотребления привели к тому, что Roadrunner встретился с Wile E. Ситуация, подобная ситуации с койотом, когда субъекты угрозы используют все более изощренную тактику, чтобы избежать эволюционирующих механизмов обнаружения. Это привело к появлению нового сленга, такого как “хищники детей”, обозначающие “пиццу с сыром” и другие термины, включающие буквы Ц и П вместо "детская порнография". Используются новые методологии, такие как использование средств сокращения ссылок для сокрытия ссылки на дезинформационный веб-сайт; и тактика онлайн-злоупотреблений, такая как внеплатформенная координация атак на меньшинства.

В основе большинства методов обнаружения вредоносного контента лежит искусственный интеллект (ИИ). Эта мощная технология опирается на массивные обучающие наборы для быстрого выявления масштабного насильственного поведения. Построенный на наборах данных об известных онлайн–злоупотреблениях на знакомых языках, ИИ может обнаруживать известные нарушения на знакомых языках, но он менее эффективен при обнаружении нюансов нарушений на языках, на которых он не был обучен - зияющая дыра, которой могут воспользоваться злоумышленники.

Обеспечивая скорость и масштаб, ИИ также не хватает контекста: важнейшего компонента работы по обеспечению доверия и безопасности. Например, существуют надежные модели искусственного интеллекта для обнаружения наготы, но мало кто может определить, является ли эта нагота частью картины эпохи Возрождения или порнографическим изображением. Аналогичным образом, большинство моделей не могут расшифровать, используется ли нож, показанный в видео, для рекламы оборудования мясника или для насильственного нападения. Это отсутствие контекста может привести к чрезмерной модерации, ограничению свободы слова на онлайн-платформах; или недостаточной модерации, что представляет риск для безопасности пользователей.

В отличие от искусственного интеллекта, модераторы-люди и эксперты по тематике могут выявлять нюансы онлайн-злоупотреблений и понимать многие языки и культуры. Эта точность, однако, ограничена конкретной областью знаний аналитика: модератор-человек, который является экспертом в европейском превосходстве белой расы, не обязательно сможет распознать вредоносный контент в Индии или дезинформационные повествования в Кении. Этот ограниченный фокус означает, что для того, чтобы модераторы–люди были эффективными, они должны быть частью больших, надежных команд, что требует усилий для большинства технологических компаний.

Человеческий фактор также не следует игнорировать. Тысячи модераторов, которым поручено сохранять отвратительный контент в автономном режиме, должны сами стать свидетелями этого, что подвергает их высокому риску психических заболеваний и травматических расстройств. Помимо заботы о модераторах, эта ситуация может ограничить эффективность работы, поскольку высокий отток и нестабильность персонала приводят к низкой организационной стабильности и неизбежным ошибкам модерации.

Разумное решение "Доверие и безопасность" для выявления онлайн-злоупотребленийВ то время как ИИ обеспечивает скорость и масштаб, а люди-модераторы обеспечивают точность, их совместных усилий все еще недостаточно для упреждающего обнаружения вреда до того, как он достигнет платформ. Чтобы добиться проактивности, команды доверия и безопасности должны понимать, что оскорбительный контент не запускается и не останавливается на их платформах. Прежде чем попасть на основные платформы, участники угроз собираются в самых темных уголках Интернета, чтобы определить новые ключевые слова, поделиться ссылками на ресурсы и подробно обсудить новые тактики распространения. Эти секретные места, где террористы, группы ненависти, дети-хищники и агенты дезинформации свободно общаются, могут предоставить кладезь информации для команд, стремящихся обеспечить безопасность своих пользователей.

Проблема в том, что доступ к этой информации никоим образом не масштабируется. Классический сбор разведданных требует глубоких исследований, опыта, доступа и изрядного количества навыков ассимиляции – человеческих способностей, которые не могут быть воспроизведены машиной.

Создавая с умом

Мы установили, что стандартный процесс алгоритмов искусственного интеллекта для масштаба и человеческих модераторов для точности не обеспечивает адекватного баланса масштаба, новизны и нюансов. Мы также установили, что внеплатформенный сбор разведданных может обеспечить контекст и нюансы, но не масштаб и скорость.

Чтобы преодолеть барьеры традиционных методологий обнаружения, мы предлагаем новую структуру: вместо того, чтобы полагаться на ИИ для масштабного обнаружения и людей для рассмотрения крайних случаев, решающее значение имеет подход, основанный на разведданных.

Привнося в обучающие наборы управляемый человеком многоязычный внеплатформенный интеллект, ИИ сможет обнаруживать нюансы новых масштабных онлайн-злоупотреблений до того, как они достигнут основных платформ. Дополнение этого более интеллектуального автоматического обнаружения человеческим опытом для анализа крайних случаев и выявления ложноположительных и отрицательных результатов, а затем передача этих результатов обратно в обучающие наборы позволит нам создать искусственный интеллект с использованием человеческого интеллекта. Этот более интеллектуальный ИИ становится все более изощренным с каждым решением о модерации, в конечном итоге обеспечивая почти идеальное обнаружение в масштабе.