Новая технология Apple по обеспечению безопасности детей может больше навредить детям, чем помочь

Новая технология Apple по обеспечению безопасности детей может больше навредить детям, чем помочь

Недавно компания Apple выпустила три новые функции, призванные обеспечить безопасность детей. Одна из них, под названием "Безопасность общения в Сообщениях", будет сканировать сообщения iMessages людей младше 13 лет, чтобы выявить и размыть сексуально откровенные изображения, и предупредить родителей, если их ребенок откроет или отправит сообщение с таким изображением. Сначала это может показаться хорошим способом снизить риск того, что молодые люди могут стать жертвами взрослых хищников. Но это может принести больше вреда, чем пользы.

Хотя нам хотелось бы, чтобы все родители стремились обеспечить безопасность своих детей, для многих детей это не так. Молодежь ЛГБТК+, в частности, подвергается высокому риску насилия и жестокого обращения со стороны родителей, в два раза чаще, чем другие, оказывается бездомной и составляет 30 процентов в системе патронатного воспитания. Кроме того, они чаще отправляют откровенные изображения, подобные тем, которые Apple стремится обнаружить и сообщить, отчасти из-за недостаточной доступности сексуального образования. Сообщение родителям о том, что дети отправляют СМС, может раскрыть их сексуальные предпочтения, что может привести к насилию или даже бездомности.

Этот вред усиливается тем, что технология, лежащая в основе этой функции, вряд ли будет особенно точной в обнаружении опасных откровенных изображений. По словам Apple, она будет использовать "машинное обучение на устройстве для анализа вложенных изображений и определения того, является ли фотография сексуально откровенной". Все фотографии, отправленные или полученные с помощью учетной записи Apple, принадлежащей лицу младше 13 лет, будут просканированы, а родительские уведомления будут отправлены, если эта учетная запись связана с указанным родительским аккаунтом.

Неясно, насколько хорошо будет работать этот алгоритм и что именно он будет выявлять. Некоторые алгоритмы обнаружения сексуально откровенного контента отмечают контент на основе процента отображения кожи. Например, алгоритм может отметить фотографию матери и дочери на пляже в купальниках. Если двое молодых людей посылают друг другу фотографию знаменитости в откровенном наряде, их родители могут быть уведомлены об этом.

Компьютерное зрение, как известно, сложная проблема, и существующие алгоритмы - например, используемые для распознавания лиц - имеют известные предубеждения, в том числе тот факт, что они часто не обнаруживают небелые лица. Риск неточностей в системе Apple особенно высок, поскольку большинство опубликованных в академических изданиях алгоритмов обнаружения наготы обучены на изображениях взрослых людей. Компания Apple не предоставила прозрачной информации об используемом алгоритме, поэтому мы не имеем представления о том, насколько хорошо он будет работать, особенно при обнаружении снимков, сделанных молодыми людьми, что, вероятно, является наиболее опасным.

Эти вопросы точности алгоритмов вызывают беспокойство, поскольку они рискуют привести к смещению ожиданий молодых людей. Когда мы слишком усердно объявляем поведение "плохим" или "опасным" - даже обмен фотографиями в купальниках между подростками - мы размываем способность молодых людей определить, когда с ними происходит что-то действительно вредное.

Фактически, даже имея эту функцию, мы учим молодых людей тому, что у них нет права на частную жизнь. Лишение молодых людей права на частную жизнь и права давать согласие прямо противоположно тому, что предлагают основанные на фактах рекомендации ЮНИСЕФ по предотвращению сексуальной эксплуатации и насилия над детьми онлайн и офлайн. Кроме того, эта функция не только рискует причинить вред, но и открывает дверь для более широкого вторжения в наши частные разговоры, включая вторжение со стороны правительства.

Мы должны работать лучше, когда речь идет о разработке технологий для обеспечения безопасности молодежи в Интернете. Это начинается с привлечения самих потенциальных жертв к разработке систем безопасности. Как показывает растущее движение вокруг справедливости дизайна, привлечение людей, на которых технология оказывает наибольшее влияние, является эффективным способом предотвращения вреда и разработки более эффективных решений. До сих пор молодежь не участвовала в разговорах, которые ведут технологические компании или исследователи. Это необходимо.

Мы также должны помнить, что технологии не могут в одиночку решить общественные проблемы. Важно направить ресурсы и усилия на предотвращение пагубных ситуаций в первую очередь. Например, следуя руководящим принципам ЮНИСЕФ и рекомендациям, основанным на исследованиях, расширять комплексные программы сексуального образования, основанные на согласии, которые могут помочь молодежи узнать о своей сексуальности и безопасно развивать ее.

Это мнение и аналитическая статья; взгляды, выраженные автором или авторами, не обязательно совпадают с мнением журнала Scientific American.

apple, дети, вред здоровью, безопасность, от сексуального насилия, помощь родителям, защита детей
Опубликовал материал:  MrAstute
138 Дата публикации: 08.09.21


Кликните на изображение чтобы обновить код, если он неразборчив