Поскольку мы вступаем в новую эру, когда технологии, основанные на искусственном интеллекте, могут создавать изображения и манипулировать ими с точностью, стирающей грань между реальностью и фальсификацией, призрак неправильного использования становится все более очевидным.
Недавно усовершенствованные генеративные модели, такие как DALL-E и Midjourney, известные своей впечатляющей точностью и удобными интерфейсами, сделали создание гиперреалистичных изображений относительно легким делом. Благодаря снижению барьеров входа даже неопытные пользователи могут создавать высококачественные изображения и манипулировать ими на основе простых текстовых описаний — от невинных изменений изображений до вредоносных изменений.
Такие методы, как нанесение водяных знаков, представляют собой многообещающее решение, но неправильное использование требует превентивных мер (в отличие от только временных).
В стремлении создать такой новый показатель исследователи из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) разработали «Фотогард», метод, который использует возмущения — незначительные изменения значений пикселей, невидимые человеческому глазу, но обнаруживаемые компьютерными моделями, — которые эффективно нарушают способность модели манипулировать данными. изображение.
PhotoGuard использует два различных метода «атаки» для генерации этих возмущений. Более простая атака «кодировщика» нацелена на скрытое представление изображения в модели искусственного интеллекта, заставляя модель воспринимать изображение как случайный объект. Более сложный метод «диффузии» определяет целевое изображение и оптимизирует возмущения, чтобы конечное изображение было как можно ближе к целевому.
«Рассмотрите возможность мошеннического распространения поддельных катастрофических событий, таких как взрыв на значительном ориентире. Этот обман может манипулировать рыночными тенденциями и общественными настроениями, но риски не ограничиваются публичной сферой. Личные изображения могут быть ненадлежащим образом изменены и использованы для шантажа, что приводит к значительным финансовым последствиям при крупномасштабном исполнении», — говорит Хади Салман, аспирант Массачусетского технологического института в области электротехники и компьютерных наук (EECS), филиал MIT CSAIL и ведущий автор новой статьи о PhotoGuard, доступной на arXiv сервер препринтов.
«В более экстремальных сценариях эти модели могли бы имитировать голоса и изображения для инсценировки ложных преступлений, причиняя психологический стресс и финансовые потери. Быстрый характер этих действий усугубляет проблему. Даже когда обман в конечном счете раскрывается, ущерб — будь то репутационный, эмоциональный или финансовый — часто уже нанесен. Это реальность для жертв на всех уровнях, от отдельных лиц, над которыми издеваются в школе, до манипуляций в масштабах всего общества».
Фотозащита на практике
Модели искусственного интеллекта рассматривают изображение иначе, чем это делают люди. Он рассматривает изображение как сложный набор математических точек данных, которые описывают цвет и положение каждого пикселя — это скрытое представление изображения. Атака кодировщика вносит незначительные коррективы в это математическое представление, заставляя модель искусственного интеллекта воспринимать изображение как случайный объект.
В результате любая попытка манипулировать изображением с помощью модели становится практически невозможной. Внесенные изменения настолько незначительны, что незаметны человеческому глазу, что позволяет сохранить визуальную целостность изображения и одновременно обеспечить его защиту.
Вторая и, безусловно, более сложная атака «диффузии» стратегически нацелена на всю модель диффузии от начала до конца. Это включает в себя определение желаемого целевого изображения, а затем инициирование процесса оптимизации с намерением точно согласовать сгенерированное изображение с этим предварительно выбранным целевым объектом.
При реализации команда создала возмущения во входном пространстве исходного изображения. Эти возмущения затем используются на этапе вывода и применяются к изображениям, обеспечивая надежную защиту от несанкционированных манипуляций.
«Прогресс в области искусственного интеллекта, который мы наблюдаем, поистине захватывает дух, но он позволяет использовать ИИ как с пользой, так и злонамеренно», — говорит профессор Массачусетского технологического института EECS и главный исследователь CSAIL Александр Мадри, который также является автором статьи. «Таким образом, крайне важно, чтобы мы работали над выявлением и смягчением последствий последнего. Я рассматриваю PhotoGuard как наш небольшой вклад в это важное начинание».
Источник: Массачусетский технологический институт
Диффузионная атака требует больших вычислительных затрат, чем ее более простой аналог, и требует значительного объема памяти графического процессора. Команда говорит, что приближение процесса диффузии к меньшему количеству шагов устраняет проблему, тем самым делая метод более практичным.
Чтобы лучше проиллюстрировать атаку, рассмотрим, например, художественный проект. Исходное изображение — это рисунок, а целевое изображение — это другой рисунок, который совершенно отличается. Диффузионная атака подобна внесению крошечных, невидимых изменений в первый рисунок таким образом, что для модели искусственного интеллекта он начинает напоминать второй рисунок. Однако для человеческого глаза оригинальный рисунок остается неизменным.
Делая это, любая модель искусственного интеллекта, пытающаяся изменить исходное изображение, теперь будет непреднамеренно вносить изменения, как если бы имела дело с целевым изображением, тем самым защищая исходное изображение от намеренных манипуляций. В результате получается изображение, которое остается визуально неизменным для наблюдателей-людей, но защищает от несанкционированного редактирования моделями искусственного интеллекта.
Что касается реального примера с PhotoGuard, рассмотрим изображение с несколькими лицами. Вы могли бы замаскировать любые лица, которые не хотите изменять, а затем ввести запрос «двое мужчин на свадьбе». После отправки система соответствующим образом скорректирует изображение, создавая правдоподобное изображение двух мужчин, участвующих в свадебной церемонии.
Теперь подумайте о защите изображения от редактирования; добавление изменений к изображению перед загрузкой может защитить его от изменений. В этом случае конечному результату будет не хватать реалистичности по сравнению с исходным, невосприимчивым изображением.
Все на палубе
По словам команды, ключевыми союзниками в борьбе с манипуляциями с изображениями являются создатели моделей для редактирования изображений. Для того чтобы PhotoGuard была эффективной, необходима комплексная реакция всех заинтересованных сторон. «Директивным органам следует рассмотреть вопрос о внедрении нормативных актов, которые обязывают компании защищать пользовательские данные от подобных манипуляций. Разработчики этих моделей искусственного интеллекта могли бы разработать API, которые автоматически добавляли бы искажения к изображениям пользователей, обеспечивая дополнительный уровень защиты от несанкционированных правок», — говорит Салман.
Несмотря на обещания PhotoGuard, это не панацея. Как только изображение появляется в Сети, люди со злым умыслом могут попытаться изменить защитные меры, применяя шум, обрезая или поворачивая изображение. Однако существует множество предыдущих работ из литературы по состязательным примерам, которые могут быть использованы здесь для реализации надежных возмущений, которые противостоят обычным манипуляциям с изображениями.
«Совместный подход с участием разработчиков моделей, платформ социальных сетей и политиков обеспечивает надежную защиту от несанкционированного манипулирования изображениями. Работа над этим насущным вопросом сегодня имеет первостепенное значение», — говорит Салман.
«И хотя я рад внести свой вклад в это решение, необходимо проделать большую работу, чтобы сделать эту защиту практической. Компаниям, разрабатывающим эти модели, необходимо инвестировать в разработку надежных средств защиты от возможных угроз, создаваемых этими инструментами искусственного интеллекта. Вступая в эту новую эру генеративных моделей, давайте в равной степени стремиться к потенциалу и защите».
«Перспектива использования атак на машинное обучение для защиты нас от неправомерного использования этой технологии очень привлекательна», — говорит Флориан Трамер, доцент ETH Zürich. «В документе содержится хорошее представление о том, что разработчики моделей генеративного искусственного интеллекта имеют сильные стимулы предоставлять своим пользователям такую защиту от иммунизации, которая в будущем может даже стать юридическим требованием.
«Однако разработка средств защиты изображений, которые эффективно противостоят попыткам обхода, является сложной задачей: как только компания generative AI внедрит механизм иммунизации и люди начнут применять его к своим онлайн-изображениям, нам нужно убедиться, что эта защита будет работать против мотивированных противников, которые могут даже использовать лучшие модели generative AI, разработанные в ближайшем будущем будущее. Разработка таких надежных средств защиты — сложная открытая проблема, и в этой статье приводятся убедительные доводы в пользу того, что компаниям, создающим искусственный интеллект, следует работать над ее решением «.