Информация

SWARM: новая угроза для ИИ-моделей в облаке

Быстрая покупка VPN для России через удобный Телеграмм-бот:

Как хакеры по щелчку пальцев превращают нейросети в оружие?

В эпоху больших данных обучение моделей Vision Transformer (ViT) на обширных наборах данных стало стандартом для улучшения производительности в различных ИИ-задачах. Визуальные промпты (VP), которые вводят параметры для конкретных задач, позволяют эффективно адаптировать модели без полной донастройки. Однако возможные риски безопасности VP остаются неизученными.

Аналитики из отдела безопасности Tencent, а также учёные из Университета Цинхуа, Чжэцзянского университета, Исследовательского центра искусственного интеллекта и лаборатории Пэн Ченг обнаружили новую угрозу для VP в облачных сервисах. Злоумышленники могут добавить или удалить специальный токен «переключатель», чтобы скрытно переключаться между обычным и заражённым режимами работы модели.

Исследователи назвали выявленный ими метод переключаемой атакой на предварительно обученные модели (Switchable Attack Against Pre-trained Models, сокращённо SWARM).

SWARM оптимизирует промпты и токен-переключатель таким образом, чтобы без переключателя модель работала в нормальном режиме, но буквально сходила с ума при его активации.

Получи VPN-прокси для России через наш удобный Телеграмм-бот:

Эксперименты показывают высокую эффективность и незаметность SWARM. В облачных сервисах злоумышленники могут управлять входными промптами, не имея доступа к пользовательским данным. В обычном режиме модель обрабатывает данные корректно, а в заражённом — успешно выполняет атаку при активации триггера.

Специалисты отмечают, что злоумышленники могут настраивать свои промпты в зависимости от данных, используя обучаемые токены после слоя встраивания. Пользователи могут применять различные техники для смягчения рисков, такие как Neural Attention Distillation (NAD) и I-BAU. Однако SWARM достигает 96% и 97% успешности соответственно, в большинстве случае обходя эти техники.

Китайские инженеры подчёркивают способность SWARM обходить обнаружение и смягчение угроз, что увеличивает его опасность для жертв. SWARM демонстрирует новые механизмы атак и стимулирует дальнейшие исследования в области защиты.

  Grandoreiro и 100 МБ обмана: прокачанный троян атакует банки по всему миру через Outlook

Таким образом, новое исследование поднимает вопросы о безопасности использования визуальных промптов в предварительно обученных моделях ViT и призывает к разработке новых методов защиты от подобных угроз.

Станьте призраком в интернете

Узнайте как на нашем канале

Присоединяйтесь сейчас

Купить безопасный VPN означает приобретение виртуальной частной сети (VPN), которая обеспечивает высокий уровень безопасности и защиты ваших данных при использовании интернета. Безопасный VPN предлагает множество функций, направленных на защиту вашей конфиденциальности, анонимности и предотвращение утечек данных.

Почему стоит купить безопасный VPN?

  • Защита личных данных: Безопасный VPN защищает ваши данные от кражи и слежки, особенно при использовании общественных Wi-Fi сетей.

  • Обход цензуры: Безопасные VPN позволяют обойти географические ограничения и получить доступ к заблокированным ресурсам и сайтам.

  • Спокойствие: Зная, что ваши данные защищены, вы можете более уверенно использовать интернет и меньше беспокоиться о безопасности.

  • Гибкость и настройки: Безопасные VPN часто предлагают различные настройки и функции, которые могут быть адаптированы под ваши нужды.

Оставить ответ