Наш мир меняется и новые технологии приносят с собой не только новые возможности, но и новые опасности. Материал посвящен нейросетям. Но не тем вещам, на которые способны сами нейросети, — про это и так все пишут, — а тому, какой потенциальный вред могут принести нейросети в руках хакеров.
Образ хакера в современных медиа — это образ мага, чудотворца, у которого роль заклятий играют скрипты, вирусы и многое другое. Хакеры в одиночку, практически с телефона, способны взломать самую совершенную систему безопасности, пробиться через любой файерволл. Хакеры-преступники в этом контексте представляются злыми волшебниками, использующими современные инструменты во зло. Один из таких инструментов — это, разумеется, искусственный интеллект.
Что такое ИИ?
Искусственный интеллект — это зонтичный термин, включающий в себя довольно много разных инструментов, связанных с нейросетями, большими данными и машинным обучением. Чаще всего он используется для обозначения нейросети, натренированной на решение какой-либо, чаще всего интерпретационной, задачи: распознавание речи, изображений, перевод текстов с контекстом с языка на язык и так далее.
Обычная нейросеть — это в первом приближении сложно устроенная математическая функция f(x, a), которая зависит от набора аргументов x и некоторого набора параметров a. Она получает на вход данные определенного формата и выдает результат.
Создание самой простой нейросети выглядит так. Сначала определяется задача, потом выбирается тип нейросети. Дальше находится массив размеченных данных. На этих данных нейросеть обучается, то есть в автоматическом режиме подбираются такие значения параметров a, чтобы на размеченной выборке функция принимала нужные значения.
Наконец, сеть тестируется, и после этого, в принципе, она готова к работе — если на всех предыдущих этапах ничего не сломалось, если выборка была хорошей, если удалось угадать правильную архитектуру сети и так далее.
Важный нюанс: нейросети представляют собой узкоспециальный инструмент, заточенный под решение конкретной задачи. Попытки переучить нейросеть или расширить сферу ее применения к тому, что она не только не обучается новому, но и «теряет» навык решения предыдущей задачи.
Судя по всему, узкая специализация — это математическое свойство, не зависящее от физической реализации этого инструмента. Это означает, что если вам требуется решить задачу, пусть и близкую, но отличную от той, которую решает имеющаяся нейросеть, то вам придется заново разрабатывать новую.
Наконец, нейросеть не программируется в привычном понимании этого слова. Это означает, что проверка теоретической корректности полученного результата (как проверка алгоритма в программе) требует создания новых методов, инструментов. Иными словами, вопрос безопасности работы — а под безопасностью мы понимаем отсутствие сбоев — это нерешенная задача, для которой еще предстоит создать подходящие инструменты.
Чем занимаются современные хакеры?
Современные хакеры имеют мало общего с тем образом профессионалов-одиночек, который представлен в телевизионных сериалах. Хакеры, занимающиеся противоправными действиями, в массе своей входят в организованные преступные группировки, зачастую объединяющие большое число программистов сравнительно невысокого уровня.
Их основная цель, как и любой ОПГ, — извлечение прибыли с минимальными расходами и рисками. Этим определяются основные направления работы киберпреступников: львиная доля совершаемых ими преступлений завязана на воровстве личных данных пользователей, мошенничестве и вымогательстве.
Соответственно, можно выделить пять основных типов киберугроз.
Больше половины всех киберугроз — это заражение компьютероввредоносным программным обеспечением. Помимо привычных всем вирусов на сайтах, хакеры давно используют более любопытные технологии — например, вредоносный код в open-source проекты или серверы для автоматического обновления ПО.
В последнем случае через такую систему были заражены десятки (а возможно, и сотни) тысяч компьютеров по всему миру.
Еще один тип — индивидуальные мошеннические атаки. Они подразумевают прямой контакт с пользователем с целью убедить человека отдать данные или добровольно установить то или иное приложение, содержащее вредоносный код. В подобных атаках часто участвуют живые люди, которые могут притворяться службой поддержки, сотрудниками банка и так далее.
Такие атаки подразумевают чаще всего денег. Иногда следствием атаки становится заражение вирусом, который кодирует данные и требует перевода денег для разблокировки (это виртуальная форма вымогательства).
Классический взлом систем с использованием программ, скриптов и так далее. На этот вид преступлений приходится чуть меньше 17 процентов от всех киберугроз. Часто это часть глобальной схемы — например, заражение серверов вредоносными программами. хакерских атак (помимо традиционных государственных институтов) — криптобиржи и прочие площадки, связанные с криптовалютой.
По-прежнему пользуются популярностью атаки на сайты. В основном речь идет про онлайн-магазины и прочие площадки, аккумулирующие личную информацию своих пользователей. Эти данные либо просто похищаются, либо используется схема с вымогательством.
Наконец, последний тип — это не устаревающие DDos-атаки. В июле 2019 года им ровно 20 лет. Основная идея здесь состоит в создании сети ботов — компьютеров, готовых по команде посылать запросы на заданный сервер, перегружая его.
Нужны ли хакерам нейросети?
В СМИ довольно часто встречаются истории, указывающие на потенциальную опасность нейросетей в руках хакеров.
Считается, что нейросети сделают уже существующие угрозы более опасными:
Есть, впрочем, и более экзотические сценарии.
В 2018 году больницы и клиники несколько раз становились целью хакерских атак. В одном случае менеджменту больницы хакерам выкуп в биткоинах, чтобы те вернули доступ к данным пациентов.
Дело в том, что в плане IT (в том числе и в плане безопасности) медицинские учреждения сильно отстают от других учреждений, имеющих дело с персональными данными. Зачастую в медицинских учреждениях используются программные продукты, которые, по мнению экспертов, уязвимы для разного рода хакерских атак.
Фантазии и реальность
Несколько израильских исследователей решили выяснить, какой максимальный урон медицинскому учреждению могли бы принести хакеры, вооруженные нейросетью. Для этого они придумали такой сценарий: через уязвимые программные продукты хакеры получают доступ к персональным данным пациентов, в частности к рентгеновским снимкам.
Предположим, хакеры используют нейросеть, натренированную на очень специальную задачу: «убирать» с рентгеновских снимков раковые опухоли. Подобное вмешательство в персональные данные, , может иметь летальные последствия для пациентов.
Подобных статей появляется довольно много, но, как и в этой конкретной статье, в них не учитывается множество факторов.
Во-первых, нейросеть, упоминаемая в этом исследовании, может быть создана лишь при участии большого числа специалистов, причем ее необходимо тренировать на данных, полученных для специфических медицинских исследований. Не приходится ожидать, что у среднестатистической хакерской группировки окажется доступ к подобной обучающей выборке.
Во-вторых, описанный сценарий подразумевает очень дорогую и очень специальную атаку на данные. Любопытно, что в статье говорится об изменении снимков, но не других записей, например анализов пациентов. Это означает, что сами авторы работы потенциально очень сильно упрощают сложность придуманной ими атаки, нацеленной на вмешательство в медицинские данные с целью повлиять на постановку диагноза.
Неудивительно, таким образом, что большинство экспертов сходится во мнении: для текущих хакерских задач существующие нейросети не подходят из-за высокой сложности и стоимости обучения. Если новые угрозы, связанные с нейросетями, и возникнут, то исключительно вместе с новыми путями их применения.
Значит, нейросети хакерам не нужны?
Вредоносное программное обеспечение способно наносить ощутимый урон производствам. Так, WannaCry — вирус, изначально не предназначавшийся для атак на заводские системы, — привел к остановке производства на нескольких заводах Renault, а также попал в системы производства компании Nissan.
Иными словами, правильный ответ состоит из двух частей.
Во-первых, нейросети не нужны обычным хакерам, однако в промышленном шпионаже и атаках на государственном уровне они могут найти свое применение или даже уже нашли.
Во-вторых, прогресс не стоит на месте. Если сейчас работа с нейросетями — это долго и дорого, то это не значит, что так будет всегда. Появление стандартизированных библиотек, размеченных дата-сетов в открытом доступе может кардинально изменить ситуацию. И тогда преступления с использованием нейросетей могут войти в жизнь обычного пользователя. А, значит, думать об этих угрозах надо уже сейчас.
Образ хакера в современных медиа — это образ мага, чудотворца, у которого роль заклятий играют скрипты, вирусы и многое другое. Хакеры в одиночку, практически с телефона, способны взломать самую совершенную систему безопасности, пробиться через любой файерволл. Хакеры-преступники в этом контексте представляются злыми волшебниками, использующими современные инструменты во зло. Один из таких инструментов — это, разумеется, искусственный интеллект.
Что такое ИИ?
Искусственный интеллект — это зонтичный термин, включающий в себя довольно много разных инструментов, связанных с нейросетями, большими данными и машинным обучением. Чаще всего он используется для обозначения нейросети, натренированной на решение какой-либо, чаще всего интерпретационной, задачи: распознавание речи, изображений, перевод текстов с контекстом с языка на язык и так далее.
Обычная нейросеть — это в первом приближении сложно устроенная математическая функция f(x, a), которая зависит от набора аргументов x и некоторого набора параметров a. Она получает на вход данные определенного формата и выдает результат.
Создание самой простой нейросети выглядит так. Сначала определяется задача, потом выбирается тип нейросети. Дальше находится массив размеченных данных. На этих данных нейросеть обучается, то есть в автоматическом режиме подбираются такие значения параметров a, чтобы на размеченной выборке функция принимала нужные значения.
Наконец, сеть тестируется, и после этого, в принципе, она готова к работе — если на всех предыдущих этапах ничего не сломалось, если выборка была хорошей, если удалось угадать правильную архитектуру сети и так далее.
Важный нюанс: нейросети представляют собой узкоспециальный инструмент, заточенный под решение конкретной задачи. Попытки переучить нейросеть или расширить сферу ее применения к тому, что она не только не обучается новому, но и «теряет» навык решения предыдущей задачи.
Судя по всему, узкая специализация — это математическое свойство, не зависящее от физической реализации этого инструмента. Это означает, что если вам требуется решить задачу, пусть и близкую, но отличную от той, которую решает имеющаяся нейросеть, то вам придется заново разрабатывать новую.
Наконец, нейросеть не программируется в привычном понимании этого слова. Это означает, что проверка теоретической корректности полученного результата (как проверка алгоритма в программе) требует создания новых методов, инструментов. Иными словами, вопрос безопасности работы — а под безопасностью мы понимаем отсутствие сбоев — это нерешенная задача, для которой еще предстоит создать подходящие инструменты.
Чем занимаются современные хакеры?
Современные хакеры имеют мало общего с тем образом профессионалов-одиночек, который представлен в телевизионных сериалах. Хакеры, занимающиеся противоправными действиями, в массе своей входят в организованные преступные группировки, зачастую объединяющие большое число программистов сравнительно невысокого уровня.
Их основная цель, как и любой ОПГ, — извлечение прибыли с минимальными расходами и рисками. Этим определяются основные направления работы киберпреступников: львиная доля совершаемых ими преступлений завязана на воровстве личных данных пользователей, мошенничестве и вымогательстве.
Соответственно, можно выделить пять основных типов киберугроз.
Больше половины всех киберугроз — это заражение компьютероввредоносным программным обеспечением. Помимо привычных всем вирусов на сайтах, хакеры давно используют более любопытные технологии — например, вредоносный код в open-source проекты или серверы для автоматического обновления ПО.
В последнем случае через такую систему были заражены десятки (а возможно, и сотни) тысяч компьютеров по всему миру.
Еще один тип — индивидуальные мошеннические атаки. Они подразумевают прямой контакт с пользователем с целью убедить человека отдать данные или добровольно установить то или иное приложение, содержащее вредоносный код. В подобных атаках часто участвуют живые люди, которые могут притворяться службой поддержки, сотрудниками банка и так далее.
Такие атаки подразумевают чаще всего денег. Иногда следствием атаки становится заражение вирусом, который кодирует данные и требует перевода денег для разблокировки (это виртуальная форма вымогательства).
Классический взлом систем с использованием программ, скриптов и так далее. На этот вид преступлений приходится чуть меньше 17 процентов от всех киберугроз. Часто это часть глобальной схемы — например, заражение серверов вредоносными программами. хакерских атак (помимо традиционных государственных институтов) — криптобиржи и прочие площадки, связанные с криптовалютой.
По-прежнему пользуются популярностью атаки на сайты. В основном речь идет про онлайн-магазины и прочие площадки, аккумулирующие личную информацию своих пользователей. Эти данные либо просто похищаются, либо используется схема с вымогательством.
Наконец, последний тип — это не устаревающие DDos-атаки. В июле 2019 года им ровно 20 лет. Основная идея здесь состоит в создании сети ботов — компьютеров, готовых по команде посылать запросы на заданный сервер, перегружая его.
Нужны ли хакерам нейросети?
В СМИ довольно часто встречаются истории, указывающие на потенциальную опасность нейросетей в руках хакеров.
Считается, что нейросети сделают уже существующие угрозы более опасными:
- Создание нейросетей, способных имитировать общение с человеком, например по электронной почте. Подразумевается, что нейросети надо продержаться достаточное время, чтобы получатель поверил, что с ним общается кто-то, кому он доверяет. При этом пользователь должен перевести «собеседнику» деньги или раскрыть частные данные.
- HDDos или «человеческая» версия DDos-атаки. Сейчас многие системы умеют распознавать DDos-атаки и довольно эффективно с ними борются. Подразумевается, что использование не просто бот-нета для генерации запросов, а нейросетевых ботов поможет создать иллюзию, что сайт подвергся наплыву живых пользователей.
- Преодоление систем антивирусной защиты. Считается, что нейросети помогут в заражении компьютеров вредоносными программами.
Есть, впрочем, и более экзотические сценарии.
В 2018 году больницы и клиники несколько раз становились целью хакерских атак. В одном случае менеджменту больницы хакерам выкуп в биткоинах, чтобы те вернули доступ к данным пациентов.
Дело в том, что в плане IT (в том числе и в плане безопасности) медицинские учреждения сильно отстают от других учреждений, имеющих дело с персональными данными. Зачастую в медицинских учреждениях используются программные продукты, которые, по мнению экспертов, уязвимы для разного рода хакерских атак.
Фантазии и реальность
Несколько израильских исследователей решили выяснить, какой максимальный урон медицинскому учреждению могли бы принести хакеры, вооруженные нейросетью. Для этого они придумали такой сценарий: через уязвимые программные продукты хакеры получают доступ к персональным данным пациентов, в частности к рентгеновским снимкам.
Предположим, хакеры используют нейросеть, натренированную на очень специальную задачу: «убирать» с рентгеновских снимков раковые опухоли. Подобное вмешательство в персональные данные, , может иметь летальные последствия для пациентов.
Подобных статей появляется довольно много, но, как и в этой конкретной статье, в них не учитывается множество факторов.
Во-первых, нейросеть, упоминаемая в этом исследовании, может быть создана лишь при участии большого числа специалистов, причем ее необходимо тренировать на данных, полученных для специфических медицинских исследований. Не приходится ожидать, что у среднестатистической хакерской группировки окажется доступ к подобной обучающей выборке.
Во-вторых, описанный сценарий подразумевает очень дорогую и очень специальную атаку на данные. Любопытно, что в статье говорится об изменении снимков, но не других записей, например анализов пациентов. Это означает, что сами авторы работы потенциально очень сильно упрощают сложность придуманной ими атаки, нацеленной на вмешательство в медицинские данные с целью повлиять на постановку диагноза.
Неудивительно, таким образом, что большинство экспертов сходится во мнении: для текущих хакерских задач существующие нейросети не подходят из-за высокой сложности и стоимости обучения. Если новые угрозы, связанные с нейросетями, и возникнут, то исключительно вместе с новыми путями их применения.
Значит, нейросети хакерам не нужны?
Вредоносное программное обеспечение способно наносить ощутимый урон производствам. Так, WannaCry — вирус, изначально не предназначавшийся для атак на заводские системы, — привел к остановке производства на нескольких заводах Renault, а также попал в системы производства компании Nissan.
Иными словами, правильный ответ состоит из двух частей.
Во-первых, нейросети не нужны обычным хакерам, однако в промышленном шпионаже и атаках на государственном уровне они могут найти свое применение или даже уже нашли.
Во-вторых, прогресс не стоит на месте. Если сейчас работа с нейросетями — это долго и дорого, то это не значит, что так будет всегда. Появление стандартизированных библиотек, размеченных дата-сетов в открытом доступе может кардинально изменить ситуацию. И тогда преступления с использованием нейросетей могут войти в жизнь обычного пользователя. А, значит, думать об этих угрозах надо уже сейчас.
