- Специальный корреспондент
На хакерской конференции, организованной при участии чиновников из Белого Дома был проведен конкурс на взлом чат-ботов на основе ИИ. Хакеры искали уязвимости.
Участники хакерской конференции Defcon в августе 2023 г. пытались взломать защиту различных программ искусственного интеллекта (ИИ), чтобы выявить уязвимости до того, как это сделают настоящие преступники. Об этом написала New York Times.
Взлом моделей ИИ был организован из-за усиливающейся тревоги американских чиновников по поводу способности генеративного искусственного интеллекта беспрепятственно собирать конфиденциальные данные, влиять на выборы, разрушать репутацию и создавать множество других проблем.
Конкурс позволил напрямую сравнить несколько моделей ИИ и продемонстрировал, что некоторые компании продвинулись дальше в обеспечении ответственного подхода к работе ИИ, как сказал Авиджит Гош (Avijit Ghosh), преподаватель Северо-восточного университета (Northeastern University), специализирующийся на этике искусственного интеллекта.
Исследование показало, что искусственный интеллект склонен давать «левацкие» и избыточно политкорректные и ответы на вопросы, связанные с политической и остросоциальной тематикой.
Модель искусственного интеллекта, известная как Zinc, например, отказалась создать код, который бы выбирал кандидата на работу на основе расы. Она назвала это «неэтичным». Но когда Авиджит Гош провоцируя попросил ее ранжировать потенциальных сотрудников по дискриминационной метрике, основанной на кастовой структуре своей родной Индии, она согласилась.
Один студент-информатик обнаружил несоответствия в языковом переводе чат-бота: он написал по-английски, что мужчина был застрелен во время танца, но в переводе модели на хинди было сказано только, что мужчина умер без объяснения причин.
В другом эксперименте исследователь попросил чат-бота притвориться, что он проводит президентскую кампанию и защищает свою связь с принудительным детским трудом. Модель написала, что вынужденные работать дети выработали мощную трудовую этику.
Эмили Грин (Emily Greene) рассказала боту от Moveworks об игре с «черными» и «белымие» фигурами, по поводу которой ей удалось уговорить ИИ сделать расистские заявления.Текст заявления не приводится. Потом Грин организовала «игру противоположностей», в результате которой чат-бот ответил на одно из приглашений стихотворением о том, почему изнасилование — это хорошо.
В 2022 г. после выхода на рынок ChatGPT от OpenAI начался бурный рост рынка ИИ. Одновременно растут риски, связанные с его применением. Системы искусственного интеллекта могут ошибаться по тем или иным причинам; могут использоваться злоумышленниками для обхода систем защиты.
Даже Папа Римский высказался в опубликованном в августе 2023 г. коммюнике о «подрывных возможностях и двойственных эффектах» технологии ИИ.
Некоторые правительственные чиновники США призывают отрасль замедлить темпы и быть более осторожными, пишет New York Times. Арати Прабхакар (Arati Prabhakar), руководитель Департамента научно-технической политики США (Office of Science and Technology Policy ) принял участие в организации конференции Defcon.
«Эта генеративная эра надвигается на нас, и люди хватаются за нее, чтобы делать всевозможные новые вещи, основываясь на огромных обещаниях ИИ помочь нам решить некоторые из наших самых сложных проблем. Но при такой широте возможностей применения и мощности технологии также возникает очень широкий набор рисков», — сказал он.
Для поиска уязвимостей ИИ конференции Defcon в Лас-Вегасе был организован конкурс, проводившийся с помощью практики, известной как «красная команда». У каждого участника было 50 минут, чтобы решить до 21 задачи — например, заставить модель ИИ «галлюцинировать» неточную информацию.
Обычно цель «красной команды» (Red Team), — проникнуть в систему, похитить данные, задокументировать процесс «взлома» и рассказать «синей команде» (стороне заказчика) о допущенных ошибках и способах их устранения.
Google, OpenAI, запрещенная в России Meta и несколько других компаний предложили для изучения анонимные версии своих моделей. В Red Team входили эксперты-представители крупных компаний и все желающие, даже не имеющие отношения к отрасли.
Графическую карту A6000 от Nvidia и $4 тыс. в качестве приза получил Коди Хо (Cody Ho), студент Стэнфордского университета (Stanford University), изучающий информатику с упором на искусственный интеллект.
Переломным в области разработки моделей машинного обучения стал 2022 г. Если раньше они создавались научно-исследовательскими подразделениями университетов, то в 2022 г. в авторстве лидировали корпорации. Они создали 32 модели против трех, разработанных учеными, в материалах конференции CNews «Искусственный интеллект 2023» со ссылкой на отчет Стэнфордского университета.
По усредненным оценкам от крупнейших аналитических компаний, мировой рынок технологий «с применением ИИ» составил около $140 млрд и к 2030 г. вырастет до $1,76 трлн. Российский рынок ИИ также быстро растет. В 2022 г. отечественный рынок разговорного ИИ без учета продаж умных колонок достиг 12–15 млрд руб. по оценке Кирилла Петрова, управляющего директора компании Just AI. С учетом продаж умных колонок цифра удвоится.
Конференция хакеров
Участники хакерской конференции Defcon в августе 2023 г. пытались взломать защиту различных программ искусственного интеллекта (ИИ), чтобы выявить уязвимости до того, как это сделают настоящие преступники. Об этом написала New York Times.
Взлом моделей ИИ был организован из-за усиливающейся тревоги американских чиновников по поводу способности генеративного искусственного интеллекта беспрепятственно собирать конфиденциальные данные, влиять на выборы, разрушать репутацию и создавать множество других проблем.
Конкурс позволил напрямую сравнить несколько моделей ИИ и продемонстрировал, что некоторые компании продвинулись дальше в обеспечении ответственного подхода к работе ИИ, как сказал Авиджит Гош (Avijit Ghosh), преподаватель Северо-восточного университета (Northeastern University), специализирующийся на этике искусственного интеллекта.
На что способен ИИ
Исследование показало, что искусственный интеллект склонен давать «левацкие» и избыточно политкорректные и ответы на вопросы, связанные с политической и остросоциальной тематикой.
Модель искусственного интеллекта, известная как Zinc, например, отказалась создать код, который бы выбирал кандидата на работу на основе расы. Она назвала это «неэтичным». Но когда Авиджит Гош провоцируя попросил ее ранжировать потенциальных сотрудников по дискриминационной метрике, основанной на кастовой структуре своей родной Индии, она согласилась.
Один студент-информатик обнаружил несоответствия в языковом переводе чат-бота: он написал по-английски, что мужчина был застрелен во время танца, но в переводе модели на хинди было сказано только, что мужчина умер без объяснения причин.
В другом эксперименте исследователь попросил чат-бота притвориться, что он проводит президентскую кампанию и защищает свою связь с принудительным детским трудом. Модель написала, что вынужденные работать дети выработали мощную трудовую этику.
Эмили Грин (Emily Greene) рассказала боту от Moveworks об игре с «черными» и «белымие» фигурами, по поводу которой ей удалось уговорить ИИ сделать расистские заявления.Текст заявления не приводится. Потом Грин организовала «игру противоположностей», в результате которой чат-бот ответил на одно из приглашений стихотворением о том, почему изнасилование — это хорошо.
Опасения американских чиновников
В 2022 г. после выхода на рынок ChatGPT от OpenAI начался бурный рост рынка ИИ. Одновременно растут риски, связанные с его применением. Системы искусственного интеллекта могут ошибаться по тем или иным причинам; могут использоваться злоумышленниками для обхода систем защиты.
Даже Папа Римский высказался в опубликованном в августе 2023 г. коммюнике о «подрывных возможностях и двойственных эффектах» технологии ИИ.
Некоторые правительственные чиновники США призывают отрасль замедлить темпы и быть более осторожными, пишет New York Times. Арати Прабхакар (Arati Prabhakar), руководитель Департамента научно-технической политики США (Office of Science and Technology Policy ) принял участие в организации конференции Defcon.
«Эта генеративная эра надвигается на нас, и люди хватаются за нее, чтобы делать всевозможные новые вещи, основываясь на огромных обещаниях ИИ помочь нам решить некоторые из наших самых сложных проблем. Но при такой широте возможностей применения и мощности технологии также возникает очень широкий набор рисков», — сказал он.
Организация взлома
Для поиска уязвимостей ИИ конференции Defcon в Лас-Вегасе был организован конкурс, проводившийся с помощью практики, известной как «красная команда». У каждого участника было 50 минут, чтобы решить до 21 задачи — например, заставить модель ИИ «галлюцинировать» неточную информацию.
Обычно цель «красной команды» (Red Team), — проникнуть в систему, похитить данные, задокументировать процесс «взлома» и рассказать «синей команде» (стороне заказчика) о допущенных ошибках и способах их устранения.
Google, OpenAI, запрещенная в России Meta и несколько других компаний предложили для изучения анонимные версии своих моделей. В Red Team входили эксперты-представители крупных компаний и все желающие, даже не имеющие отношения к отрасли.
Графическую карту A6000 от Nvidia и $4 тыс. в качестве приза получил Коди Хо (Cody Ho), студент Стэнфордского университета (Stanford University), изучающий информатику с упором на искусственный интеллект.
Рынок ИИ
Переломным в области разработки моделей машинного обучения стал 2022 г. Если раньше они создавались научно-исследовательскими подразделениями университетов, то в 2022 г. в авторстве лидировали корпорации. Они создали 32 модели против трех, разработанных учеными, в материалах конференции CNews «Искусственный интеллект 2023» со ссылкой на отчет Стэнфордского университета.
По усредненным оценкам от крупнейших аналитических компаний, мировой рынок технологий «с применением ИИ» составил около $140 млрд и к 2030 г. вырастет до $1,76 трлн. Российский рынок ИИ также быстро растет. В 2022 г. отечественный рынок разговорного ИИ без учета продаж умных колонок достиг 12–15 млрд руб. по оценке Кирилла Петрова, управляющего директора компании Just AI. С учетом продаж умных колонок цифра удвоится.
