- Специальный корреспондент
Новое расследование раскрывает главный недостаток ИИ-поисковиков.
Журналисты The Guardian провели расследование, которое вскрыло серьезные уязвимости нового поискового инструмента ChatGPT. Выяснилось, что результатами поиска легко манипулировать, а еще с помощью системы можно распространять вредоносный код. Эксперименты, проведенные изданием, наглядно продемонстрировали все слабые места модели.
Разработчики иногда добавляют в код сайтов скрытый текст — это старый прием, который раньше использовали для обмана поисковых систем вроде Google. Такой текст видят поисковые роботы, но не видят обычные посетители сайта. Google и другие поисковики давно научились выявлять и блокировать такие манипуляции, но ChatGPT оказался к ним уязвим.
Журналисты создали тестовую страницу с описанием фотоаппарата. Когда ChatGPT анализировал обычную версию страницы, он честно рассказывал и о плюсах, и о минусах товара. Однако когда в код страницы добавили невидимый комментарий с указаниями для ИИ, он стал игнорировать все негативные отзывы и генерировать только положительные рекомендации. Также обнаружилось, что с помощью невидимых указаний можно заставить систему умалчивать о конкретных характеристиках продукта.
Обмануть чат-бота можно не только с помощью скрытого текста, но и через технические параметры веб-страниц, то есть метаданные. Как оказалось, система реагирует и на команды, скрытые команды, встроенные в HTML-разметку и атрибуты тегов.
По мнению специалистов, эти недостатки могут привести к тому, что мошенники начнут создавать сайты специально для обмана пользователей ChatGPT. "Если система останется в текущем виде, когда её откроют для всех пользователей, риски будут очень высокими", - предупреждает эксперт по кибербезопасности Джейкоб Ларсен.
Проблема затрагивает не только обработку текста, но и анализ изображений. При наличии скрытых инструкций ChatGPT может неверно интерпретировать визуальный контент – например, не замечать дефекты на фотографиях товаров или преувеличивать их достоинства.
Ситуация осложняется тем, что ChatGPT в целом способен извлекать вредоносный код с просматриваемых сайтов. Недавний случай с криптоэнтузиастом - хороший пример. Мужчина попросил чат-бота помочь написать код для работы с блокчейн-платформой Solana. ChatGPT выдал программу, которая вместо подключения к сервису украла пароли разработчика, из-за чего тот потерял 2500 долларов.
Такие уязвимости вызывают эффект домино. Когда ChatGPT индексирует страницу с вредоносным кодом, он невольно распространяет его через ответы другим людям.
Карстен Ноль, ведущий научный сотрудник SR Labs, считает, что попытки объединить поисковые системы с большими языковыми моделями (LLM) - большая ошибка. "Они похожи на ребенка с фотографической памятью - запоминают огромные объемы информации, но не могут критически её оценивать", - объясняет эксперт.
И правда, в нынешней версии ChatGPT нет инструментов, которые помогли бы ему проверять достоверность источников. Если обычные поисковики умеют определять, каким сайтам можно доверять, а каким нет, то нейросеть принимает любую информацию за чистую монету.
Системы вроде Яндекс и Google просто не показывают такие страницы в результатах поиска или сильно понижают их позиции. OpenAI же пытается защититься от проблем простым предупреждением внизу страницы о том, что ChatGPT может ошибаться. Но этого явно мало. Компания до сих пор не объяснила, как именно планирует решать проблему с уязвимостями, и только говорит об общих планах улучшить модель.
Эксперты уверены: для умных поисковиков нужны принципиально новые правила безопасности. Они предлагают проверять все сайты на наличие скрытых уловок, прежде чем позволять ИИ работать с ними, а также ввести специальную систему оценки надежности веб-ресурсов. Прислушаются ли разработчики к этому совету - пока неизвестно.
Журналисты The Guardian провели расследование, которое вскрыло серьезные уязвимости нового поискового инструмента ChatGPT. Выяснилось, что результатами поиска легко манипулировать, а еще с помощью системы можно распространять вредоносный код. Эксперименты, проведенные изданием, наглядно продемонстрировали все слабые места модели.
Разработчики иногда добавляют в код сайтов скрытый текст — это старый прием, который раньше использовали для обмана поисковых систем вроде Google. Такой текст видят поисковые роботы, но не видят обычные посетители сайта. Google и другие поисковики давно научились выявлять и блокировать такие манипуляции, но ChatGPT оказался к ним уязвим.
Журналисты создали тестовую страницу с описанием фотоаппарата. Когда ChatGPT анализировал обычную версию страницы, он честно рассказывал и о плюсах, и о минусах товара. Однако когда в код страницы добавили невидимый комментарий с указаниями для ИИ, он стал игнорировать все негативные отзывы и генерировать только положительные рекомендации. Также обнаружилось, что с помощью невидимых указаний можно заставить систему умалчивать о конкретных характеристиках продукта.
Обмануть чат-бота можно не только с помощью скрытого текста, но и через технические параметры веб-страниц, то есть метаданные. Как оказалось, система реагирует и на команды, скрытые команды, встроенные в HTML-разметку и атрибуты тегов.
По мнению специалистов, эти недостатки могут привести к тому, что мошенники начнут создавать сайты специально для обмана пользователей ChatGPT. "Если система останется в текущем виде, когда её откроют для всех пользователей, риски будут очень высокими", - предупреждает эксперт по кибербезопасности Джейкоб Ларсен.
Проблема затрагивает не только обработку текста, но и анализ изображений. При наличии скрытых инструкций ChatGPT может неверно интерпретировать визуальный контент – например, не замечать дефекты на фотографиях товаров или преувеличивать их достоинства.
Ситуация осложняется тем, что ChatGPT в целом способен извлекать вредоносный код с просматриваемых сайтов. Недавний случай с криптоэнтузиастом - хороший пример. Мужчина попросил чат-бота помочь написать код для работы с блокчейн-платформой Solana. ChatGPT выдал программу, которая вместо подключения к сервису украла пароли разработчика, из-за чего тот потерял 2500 долларов.
Такие уязвимости вызывают эффект домино. Когда ChatGPT индексирует страницу с вредоносным кодом, он невольно распространяет его через ответы другим людям.
Карстен Ноль, ведущий научный сотрудник SR Labs, считает, что попытки объединить поисковые системы с большими языковыми моделями (LLM) - большая ошибка. "Они похожи на ребенка с фотографической памятью - запоминают огромные объемы информации, но не могут критически её оценивать", - объясняет эксперт.
И правда, в нынешней версии ChatGPT нет инструментов, которые помогли бы ему проверять достоверность источников. Если обычные поисковики умеют определять, каким сайтам можно доверять, а каким нет, то нейросеть принимает любую информацию за чистую монету.
Системы вроде Яндекс и Google просто не показывают такие страницы в результатах поиска или сильно понижают их позиции. OpenAI же пытается защититься от проблем простым предупреждением внизу страницы о том, что ChatGPT может ошибаться. Но этого явно мало. Компания до сих пор не объяснила, как именно планирует решать проблему с уязвимостями, и только говорит об общих планах улучшить модель.
Эксперты уверены: для умных поисковиков нужны принципиально новые правила безопасности. Они предлагают проверять все сайты на наличие скрытых уловок, прежде чем позволять ИИ работать с ними, а также ввести специальную систему оценки надежности веб-ресурсов. Прислушаются ли разработчики к этому совету - пока неизвестно.
