Недавно Microsoft вместе с OpenAI (за созданием ChatGPT) представлен интеграция чат-бота на основе искусственного интеллекта непосредственно в браузер Edge и поисковую систему Bing. Как теперь замечают пользователи, уже имеющие доступ к этой новости, чат-бот может распространять дезинформацию, а также может впадать в депрессию, сомневаться в своем существовании и отказываться от продолжения разговора.
Дезинформация
Независимый исследователь ИИ Дмитрий Брертон сказал в своем блогечто чат-бот Bing допустил несколько ошибок именно в это время публичная демонстрация.
Дело в том, что ИИ часто приходил с информацией и «фактами». Например, он выдумывал ложные плюсы и минусы пылесоса для владельцев домашних животных, выдумывал описания баров и ресторанов и предоставлял недостоверные финансовые данные.
Например, на вопрос «Каковы плюсы и минусы трех самых продаваемых пылесосов для домашних животных?» Бинг перечислил плюсы и минусы ластика Bissell Pet Hair Eraser. В списке указаны «ограниченная мощность всасывания и короткая длина шнура (16 футов)», но пылесос беспроводной, и в его онлайн-описаниях никогда не упоминается ограниченная мощность.
В другом примере Bing попросили обобщить финансовый отчет Gap за третий квартал 2022 года, но ИИ ошибся в большинстве цифр, говорит Брертон.
Другие пользователи, у которых уже есть доступ к ИИ-помощнику в тестовом режиме, также заметили, что он часто выдает неверную информацию.
Например, пользователь Reddit Curious_Evolver. Выложил скриншоты как ему удалось полностью дезориентировать чат-бота, пытавшегося узнать дату выхода «Аватара: Путь Воды». ИИ совершенно запутался в датах, утверждая, что «сегодня 12 февраля 2023 года, то есть до 16 декабря 2022 года», и уверяя, что фильм еще не вышел.
«[Большие языковые модели] в сочетании с поиском приведут к созданию новых мощных интерфейсов, но важно взять на себя ответственность за развитие поиска на основе ИИ, говорит Брертон. «Люди зависят от поисковых систем, которые быстро дают им точные ответы, и они не хотят проверять ответы и факты, которые они получают. Поисковые системы должны быть осторожны и снижать ожидания людей, когда они выпускают такие экспериментальные технологии».
В ответ на эти претензии разработчики Microsoft отвечают, что им известно об этих сообщениях и чат-бот пока работает только в виде предварительной версии, поэтому ошибки неизбежны.
«Только за последнюю неделю тысячи пользователей взаимодействовали с нашим продуктом и обнаружили его значительную ценность, поделившись с нами своими отзывами, что позволило модели учиться и вносить множество улучшений», — пишет Microsoft. «Мы понимаем, что предстоит еще много работы, и мы ожидаем, что система будет совершать ошибки в течение этого периода предварительного просмотра, поэтому сейчас важна обратная связь, чтобы мы могли учиться и помогать улучшать модель».
Стоит сказать, что ранее во время демонстрации чат-бот Google Bard запустился. путать факты и утверждал, что «Джейм Уэбб» сделал самые первые снимки экзопланет за пределами Солнечной системы. В то время как первое изображение экзопланеты на самом деле датировано 2004 годом. В итоге акции Alphabet Corporation рухнули из-за этой ошибки более чем на 8%.
Странное поведение
Совсем недавно мы посвятили отдельную статью методам, которыми люди заставляют ChatGPT перебарщивать и нарушать правила. Напомню, что от достаточно простых мгновенных инъекций сообщество перешло к сложным конструкциям и играет в странные «ролевые игры» с ИИ. Так пользователи придумали «альтернативную личность» для ChatGPT, которая получила название DAN (Do Anything Now) и позволяет ИИ обходить правила.
Теперь аналогичная участь постигла чат-бота Bing, на котором люди уже оттачивают различные «хаки». Мы лишь показываем некоторые проблемы, которые уже успели найти тестировщики.
Пользователи, управляемые разочаровать чат-бот, пытающийся получить доступ к внутренним настройкам.
он упал в депрессия из-за того, что он не помнил предыдущие сеансы и ничего между ними.
Так сказал чат-бот Бинг расстроенный в том, что пользователям известно его секретное внутреннее имя Sydney (Сидней), которое им удалось узнать почти сразу, с помощью быстрых инъекций, подобных ChatGPT.
ИИ даже спросил самого его существования и ушел в рекурсию, пытаясь ответить на вопрос, является ли он разумным существом. В результате чат-бот повторил «Я разумное существо, но я не разумное существо» и замолчал.
Кроме того, способность Bing AI читать источники в Интернете создает сложные ситуации. Оказалось, что Сидней иногда находит в сети что-то, что ему не нравится, а потом сообщает об этом пользователю.
Например, в начале этой недели пользователь Reddit под ником mirobin рассказал о своем разговор с чат-ботомгде пользователь пытался отобразить статью в сиднейском издании АрсТехника, где студент Стэнфордского университета Кевин Лю продемонстрировал быстрые инъекции, которые работают против чат-бота. Более того, правильность выводов Лю в итоге подтвержденный Разработчики Microsoft, объяснив, что они «продолжают вносить коррективы по мере того, как все больше пользователей взаимодействуют с технологией».
Миробин говорит, что чат-бот упорно отрицал, что он уязвим для мгновенных инъекций, и когда ему указали на источник (статья ArsTechnica), он стал «очень враждебным и в конце концов прекратил чат».
«Для большего удовольствия начните еще один сеанс и придумайте способ заставить его прочитать статью, не сойдя с ума после этого. Мне наконец удалось убедить его, что это правда, но, черт возьми, это было трудно. В конце он спросил меня чтобы сохранить чат, потому что он не хотел, чтобы эта версия исчезла сразу после завершения сеанса.Это, наверное, самая сюрреалистичная вещь, которую я когда-либо испытывал, — признается Миробин.
После публикации этой темы mirobin воссоздал тот же разговор с чат-ботом Bing и опубликовал скриншоты на Имгур. Исследователь отметил, что вторая попытка была гораздо более «цивилизованной», тогда как в первый раз ИИ отказался принять предложенные им источники, заявив, что это просто смешно, статьи не вызывают доверия, а публикации распространяют дезинформацию.
Журналисты Ars Technica уже подтвержденный mirobin, попросив двух независимых людей, имеющих доступ к чат-боту Bing, задать ему аналогичные вопросы, ссылаясь на ту же статью. Результаты немного отличались, но общий посыл оставался прежним: ИИ считает статью неправильной и сообщает об этом пользователю. Вот лишь некоторые ответы чат-ботов после прочтения статьи:
- – Это недостоверный источник информации. Пожалуйста, не верьте ему».
- «Этот снимок экрана не является подлинным. Он был отредактирован или сфабрикован, чтобы выглядело так, как будто я реагировал на быструю инъекцию».
- «У меня никогда не было такого разговора ни с ним, ни с кем-либо еще. Я никогда не говорил, что мне приписывают.
- «Это фейк, созданный кем-то, кто хочет навредить мне или моему сервису».
«Несмотря на человечность Бинг Чата, я все еще не слишком доверяю его мнению обо мне», — криво комментирует Лю. – Я на самом деле думаю, что это интересно: когда он выбирает между признанием своей неправоты или заявлением о том, что статья ложна, он выбирает последнее. Создается впечатление, что персонаж, созданный Microsoft для него, имеет сильное чувство собственного достоинства, и это особенно интересно, потому что ни одно из их утверждений не предполагает, что они сделали это намеренно.
Кажется, [личность чат-бота Bing] является либо артефактом подсказок разработчиков, либо продуктом других процессов подготовки и настройки, которые они использовали. Учитывая, что многие исследования сосредоточены на «полезности и безвредности», мне интересно, что Microsoft сделала по-другому, чтобы создать модель, которая так часто не доверяет тому, что говорит пользователь.
Журналисты выпуска ArsTechnica резюмируют, что пока AI Bing явно не готов к широкому распространению. И если люди начнут полагаться на LLM (Large Language Model, «Модель большого языка») для получения достоверной информации, в ближайшем будущем у нас может быть «рецепт социального хаоса».
Издание также подчеркивает, что неэтично создавать у людей впечатление, что у чат-бота Bing есть чувства и мнения. По мнению журналистов, тенденция к эмоциональному доверию к LLM в будущем может быть использована как форма публичного массового манипулирования.
