Странное происхождение способностей ИИ к «рассуждениям»

В июле 2020 года группа геймеров на 4chan обнаружила, что, если попросить виртуального персонажа AI Dungeon решить математическую задачу, «объясняя шаг за шагом», модель искусственного интеллекта не только находит решение, но и делает это, принимая личность выбранного персонажа. Удивительный факт: они одними из первых в мире увидели в действии то, что мы сегодня называем «цепочкой мыслей» — технику, позволяющую большим языковым моделям объяснять этапы рассуждений, а не просто давать окончательный ответ. Сегодня маркетинговые отделы технологических гигантов говорят о «разумных моделях», чат-ботах, которые «думают, прежде чем ответить» или «способны демонстрировать ход своих мыслей». Но правда в том, что то, что кажется техническим прорывом, на самом деле зародилось среди непристойных шуток и мемов на скандальном форуме. Идея о том, что ИИ научился рассуждать как человек, — это гораздо более поздний нарратив, чем стоящая за ним техническая реальность. Всё основано на недоразумении: мы считаем, что цепочка мыслей является доказательством того, что модель способна рассуждать, потому что она дает нам подробное объяснение, шаг за шагом. На самом деле модель просто имитирует прочитанные тексты, включая сотни тысяч решений математических задач, изобилующих фразами типа «Подождите, нет. Вопрос в том, что…», «Сначала мне нужно проверить вводные данные» и «Подождите, а в тех случаях, когда…». Вместо того чтобы рассуждать, она имитирует рассуждения. Главными героями этой истории являются не исследователи из Google или OpenAI, а группа анонимных геймеров и молодой компьютерный энтузиаст Зак Робертсон. На 4chan среди чрезмерно эмоциональных комментариев кто-то пишет: «Поскольку модель основана на человеческом языке, вполне логично, что, чтобы получить осмысленный ответ, с ней нужно разговаривать как с человеком». Тем временем Робертсон публикует пост о том, как «расширить возможности GPT-3», разбивая задачи на несколько этапов, и представляет его в сентябре 2020 года, не подозревая, что внес свой вклад в один из самых известных прорывов в области ИИ. Сегодня он пишет докторскую диссертацию в Стэнфорде, но, похоже, мало что помнит об этом открытии: его пост исчез, пока ему о нем не сообщили, и слава его не интересует. Суть дела заключается в следующем: компании, разрабатывающие ИИ, начали продавать эти модели как «модели рассуждений», но настоящая разница не в структуре. Цепочка рассуждений работает, потому что добавляет контекст: чем больше деталей содержит вопрос, тем точнее ответ, к которому приводит модель. Это тот же принцип, по которому, если вы задаете ChatGPT неконкретный вопрос, вы часто получаете неконкретные ответы. Если разбить проблему на этапы, у модели будет больше подсказок, куда двигаться. В исследовании под названием «Иллюзия мышления» компания Apple продемонстрировала, что эти модели могут правильно решить задачу, но ошибаются, если вопрос переформулирован с добавлением несущественных деталей — в некоторых случаях эффективность падает на 65%. А иногда создаваемая им цепочка рассуждений не имеет реальной связи с окончательным решением. Некоторые говорят: если машина обманывает нас так хорошо, что кажется, будто она рассуждает, значит, она действительно рассуждает. Но данные говорят об обратном: цепочка мыслей — это лингвистический трюк, а не окно в разум машины. Если вы думали, что чат-боты «действительно думают», эта история заставит вас заглянуть под капот и увидеть, что зачастую они просто играют свою роль. Цепочка мыслей — это хорошо продуманная инсценировка, а не доказательство наличия сознания. В Lara Notes есть жест, которого вы не найдете больше нигде: I’m In. Это не сердечко и не знак «лайк». Это ваше заявление: теперь эта идея касается вас. И если вы будете обсуждать с кем-то, как цепочка мыслей ИИ возникла между геймерами и мемами, на Lara Notes вы можете отметить тех, кто был там, с помощью функции «Поделиться офлайн», потому что некоторые темы заслуживают того, чтобы о них помнили. Этот материал взят из The Atlantic: вы только что сэкономили более трех минут по сравнению с чтением оригинальной статьи.