Рекурсия — следующий закон масштабирования в ИИ

Представьте себе модель искусственного интеллекта всего с 7 миллионами параметров, обученную с нуля, которая превосходит модели, в сотни раз большие и обученные на всем Интернете, в решении таких задач, как судоку или знаменитые тесты Arc Prize. Кажется невозможным, не так ли? Однако в 2025 году две научные работы показали, что больше не нужно бесконечно увеличивать размер моделей для достижения лучшей производительности: настоящий прорыв происходит благодаря рекурсии, применяемой в момент вывода, то есть когда модель рассуждает, а не когда обучается. Представление об ИИ было ясным: чем больше модель, тем она мощнее. Но это правило рушится. Рекурсивные модели, такие как HRM и TRM, демонстрируют, что настоящий качественный скачок происходит не только за счет масштаба, но и за счет того, как модели удается «думать в несколько шагов» — рекурсивно — во время рассуждений. Рекурсия, то есть многократный вызов самого себя с одним и тем же набором правил, позволяет решать задачи, которые крупные LLM решают лишь поверхностно. Возьмем Франсуа Шопара, одного из главных героев этой революции. Он рассказывает, что до 2016 года все надежды в области ИИ возлагались на RNN: рекурсивные модели, которые, однако, были ограничены техническими проблемами, такими как знаменитая «обратная передача через время», сводившая с ума самые глубокие сети из-за накапливающихся или исчезающих ошибок. Затем появились трансформеры, которые во время обучения делают все параллельно и обходят эти проблемы, но платят за это цену: каждый раз, когда им нужно рассуждать, они должны «вспомнить» весь контекст — как если бы каждый раз, когда вы читаете страницу, вам приходилось держать в голове весь роман Шекспира. Это кажется мощным, но на самом деле блокирует их при выполнении задач, где нужны настоящие цепочки рассуждений, например, при упорядочивании списка или решении судоку. Есть пример, который ты никогда не забудешь: если ты попросишь LLM отсортировать список из 31 элемента, но у модели всего 30 уровней «глубины», она просто не сможет этого сделать. Это не вопрос данных, это структурный барьер. Вот почему HRM и TRM имеют решающее значение. HRM, например, черпает вдохновение из человеческого мозга, где разные части работают с разной частотой: есть низкий уровень, который обрабатывает быстрые детали, и высокий уровень, который контролирует более медленные и глубокие стратегии. Но настоящая магия заключается во внешнем кольце уточнения, своего рода «петле», которая позволяет модели многократно пересматривать свои ответы, каждый раз улучшая их, без необходимости экспоненциального роста. Хитрость заключается в том, чтобы обойти старое проклятие обратного распространения с помощью техники, называемой «глубокое равновесие» и «усеченное обратное распространение»: вместо того, чтобы распространять ошибки на все рекурсии, они останавливаются в одной точке и начинают заново, создавая своего рода мини-пакет, но во внутренней памяти, а не во входных данных. На практике в каждом цикле модель обновляет два типа памяти: локальную, ZL, которая работает с деталями, и более глобальную, ZH, которая отслеживает общую картину. Эта схема позволяет решать проблемы, с которыми LLM сталкиваются, только с помощью «хаков», таких как chain of thought, то есть заставлять писать каждое рассуждение шаг за шагом или делегировать их внешним инструментам, таким как функции Python. Но будьте осторожны: даже эти обходные пути заканчиваются там, где заканчиваются человеческие знания. Если вы хотите, чтобы модель открыла новый алгоритм, например, сортировку слиянием, при этом никто никогда не учил ее этому, цепочки мыслей недостаточно. Однако настоящая рекурсия может это сделать. Пример с судоку очевиден: рекурсивная модель может открывать для себя невиданные ранее стратегии, не нуждаясь в пошаговом руководстве на основе человеческих данных. И это еще не все: TRM доводит упрощение до крайности. Он сокращает количество уровней сети до одного, уменьшает количество параметров с 27 до 7 миллионов, и при этом повышает точность с 70 % до 87 % в таких задачах, как Arc Prize. Это переворачивает логику: больше не нужно «просто увеличивать размер», а нужно «думать глубже». И есть цитата Мел Митчелл, исследователя, упомянутой в подкасте, которая точно описывает эту идею: «Достаточно, но не обязательно, увеличивать размер, чтобы улучшить результат. Достаточно, но не обязательно, добавить больше рекурсии». Остается вопрос: что произойдет, если вы действительно объедините эти две силы? Если завтра у тебя будут гигантские модели, которые также могут мыслить рекурсивно, масштаб того, что они могут делать, снова изменится. Не все убеждены, что слишком большое вдохновение биологией — это правильный путь: иногда машинное обучение работает лучше, когда оно отдаляется от человеческого мозга и адаптируется к компьютерам, о чем свидетельствует переход от AlexNet к VGG, где отказались от «нейронных» идей, чтобы сосредоточиться на простоте, которая побеждает графические процессоры. Но факт остается фактом: рекурсия позволяет крошечным моделям побеждать гигантов, если только проблема требует многоэтапного рассуждения. Сегодня рекурсивные модели являются специфическими для конкретных задач: TRM, который умеет решать судоку, не может пройти лабиринт, и наоборот. Но как только будет найден способ обобщить эту рекурсию, у нас появятся агенты, способные действительно рассуждать «как мыслящие существа», а не только имитировать людей. Следует запомнить следующую фразу: следующий закон масштабирования ИИ будет не только «чем больше, тем лучше», но и «чем более рекурсивный, тем лучше». Если эта перспектива изменила твое представление об искусственном интеллекте, ты можешь отметить это на Lara Notes с помощью I'm In: это не лайк, это твой способ сказать, что теперь это видение является частью тебя. А если завтра ты расскажешь кому-то, что крошечная модель может победить гиганта благодаря рекурсии, на Lara Notes ты можешь отметить этого человека с помощью Shared Offline — так этот разговор не потеряется. Этот выпуск Decoded от Y Combinator сэкономит тебе 34 минуты прослушивания.