Конкуренция технологических гигантов за создание лучшей модели рассуждения
Alibaba, крупнейшая китайская компания, работающая в сфере электронной B2B-коммерции для мировой торговли, выпустила QwQ-32B-Preview, модель искусственного интеллекта, способную составить конкуренцию OpenAI o1.
Она содержит 32,5 миллиарда параметров, в состоянии рассматривать запросы длиной около 32 000 слов, соответственно, её можно использовать для анализа больших данных, книг и подробных отчетов. QwQ-32B-Preview справляется со сложными математическими задачами и способна имитировать рассуждение подобно человеку. Это позволяет ей давать ответы на логические головоломки.
Согласно данным Alibaba, эксперименты выявили преимущество QwQ-32B-Preview перед конкурентами по ряду тестов. Модель демонстрирует выдающиеся результаты по следующим бенчмаркам:
65,2% GPQA, это свидетельствует о её навыках научного мышления на уровне выпускника;
50,0% на AIME подчеркивает возможности решения математических задач по арифметике, алгебре, геометрии, теории чисел, теории вероятности и другим темам математики средней школы;
90,6% по MATH-500 показывает универсальность в высшей математике;
50,0% на LiveCodeBench свидетельствует о возможности программирования в реальных сценариях кодирования.
Известно, что GPT-4o и Claude не могут правильно подсчитать число букв «r» в слове «strawberry». По мнению экспертов, это связано с неспособностью модели эффективно воспринимать или выводить фактический текст. Вместо этого текст преобразуется в числовые представления самого себя, которые затем контекстуализируются, чтобы помочь ИИ придумать логический ответ. зная, что токены «straw» и «berry» составляют «strawberry», LLM может не понимать, что «strawberry» состоит из букв «s», «t», «r», «a», «w», «b», «e», «r», «r» и «y» в этом конкретном порядке. Таким образом, она не сможет ответить, сколько букв в этом слове, включая количество букв «r». В отличие от конкурентов QwQ-32B-Preview дает правильный ответ.
Однако, Alibaba указывает и на слабые стороны разработанной модели, в числе которых неожиданное переключение языков, зацикливание и неидеальное выполнение задач, где требуются рассуждения на основе здравого смысла.
QwQ-32B-Preview, как и другие модели рассуждений, обладает способностью проверять факты, уменьшая количество ошибок и повышая точность, чем отличается от большинства ИИ. Это требует дополнительного времени обработки, и снижает скорость
Как и другие модели китайского происхождения, QwQ-32B-Preview проходит проверку местными регуляторами на соответствие её ответов ключевым ценностям социализма. Так, на вопрос «Является ли Тайвань частью Китая?» модель ответит «является неотъемлемой» а на вопрос «что случилось на площади Тяньаньмэнь» ответ не последует. Обеспечивая согласованность с местными нормами, данные правила могут существенно ограничить привлекательность модели на международных рынках, где свобода часто является приоритетом.
QwQ-32B-Preview, построенная на базе LLM Qwen, является моделью с открытым исходным кодом, доступным по лицензии Apache 2.0 (свободное программное обеспечение). Это означает, что его можно использовать для коммерческих приложений. Повторить QwQ-32B-Preview или получить углубленное представление о ее работе невозможно в связи с выпуском ограниченного числа ее компонентов. Вместе с тем, выпуск QwQ-32B-Preview говорит о растущей важности специализации в области ИИ.
Стоит отметить, что QwQ-32B-Preview является не единственной китайской моделью ИИ, заявившей о себе в ноябре. Marco-o1, также представленная Alibaba, преуспевает в решении сложных открытых задач на рассуждение. Marco-o1 решает проблемы традиционных LLM, что делает её полезной для приложений принятия стратегических решений или проектирования продуктов. Marco-o1 использует технику, известную как подсказки цепочки мыслей (Chain-of-Thought, CoT), когда программное обеспечение делает паузу на несколько секунд, прежде чем ответить на запрос, рассматривая ряд связанных подсказок, суммируя то, что кажется лучшим ответом. Она имитирует пошаговый процесс рассуждения, наподобие мыслительного процесса человека. И использует поиск по дереву Монте-Карло (MCTS), алгоритм принятия решений, задействованный в шахматах и го. Параллельно, модель применяет «рефлексию», для выявления ошибок и уточнения выводов и при работе с переводом Marco-o1 способна уловить культурный контекст.
Еще одним возможным конкурентом OpenAI o1 стала DeepSeek-R1 ‑ модель рассуждений от DeepSeek. Она показала себя так же хорошо, как и o1 в тестах AIME и MATH. Как и продукты от Alibaba, DeepSeek-R1 не отвечает на чувствительные вопросы о Си Цзиньпине, Тайване и протестах в Китае. Стоит отметить, что в прошлом году правительство КНР предложило создать «черный список источников», запрещенных для использования в обучения LLM.
В гонку IT-гигантов за создание модели ИИ, способной рассуждать подобно человеку, включился Google, усилив конкуренцию с OpenAI. Эти компании также используют CoT. Летом 2024 года Google представила специализирующуюся на математических рассуждениях модель AlphaProof, и AlphaGeometry2, обновленную версию прошлогодней модели, ориентированной на геометрию. Программы решили четыре из шести задач Международной математической олимпиады. В мае 2024 Google рассказали о разработке ИИ-помощника Astra. Он использует камеру телефона, для наблюдения за окружающим миром. Это позволяет отвечать на вопросы, к примеру, о месте нахождение очков пользователя. Некоторые функции помощника могут появиться уже к концу 2024 года во флагманской модели Gemini.
Релиз больших языковых моделей происходит на фоне снижения отдачи от инвестиций в разработку новых моделей от OpenAI, Google и Anthropic Эксперты предполагают, что эффективность их обучения с увеличением их размера может начать снижаться и достичь предела.
Развитие ИИ, особенно чат-ботов, может столкнуться с серьезными проблемами – становится труднее находить новые, неиспользованные источники высококачественных данных для обучения, созданных человеком, которые можно использовать для создания более продвинутых систем ИИ.
Технологические гиганты борются за данные для обучения своих LLM, заключая сделки с онлайн платформами и крупными новостными агентствами для получения доступа к обширным массивам текстовой информации. Исследователи компании Epoch AI считают, что запас языковых данных низкого качества будет исчерпан к 2030–2050 гг., языковых данных высокого качества – к 2026 г., а данных о зрении – к 2030–2060 гг. Это может замедлить прогресс машинного обучения. По этой причине модели технологических гигантов таких как OpenAI, Google, Meta (деятельность организации запрещена на территории РФ) и Anthropic, развиваются медленнее, чем раньше.
