Команда Qwen компанії Alibaba, що займається розробкою моделей штучного інтелекту, представила модель штучного інтелекту QwQ-32B у середу. Ця модель є моделлю логічного мислення, яка використовує розширене тестування з видимим ланцюгом роздумів. Розробники стверджують, що незважаючи на менший розмір у порівнянні з DeepSeek-R1, модель може конкурувати за показниками продуктивності завдяки бенчмаркам. Як і інші моделі штучного інтелекту від команди Qwen, QwQ-32B також є відкритою моделлю, хоча і не повністю з відкритим вихідним кодом.
Випуск моделі штучного інтелекту QwQ-32B
У блозі команда Qwen поділилася деталями моделі логічного мислення QwQ-32B. Серія AI моделей QwQ (скорочено від Qwen з запитаннями) була вперше представлена компанією у листопаді 2024 року. Ці моделі розроблені, щоб запропонувати відкриту альтернативу таким проектам, як серія o1 від OpenAI. QwQ-32B демонструє 32 мільярди параметрів і була створена шляхом масштабування методик навчання з підкріпленням.
Розкриваючи процес навчання, розробники повідомили, що підходи до масштабування з підкріпленням були використані з початковою точкою. Спочатку методи з підкріпленням застосовувалися лише для завдань з кодування та математики, а відповіді перевірялися для забезпечення точності. Згодом ця техніка стала використовуватися для загальних можливостей разом з правилами верифікації. Команда Qwen виявила, що цей метод підвищує загальні можливості моделі без шкоди для її продуктивності в математиці та кодуванні.
Розробники стверджують, що такі структури навчання дозволили QwQ-32B досягти результатів, що порівнюються з DeepSeek-R1, незважаючи на те, що остання має 671 мільярд параметрів (з активованими 37 мільярдами). На основі внутрішніх тестів команда заявила, що QwQ-32B перевершує DeepSeek-R1 у бенчмарках LiveBench (кодування), IFEval (тонка налаштування мови для спілкування або інструкцій) та Berkeley Function Calling Leaderboard V3 (здатність викликати функції).
Розробники та ентузіасти штучного інтелекту можуть знайти відкриті ваги моделі на платформах Hugging Face і Modelscope. Модель доступна під ліцензією Apache 2.0, яка дозволяє академічне та дослідницьке використання, але забороняє комерційні застосування. Оскільки повні деталі навчання та датасети недоступні, модель не може бути детально відтворена або розібрана. DeepSeek-R1 також була доступна під тією ж ліцензією.
Для тих, хто не має необхідного апаратного забезпечення для локального запуску моделі штучного інтелекту, можна також скористатися її можливостями через Qwen Chat. Меню вибору моделі у верхньому лівому куті сторінки дозволяє користувачам обрати модель QwQ-32B-preview.