В Україні вперше було представлено відкритий лідерборд, що дозволяє користувачам порівнювати ефективність великих мовних моделей, орієнтуючись на їхню роботу українською мовою. Цю ініціативу здійснили спеціалісти з Lapa LLM у партнерстві з командою MamayLM, використовуючи бенчмарки, які стали основою для розробки моделей. Про це повідомив один з розробників, аспірант Українського католицького університету Юрій Панів.
Лідерборд з україномовними ШІ
Лідерборд демонструє, як різні моделі впораються з широким спектром задач українською мовою, такими як переклад, написання стислих переказів, відповідь на запитання, логічні тести, а також розв’язання математичних завдань. Чудова новина полягає в тому, що результати тестів є відкритими, а також доступний код для локального відтворення тестування. Наразі в лідерборді представлені моделі Lapa LLM, MamayLM, Qwen та Gemma.
Команда розробників планує активно розширювати функціонал лідерборду. У найближчих планах — публікація детальних логів бенчмарків, включення оцінки візуальних завдань, тестування етичних аспектів моделей, а також порівняння різних токенізаторів та порядку параметрів. Крім того, в лідерборд буде інтегровано моделі, які доступні через API, зокрема від відомих компаній, таких як OpenAI, Anthropic та Google, а також буде проведено тестування квантованих версій LLM.
Спільнота має можливість швидко доступити лідерборд на платформі Hugging Face, а також знайти репозиторій коду на GitHub. Користувачі мають змогу порівнювати моделі за різними критеріями, будувати графіки і запускати тести на власному обладнанні. Команда закликає розробників і дослідників активно залишати свої відгуки та пропозиції, що сприятиме вдосконаленню проєкту.
Головною метою цієї ініціативи є створення спільної і відкритої платформи для об’єктивної оцінки LLM з акцентом на українську мову, що безсумнівно сприятиме розвитку технологій штучного інтелекту в Україні.