Компанія Meta опинилася у центрі скандалу через свої нові моделі штучного інтелекту, зокрема Llama 4 Scout і Maverick. Виникли підозри щодо фальсифікації результатів тестування ШІ, про що повідомляє The Verge.
Передумови конфлікту з Meta
Модель Maverick стала сенсацією на платформі LMArena, отримавши ELO-оцінку 1417, що перевищило показники GPT-4 від OpenAI та було близьким до Gemini 2.5 Pro від Google. Насправді, Meta стверджувала, що створила відкриту модель ШІ, яка може конкурувати з продуктами провідних компаній, однак справи виявилися складнішими.
Як виникли сумніви щодо Meta
Експерти виявили, що версія Maverick, яка була протестована, не була доступна для загального використання. У документації Meta йшлося про те, що для тестування використовувалася експериментальна версія, вдосконалена для діалогів. Це свідчить про те, що компанія надала модифіковану версію, яка демонструє кращі результати, ніж базова, доступна розробникам. Представники LMArena підкреслили, що Meta порушила принципи прозорості, оскільки не попередила про кастомізацію моделі для тестування.
Реакція Meta на скандал
Meta спробувала виправдатися, заявивши про експерименти з різними варіантами ШІ. Речниця компанії підкреслила, що ця модель була спеціально оптимізована для комунікації, а компанія лише досліджує її можливості в різних контекстах. Віцепрезидент Meta з генеративного ШІ спростував чутки про те, що модель тренувалася на тестових даних.
Думка експертів
Незалежний дослідник Саймон Віллісон критично висловився про реліз, назвавши його заплутаним і нечесним. Він підкреслив, що запуск нової моделі в суботу, коли зазвичай не роблять важливих новин, лише підігріває підозри. Віллісон також зазначив, що оцінка моделі, яку презентували, для нього не має жодної цінності, оскільки вона є недоступною для порівняння.