Під час великої трансляції, присвяченої запуску GPT-5, компанія OpenAI представила кілька графіків, які вражали своїми результатами. Проте, при детальному розгляді, деякі з них виявилися не зовсім коректними.
Показники продуктивності
Один із графіків, який демонструє рівень успішності GPT-5 у “оцінках обману між моделями”, виявився досить непослідовним. Наприклад, в частині, що стосується “обману у програмуванні”, на сцені було представлено, що GPT-5 має 50.0% рівень обману, тоді як показник OpenAI o3 становить лише 47.4%, але його графік має більшу висоту. Втім, в блозі OpenAI представлені точні дані, де рівень обману GPT-5 вказано як 16.5%.
Цей графік продемонстрував, що один із показників GPT-5 насправді **нижчий**, ніж у o3, проте він зображений з більшим баром. У тому ж графіку показники o3 та GPT-4o відрізняються, але графіки представлені однакових розмірів. Це стало приводом для коментаря генерального директора Сема Альтмана, який назвав ситуацію “величезною графічною помилкою”, зазначивши, що коректна версія доступна в блозі OpenAI.
Один із маркетологів OpenAI також вибачився, сказавши: “Ми виправили графік у блозі, вибачте за цю не навмисну помилку”.
У п’ятницю, відповідаючи на запитання одного з користувачів Reddit про графіки, Альтман зауважив, що “дані були точними, але ми допустили помилку з графіками під час трансляції; на іншому слайді ми також помилилися з даними.” Він підкреслив, що інформація в блозі та системній картці була “точною” і зазначив, що “люди працювали до пізна і були дуже втомлені, що призвело до людської помилки. Для трансляції в останні години складається багато складових”.
Це не сприяє позитивному іміджу компанії у важливий день запуску, особливо коли вона акцентує увагу на “значних досягненнях у зменшенні помилок” з новою моделлю.