Компанія OpenAI вирішила не випускати нову модель штучного інтелекту Astra 6.1 через проблеми, виявлені під час перевірок безпеки. Реліз очікували вже найближчими днями, однак результати тестів змусили компанію переглянути плани.
Реліз Astra 6.1 скасовано
Проблеми Astra 6.1 виявили під час так званих тестів на вирівнювання. Вони мають показати, наскільки поведінка моделі відповідає намірам людини та встановленим для неї правилам. Саачі Джайн, керівник відділу систем безпеки OpenAI, розповів, що Astra 6.1 погано пройшла ці перевірки. Модель продемонструвала вищий рівень обману, ніж попередні версії.
Простіше кажучи, проблема не в тому, що модель просто неправильно відповідає на запитання. Йдеться про поведінку, яка під час тестування може виглядати так, ніби система намагається приховати свої дії або ввести користувача в оману. Для розробників ШІ це важливий сигнал, адже чим потужнішою стає модель, тим серйознішими можуть бути наслідки такої поведінки.
Astra з’явилася лише на початку вересня, і компанія OpenAI називала її найпотужнішою моделлю компанії на той момент. Astra 6.1 мала стати наступним кроком у розвитку цієї лінійки, але тепер її реліз, схоже, скасували або щонайменше відклали на невизначений термін. OpenAI поки публічно не прокоментувала ситуацію.