Нове дослідження вчених з Федеральної політехнічної школи Лозанни, опубліковане у журналі New Scientist, розкриває потенційні недоліки у використанні великих мовних моделей (LLM), що лежать в основі чат-ботів.
Дослідження показало, що ці моделі, які використовуються для обробки запитів різних мов, фактично «думають» англійською мовою, навіть коли запити стосуються інших мов.
Вчені вивчили три версії моделі Llama 2 компанії Meta, щоб з’ясувати, як вони обробляють запити, висловлені на китайській, французькій, німецькій та російській мовах.
Виявилося, що процес обробки запитів практично завжди проходить через англійський проміжний етап, навіть коли мова запиту інша. Це може спричинити втрату контексту та культурних нюансів, що є важливими для повного розуміння запиту.
Дослідники висловлюють обурення через можливі наслідки такого підходу. Карісса Веліз з Оксфордського університету вказує на ризики втрати концепцій та нюансів, доступних лише через інші мови.
Також висловлюються стурбованості щодо англоцентричних цінностей, які вбудовані в генеративні моделі ШІ, що можуть призвести до культурно-нерелевантних результатів або навіть перешкодити у прийнятті рішень щодо безпеки та притулку для спільнот, що не вписуються в англоцентричну уяву суспільства.
Отже, згідно з дослідженням, використання англійської мови як посередника для навчання моделей може мати негативний вплив на їх здатність розуміти різноманітність мовних контекстів та культурних відмінностей.