Microsoft і Nvidia кажуть, що розробили найпотужнішу мовну модель штучного інтелекту. Вона називається Модель генерування природної мови Мегатрон Тюрінга (або MT-NLG, Megatron-Turing Natural Language Generation model).
За словами Microsoft та Nvidia, модель досягає «неперевершеної точності» у взаємодії з природною мовою, зокрема вміє розуміти прочитане, формувати логічні твердження, робити висновки щодо базових математичних операцій. Вона використовує 530 мільярдів параметрів (тоді як, скажімо, GPT-3 компанії OpenAI має 175 мільярдів параметрів).
MT-NLG тренували на 15 наборах даних, із яких взяли 270 мільярдів токенів, або лексем. Наймасивнішим серед них був набір даних The Pile, в якому 825 ГБ текстів англійською мовою, зібраних з відкритих джерел.
Водночас під час навчання модель успадкувала стереотипи та упередження з отриманих даних, зазначають дослідники. Microsoft та Nvidia сказали, що працюватимуть над виправленням цієї проблеми.
Це не нове явище для моделей ШІ, які перебирають упередження з отриманих даних, адже дослідники не можуть фільтрувати усю інформацію з мережі. Показовим прикладом цього став ШІ-бот Тей, створений Microsoft у 2016 році, який за кілька годин взаємодії з інтернетом перетворився на антисеміта, який підтримував нацистів.
Ще немає коментарів