15.01.2021


Модель ИИ Microsoft DeBERTa установила рекорд в тесте SuperGLUE, определяющем уровень понимания естественного языка. Она набрала 90,3 балла, а человек – 89,8 балла. Microsoft добилась таких результатов менее чем за два года, и в ее планы входит дальнейшее совершенствование своего ИИ.

Искусственный сверхразум

Искусственный интеллект (ИИ) DeBERTa корпорации Microsoft превзошел возможности человека бенчмарке SuperGLUE – тесте на понимание естественного языка. Как сообщили CNews представители Microsoft, он набрал 90,3 балла, тогда как показатели человека находятся на уровне 89,8 балла. Другими словами, отрыв небольшой, но все же он есть.

DeBERTa (Decoding-enhanced BERT with disentangled attention) – это алгоритм понимания естественного языка (Natural Language Understanding, NLU), созданный Microsoft.

Тест SuperGLUE состоит из восьми задач, связанных с пониманием структуры текста, а также его контекста и причинно-следственных связей в нем. При его прохождении DeBERTa (Decoding-enhanced BERT with disentangled attention), помимо прочего, приходилось давать ответы на вопросы по «прочитанному» им абзацу, а также уточнять, правильно ли использовалось то или иное слово, для которого в языке предусмотрено несколько значений, в конкретном контексте.

msai6000.jpg
ИИ Microsoft продемонстрировал чудеса «мышления»

Например, ИИ прочел фразу «ребенок стал невосприимчивым к болезни» (в оригинале – the child became immune to the disease (англ.)). По ней был задан вопрос «в чем причина этого?» (what’s the cause for this?), и DeBERTa предоставили два варианта ответа на него – «он избежал контакта с болезнью» (he avoided exposure to the disease) и «он получил вакцину от болезни» (he received the vaccine for the disease). Хотя человеку легко выбрать правильный ответ, для модели ИИ это сложно. Чтобы получить правильный ответ, модель должна понимать причинно-следственную связь между предпосылкой и двумя (или несколькими) правдоподобными вариантами ответа.

Эволюция искусственного интеллекта Microsoft

Сам по себе тест SuperGLUE был разработан группой специалистов в 2019 г., и на момент его релиза самый умный искусственный интеллект отставал от показателей человека почти на 20 баллов. Это означает, что Microsoft потребовалось менее двух лет, чтобы ее DeBERTa не только догнал, но и перегнал людей в понимании естественного языка.

В компании сообщили CNews, что для этого ее специалистам пришлось глубоко модифицировать всю архитектуру ИИ-модели, и теперь в ее составе есть 48 слоев и 1,5 млрд различных параметров. Корпорация собирается сделать саму модель и ее исходный код публичным – вся необходимая информация будет размещена на ресурсе GitHub, которым Microsoft владеет с июня 2018 г.

подробно