- 06 мая 2024 16:00
- Новость
В НГУ рассказали, какие ошибки допустила нейросеть в «Тотальном диктанте»
Количество орфографических и синтаксических ошибок, допущенных искусственным интеллектом, тянет на твердую тройку. Но есть нюансы
фото: НГУ
6 мая в Новосибирском госуниверситете рассказали, как искусственный интеллект написал «Тотальный диктант». ИИ впервые соперничал в грамотности с человеком в рамках проведения диктанта.
Создатели открытой системы «Писец» предполагали, что система, скорее всего, не получит положительной оценки, вероятно, допустив минимальное количество орфографических ошибок, однако справиться с расстановкой знаков препинания вряд ли сможет. Проверка показала, что нейросеть успешно расставила запятые и разбила текст на абзацы. Однако избежать галлюцинаций системе не удалось. (Галлюцинация - это ответ авторегрессивной нейросетевой модели языка, который грамматически корректен, но семантически неверен (не соответствует смыслу входного запроса).
«Писцу» вполне можно было бы поставить твердую «тройку», если бы не несколько обстоятельств. Из 276 слов диктанта он пропустил 6, пять из которых стояли в конце предложения, причем в этих случаях он не ставил точку, но следующее предложение начинал с заглавной буквы. В одном месте пропустил предлог «в», шедший предпоследним в предложении. Еще 7 слов им было услышано неверно. Например, вместо «наивысшего» искусственный интеллект написал «наявившего». Другой пример словотворчества — «кальиончатых» вместо «клеенчатых». Встретилось и неверно услышанное выражение «Читай — не хочу». Вместо него написано «Считай, не хотите», свидетельствующее и о проблемах с грамматикой. С грамматикой обнаружились еще проблемы в написании окончаний — «синями» (вместо «синими») и «портрет ... гимназисткЕ» (правильно: «портрет … гимназистки»), что уже засчитывается за орфографическую ошибку. Еще одна «ослышка» привела к искажению смысла предложения, но в итоге было все же написано правильно. Это последнее предложение предпоследнего абзаца. «Писец» вместо «так» написал «та». Получилось сложносочиненное предложение, где он поставил запятую, в итоге возникла речевая ошибка. Аналогичная грамматическая ошибка: вместо слова «способны» написано «способный» и вышло «как способный лишь немногие», — рассказала старший преподаватель кафедры источниковедения литературы и древних языков Гуманитарного Института НГУ Людмила Буднева.
Те, кто проверял работу «Писца», в итоге так отвечают на вопрос об оценке: в тех местах, где искусственный интеллект все слова услышал верно, он написал диктант хорошо — на границе между «тройкой» и «четверкой». Но учитывая все нюансы, в том числе галлюцинации, удовлетворительную оценку преподаватели университета нейросети поставить не могут.
О том, как «Тотальный диктант» написали живые люди, можно прочитать здесь.
поделиться
поделиться
Рекомендуем:
Популярное
Праздник после Пасхи «Радоница»: народные приметы, что можно и что нельзя делать 14 мая 2024 года
Лазерная угроза в небе: пилотов S7 попытались ослепить во время полета
Новосибирский физик Анатолий Маслов рискует получить 17 лет колонии по делу о госизмене
Сибирячка потеряла ребёнка после 5 часов ожидания в больнице Новосибирска
Равная прибавка для всех пенсионеров: рекордная индексация всех категорий пенсий на 20%
Последние новости