18.05.2023 16:57
Новости.
Просмотров всего: 5988; сегодня: 1.

Нейросети сдали экзамен по истории России на «тройку»

Нейросети сдали экзамен по истории России на «тройку»

Доцент кафедры истории России УрФУ Михаил Киселев провел «экзамен» для Chat GPT и Sage. Он протестировал нейросети на знание истории России — исторических фактов и терминологии. По итогу преподаватель назвал нейросеть «студентом-импровизатором» и поставил ей «тройку». Результаты анализа историк озвучил на научном семинаре «Тексты, коды, смыслы: искусственный интеллект — помощник или соперник гуманитария», который состоялся в УрФУ.

«Есть три типа студентов на экзамене. Когда студент успешно осваивает дисциплину, он знает материал, понял, как работать с ним, основные подходы к анализу и может дать отличный самостоятельный ответ. Есть те, что ничего не учат и честно говорят: „Я ничего не знаю“, потом отправляются на пересдачу. Но есть третий тип, когда студент выучил кое-что, но делает вид, что он знает все. И тогда, опираясь на какие-то обрывочные сведения, он начинает импровизировать и строить целостные ответы, которые на самом деле оказываются проблемными. Примерно так делает нейросеть: там, где материал имеет однозначные ответы, нейросеть отвечает нормально, адекватно, но в остальном она имитирует самостоятельные рассуждения. И здесь начинаются проблемы, потому что нейросеть может просто выдумывать факты, несуществующие работы или авторов», — рассказывает Михаил Киселев.

Так, на вопросы, связанные с использованием устойчивой общей научной терминологии, давались вполне хорошие ответы, добавляет Киселев. Например, обе нейросети дали приемлемый ответ на вопрос «В чем разница между историческими и историографическим источниками? Однако со сложным гуманитарным (историческим) материалом нейросеть не справляется, утверждает доцент. Так, в работе историк имеет дело с языками нескольких эпох: терминология XVI века в нескольких вариантах (церковнославянский язык, язык деловой письменности, разговорный), XIX века, советско-марксистский язык XIX века и современный. И все это русский язык, который понимает человек. Нейросеть же владеет только современным русским языком и не воспринимает нюансы языков разных эпох.

«К примеру, я задал вопрос, „Что такое завещание Василия III?“ Ответ Chat GPT — „Завещание Василия III — это документ, составленный российским царем Василием III перед его смертью в 1533 году. В нем он указывал своих наследников и распоряжался имуществом. Согласно завещанию, престол достался его сыну Ивану IV (Грозному), а также были назначены его опекуны и министры“. Ответ Sage — „Завещание Василия III — это правовой акт, оставленный российским царем Василием III перед своей смертью в 1533 году. В завещании был определен порядок правления и наследования престола России. В соответствии с завещанием, после смерти Василия III престол должен был перейти к его сыну Ивану IV, который в то время был еще ребенком“, — рассказывает Киселев. — Обе нейросети неправильно назвали Василия III царем. Этот титул официально примет только Иван IV. А Chat GPT использовал анахронизм „министры“, однако ответ в целом можно считать удовлетворительным».

Затем экзаменатор немного переформулировал тот же вопрос: вместо слова «завещание» использовал исторический термин XVI века — «духовная».

«На вопрос, „что такое духовная Василия III?“ нейросети показали незнание исторической терминологии. Chat GPT заявил, что „это период правления российского царя Василия III (1479-1533), когда произошло значительное развитие православной церкви в России“, а Sage, что „это название церковной реформы, проведенной российским царем Василием III в конце XV — начале XVI веков“», — добавляет Михаил Киселев.

На вопрос «Какие историки писали о завещании Василия III?» обе нейросети сперва начали «лить воду», заявляя, что об этом «писали многие историки», после чего назвали наиболее известных дореволюционных историков типа Сергея Соловьева и Василия Ключевского.

«С учетом того, что им принадлежали обобщающие работы по истории России, это удачный ход: наверняка они что-то должны были об этом писать. В то же время нейросети проигнорировали авторов специальных работ по этой теме, которые ищутся обычным поисковиком. Примечательно, что нейросети наравне с реальными историками и их работами могут выдумывать как историков, так и книги. Sage назвала некоего Александра Васильевича Пильяра, а Chat GPT заявил, что Андрей Краевский якобы написал книгу „Истории Российского государства“. Если представить, что такая беседа велась на экзамене, то можно сказать, что студент „поплыл“ из-за неглубокой проработки материала, хотя и старался держаться уверенно, пытаясь доказать противоположное», — говорит Михаил Киселев.

Историк полагает, что «неподготовленность» нейросетей связана с тем, что они имитируют самостоятельное мышление посредством генерации правдоподобных текстов на основании загруженных данных. Однако если данные достаточно полные и однозначны, то нейросети показывают хорошие результаты. Так, физик, академик РАН Алексей Хохлов поставил бы нейросети как студенту отличную оценку.

«В тех дисциплинах, где повышается сложность из-за вариативности материала, существования разных подходов и концепций, а также использования разных языков, нейросеть превращается из „отличника“ в посредственного „троечника“, которого хочется отправить на пересдачу. Другое дело, что, возможно, в будущем все же на основе нейросети можно будет создать помощника, который будет на основе индексации загруженных материалов с соответствующими ссылками давать подсказки, где что упоминается. Или, например, возьмет часть технической работы — оформление списков литературы, составление аннотации и ключевых слов. То есть нейросеть не сможет думать за человека, она для этого не приспособлена, однако она сможет создать для этого более комфортные условия», — заключает Киселев.

Источник: https://urfu.ru/ru/news/46796/

Фото: УрФУ.


Участники событий:

  • Рюрикович Василий (Василий III) Иванович, великий князь владимирский и московский в 1505 -1533 годах, государь всея Руси, сын Ивана III Великого и Софьи Палеолог, отец Ивана IV Грозного;
  • Рюрикович (Грозный) Иван (Иван IV) Васильевич, государь, великий князь московский и всея Руси с 1533 года, первый венчанный царь всея Руси.

Участники событий:

  • Рюрикович Василий (Василий III) Иванович, великий князь владимирский и московский в 1505 -1533 годах, государь всея Руси, сын Ивана III Великого и Софьи Палеолог, отец Ивана IV Грозного;
  • Рюрикович (Грозный) Иван (Иван IV) Васильевич, государь, великий князь московский и всея Руси с 1533 года, первый венчанный царь всея Руси.
Тематические сайты: Искусственный интеллект, История, Молодежь, Наука, Образование, Русский язык
Сайты субъектов РФ: Свердловская область
Сайты столиц субъектов РФ: Свердловская область - Екатеринбург
Сайты федеральных округов РФ: Уральский федеральный округ
Сайты стран: Россия

Ньюсмейкер: Альянс Медиа Центр — 5477 публикаций
Поделиться:

Интересно:

О своих мечтах об отдыхе поделились российские дети
28.03.2024 12:18 Аналитика
О своих мечтах об отдыхе поделились российские дети
В преддверии II Всероссийского конкурса юного художника «Место в России, где я мечтаю побывать», который стартует 1 апреля 2024 года, эксперты Национального туроператора Алеан рассказали, куда хотели поехать дети, исходя из анализа работ прошлого года. Дети в возрасте от 6 до 15 лет поделились...
562 года назад на престол взошёл Иван III
28.03.2024 10:44 Новости
562 года назад на престол взошёл Иван III
В историю он вошел в первую очередь как собиратель русских земель и, по сути, создатель единого государства Российского, созидатель и мудрый дипломат – при Иване III не только расширяются границы, но и создается прообраз системы управления страной – пишутся единые законы, утверждается...
Ранее неизвестные петроглифы описали российские ученые
27.03.2024 18:03 Новости
Ранее неизвестные петроглифы описали российские ученые
Группа ученых из Кемеровского государственного университета во главе с доктором исторических наук Ольгой Советовой описала ранее неизвестные петроглифы, обнаруженные в ходе экспедиций последних трех лет. Среди найденных рисунков неожиданно оказалось и крайне редкое изображение парохода. Основной...
Неизвестный объект археологического наследия найден в Подмосковье
27.03.2024 17:20 Новости
Неизвестный объект археологического наследия найден в Подмосковье
В подмосковном городе Ликино-Дулево Орехово-Зуевского городского поселения археологи провели превентивное обследование территории, прилегающей к скверу Дулевского фарфорового завода. В результате был обнаружен ранее неизвестный исторический слой, который уже признан вновь выявленным объектом...
Музыкальные вершины великих эпох России
27.03.2024 17:02 Мероприятия
Музыкальные вершины великих эпох России
26 марта 2024 года в Светлановском зале Московского международного Дома музыки представлен новый масштабный мультимедийный музыкально-исторический проект «Музыкальные вершины великих эпох России», проводимый в рамках  общероссийской историко-культурной  благотворительной акции...