Исследователи Технологического института Джорджии в сотрудничестве с Корнельским университетом и Университетом Кентукки разработали агента с искусственным интеллектом (ИИ), который может автоматически генерировать объяснения на естественном языке в режиме реального времени, чтобы передать мотивы своих действий. Работа предназначена для того, чтобы дать людям, взаимодействующим с агентами ИИ или роботами, уверенность в том, что агент выполняет задачу правильно и может объяснить ошибку или ошибочное поведение.
Агент также использует повседневный язык, понятный неспециалистам. Объяснения, или «обоснования», как их называют исследователи, призваны быть понятными и вызывать доверие у тех, кто может работать с машинами ИИ или взаимодействовать с ними в социальных ситуациях.
«Если мы хотим демократизировать мощь ИИ, он должен быть доступен каждому, независимо от его технических способностей», - сказал Упол Эхсан, доктор философии. студент Школы интерактивных вычислений Технологического института Джорджии и ведущий исследователь.
«Поскольку ИИ проникает во все аспекты нашей жизни, существует явная потребность в разработке ИИ, ориентированной на человека, которая делает системы ИИ в «черном ящике» понятными для обычных пользователей. Наша работа делает формирующий шаг к пониманию роли языка. объяснения и то, как люди их воспринимают».
Исследователи разработали исследование с участием участников, чтобы определить, может ли их агент ИИ предлагать обоснования, имитирующие человеческие реакции. Зрители наблюдали, как агент ИИ играет в видеоигру Frogger, а затем оценивали три обоснования на экране в порядке того, насколько хорошо каждое из них описывало игровой ход ИИ.
Из трех анонимных обоснований для каждого шага - ответа, сгенерированного человеком, ответа агента ИИ и ответа, сгенерированного случайным образом - участники сначала предпочли обоснование, сгенерированное человеком, но ответы, сгенерированные ИИ, были закрыть второй.
Frogger предложил исследователям возможность обучить ИИ в «последовательной среде принятия решений», что является серьезной исследовательской задачей, поскольку решения, которые агент уже принял, влияют на будущие решения. Поэтому объяснить цепочку рассуждений экспертам сложно, а тем более при общении с неспециалистами, считают исследователи.
Зрители-люди поняли цель Фроггера - благополучно доставить лягушку домой, не будучи сбитым движущимися транспортными средствами или утонувшим в реке. Простая игровая механика перемещения вверх, вниз, влево или вправо позволяла участникам увидеть, что делает ИИ, и оценить, оправдывают ли обоснования на экране ход.
Зрители оценивали обоснования на основании:
- Уверенность - человек уверен в том, что ИИ выполнит свою задачу
- Человекоподобность - похоже, что это было сделано человеком
- Адекватное обоснование - адекватно оправдывает предпринятые действия
- Понятность - помогает человеку понять поведение ИИ
Обоснования, созданные ИИ, которые были оценены участниками выше, были те, которые демонстрировали признание условий окружающей среды и способность к адаптации, а также те, которые сообщали об осведомленности о надвигающихся опасностях и планировали их. Было обнаружено, что избыточная информация, которая только что констатировала очевидное или неверно охарактеризовала окружающую среду, оказала негативное влияние.
«Этот проект больше связан с пониманием человеческого восприятия и предпочтений этих систем искусственного интеллекта, чем с созданием новых технологий», - сказал Эхсан. «В основе объяснимости лежит смысл. Мы пытаемся понять этот человеческий фактор».
Второе связанное исследование подтвердило решение исследователей разработать свой ИИ-агент, чтобы он мог предложить один из двух различных типов обоснований:
- Краткие, «целенаправленные» обоснования или
- Целостное обоснование "полной картины"
В этом втором исследовании участникам предлагались обоснования, созданные ИИ, только после того, как они смотрели, как ИИ играет в Frogger. Их попросили выбрать ответ, который они предпочли бы в сценарии, в котором ИИ допустил ошибку или повел себя неожиданно. Они не знали, что обоснования были сгруппированы в две категории.
С перевесом 3 к 1 участники предпочли ответы, которые были отнесены к категории «полная картина». Ответы показали, что люди ценят то, что ИИ думает о будущих шагах, а не только о том, что происходит в данный момент, что может сделать их более склонными к повторным ошибкам. Люди также хотели знать больше, чтобы они могли напрямую помочь ИИ исправить ошибочное поведение.
«Ситуативное понимание восприятия и предпочтений людей, работающих с машинами ИИ, дает нам мощный набор действенных идей, которые могут помочь нам разработать более совершенных, ориентированных на человека, генерирующих логические обоснования, автономных агентов», - сказал Марк Ридл. профессор интерактивных вычислений и ведущий преподаватель проекта.
Возможное будущее направление исследований будет заключаться в применении результатов к автономным агентам различных типов, таким как агенты-компаньоны, и тому, как они могут реагировать в зависимости от поставленной задачи. Исследователи также изучат, как агенты могут реагировать в различных сценариях, например, во время экстренного реагирования или при помощи учителям в классе.
Исследование было представлено в марте на конференции Intelligent User Interfaces 2019 Ассоциации вычислительной техники. Статья называется «Автоматизированное создание обоснований: метод объяснимого ИИ и его влияние на человеческое восприятие». Эхсан представит документ с изложением позиции, в котором освещаются проблемы проектирования и оценки ориентированных на человека систем объяснимого ИИ на предстоящем семинаре «Новые перспективы в человеко-ориентированном машинном обучении» на конференции ACM CHI 2019, которая пройдет 4-9 мая в Глазго, Шотландия.