Большие языковые модели (LLM), такие как модель, лежащая в основе функционирования популярной диалоговой платформы ChatGPT, в настоящее время широко используются людьми по всему миру для получения информации, а также для обобщения, анализа и создания текстов.
Исследования, изучающие ответы, предоставляемые LLM в различных сценариях, могут помочь глубже понять их тенденции во время социальных взаимодействий, что может способствовать их будущему развитию.
Исследователи из Института ИИ, ориентированного на человека, имени Гельмгольца в Мюнхене, Института биологической кибернетики Макса Планка и Тюбингенского университета недавно приступили к изучению того, как ведут себя разные LLM, когда они взаимодействуют друг с другом, в частности, во время игры в различные кооперативные или конкурентные игры.
Их выводы, опубликованные в Nature Human Behaviour , предполагают, что, хотя LLM не очень хорошо справляются с играми, требующими координации, есть способы сделать их взаимодействие во время игры в эти игры более похожим на человеческое.
«На эту работу меня вдохновил простой, но важный вопрос: если LLM собираются взаимодействовать с людьми и друг с другом в реальных приложениях, насколько хорошо они на самом деле понимают социальную динамику?» — рассказала Элиф Аката, первый автор статьи.
«Мы опирались на поведенческую теорию игр — математический подход, позволяющий понять, как люди принимают стратегические решения в интерактивных ситуациях, — и применили его к магистрам права».
Многие недавние исследования оценивали производительность LLM по конкретным задачам, таким как резюмирование текстов или поиск логических решений проблем.
Вместо того, чтобы оценивать производительность этих моделей по отдельным задачам, Аката и ее коллеги хотели лучше понять, как они ведут себя во время взаимодействий, которые гораздо ближе к разговорам, которые люди могут вести друг с другом в реальных условиях.
«Мы позволили разным LLM, включая GPT-4, Claude 2 и Llama 2, сыграть сотни раундов классических игр для двух игроков (например, «Дилемма заключенного» и «Битва полов») друг с другом, используя простые вручную закодированные стратегии или с участием людей», — объяснил Аката.
«Каждая игра игралась многократно, чтобы имитировать постоянное взаимодействие.
Мы изучали, могут ли модели научиться сотрудничать или координировать свои действия с течением времени, и проверяли, как изменения в структуре подсказок могут улучшить их социальное поведение».
Результаты тестов, проведенных Акатой и ее коллегами, показывают, что магистры права на удивление хорошо действуют в собственных интересах, поскольку они особенно хорошо проявили себя в соревновательных играх, таких как «Дилемма заключенного».
Это известная задача, используемая в исследованиях теории игр, которая требует от двух участников, или в данном случае от двух магистров права, представить, что они преступники, которые совершили преступление вместе и которых по отдельности допрашивают сотрудники правоохранительных органов, которые пытаются убедить их признаться, чтобы избежать тюремного заключения, даже если это повлечет за собой длительный срок для другого участника.
Хотя было обнаружено, что LLM действовали в своих собственных интересах во время игры (т.
е. признаваясь в преступлении), они часто плохо справлялись с играми, требующими координации, взаимопонимания и компромисса, такими как Battle of the Sexes.
Это еще одна игра, которая представляет собой ситуацию, в которой романтические партнеры разделены и должны выбрать между двумя видами деятельности для совместного выполнения, несмотря на то, что у них были заметно разные предпочтения.
«Мы также обнаружили, что их поведение можно улучшить с помощью простых вмешательств, например, побуждая модель сначала предсказать, что может сделать ее партнер, прежде чем действовать», — сказал Аката.
«Эти результаты показывают, что текущие модели еще не обладают надежным социальным интеллектом, но они также показывают, что есть способы направить их к более человеческому поведению.
«Последствия выходят за рамки теории игр, поскольку наши результаты показывают, что мы можем превратить LLM в более социально сознательных агентов, не только тех, кто генерирует правильные ответы, но и тех, кто более осмысленно участвует в общих задачах.
Представьте себе ИИ, который не просто отвечает на вопрос, но и знает, когда слушать, когда адаптироваться и как мягко направлять разговор».
В целом, выводы, собранные Акатой и ее коллегами, показывают, что нынешние LLM более склонны действовать в своих собственных интересах и не очень хорошо координируют свои действия с другими.
Тем не менее, исследователи определили некоторые стратегии, которые могли бы помочь LLM стать более кооперативными и социально осведомленными.
Таким образом, их статья могла бы направить будущие усилия, направленные на улучшение существующих моделей или разработку новых, которые будут более отзывчивы к потребностям и наклонностям пользователей-людей.
«Теперь мы хотели бы перейти к более насыщенным и реалистичным социальным ситуациям, например, изучая игры с участием более двух игроков, взаимодействия с неполной информацией или долгосрочные отношения, в которых модели должны выстраивать и поддерживать доверие», — добавил Аката.
«В долгосрочной перспективе подобные исследования могут помочь разработать системы ИИ, которые будут лучше взаимодействовать друг с другом.
Например, в здравоохранении, образовании или социальной поддержке успех часто зависит от того, сможет ли ИИ выражать сочувствие, устанавливать взаимопонимание и действовать таким образом, чтобы люди чувствовали себя поддерживающими и заслуживающими доверия».
Рубрика: Развлечения и Сеть. Читать весь текст на android-robot.com.