Агентный искусственный интеллект: правовые и этические вызовы автономных систем

Введение

В настоящее время мы наблюдаем расширение возможностей ИИ-агентов, таких как коммуникационные навыки и сложные рассуждения без вмешательства человека. ИИ-ассистенты привязаны к пользователям, но агенты с искусственным интеллектом имеют определенную степень свободы¹. Глобальная рыночная стоимость агентного ИИ в 2024 г. составляла 5,1 млрд долл. США и, как ожидается, к 2030 г. увеличится до 47 млрд долл. США при совокупном годовом темпе роста в 44 %². Степень свободы, которой в настоящее время обладают агенты с искусственным интеллектом, требует правовых и этических рамок для регулирования их поведения. Как владелец/разработчик агентного ИИ, так и соответствующее программное обеспечение нуждаются в мониторинге с юридической и этической точек зрения. Но, чтобы не потерять преимущества агентного ИИ, необходимо соблюдать баланс. Для «статичных» помощников с ИИ уже выработаны этические и правовые рамки, которые контролируются соответствующими действиями или привязаны к ним. Однако они требуют пересмотра по отношению к ИИ-агентам. Как же именно следует изменить эти рамки для агентов с ИИ? Требуется ли агентному ИИ общественное сознание, чтобы ориентироваться в новой этической и правовой среде? Главная цель нашего исследования – определить, как будут развиваться дебаты об этике и правовом поле для агентов с искусственным интеллектом. Статья состоит из введения, обзора литературы, основной части и выводов.

1. Обзор литературы

1.1. Три типа ИИ агентов

ИИ-агенты называют также сложными системами ИИ; в настоящее время эта область исследований бурно развивается (Kapoor et al., 2024). Сложные системы ИИ – это лучший способ использовать и максимизировать модели ИИ и, возможно, один из важнейших трендов 2024 г.³ Сложные системы искусственного интеллекта во многих отношениях отличаются от обычных ИИ-систем (больших языковых моделей). Так, они решают более сложные задачи, чаще используются в реальных условиях и могут решать проблемы, на которые нет однозначного ответа; для них могут потребоваться пользовательские интерфейсы агент-компьютер (Yang, Jimenez et al., 2024). Сложная ИИ-система может управлять несколькими агентами, что сказывается на ее стоимости (Kapoor et al., 2024).

В отношении традиционного ИИ считается, что агенты способны воспринимать окружающую среду и воздействовать на нее (Russell & Norvig, 1995); с этой точки зрения термостат может быть классифицирован как агент (Kapoor et al., 2024). Агентные ИИ-системы часто рассматриваются как различные системы искусственного интеллекта с той или иной степенью агентной способности⁴. Существует три типа ИИ-агентов (Alberts, Keeling et al., 2024): артефакты (агент интерпретирует данные в социальной среде), интерактивные системы (ведут себя как социальные субъекты) и диалоговые агенты (выполняют социальные роли). ИИ-агенты как социальные субъекты должны уметь общаться и, таким образом, взаимодействовать с пользователем, но это означает нечто большее, чем просто быть приятными, дружелюбными, говорить правду и не использовать ненормативную лексику. Ожидается, что взаимодействие будет контекстуальным, что требует понимания личности пользователя, социальной среды и ситуационного контекста. Это приведет к тому, что ИИ-агенты будут выдавать информацию без запроса, а значит, вносить собственные предложения (Alberts, Keeling et al., 2024).

1.2. Социальное взаимодействие ИИ-агентов

Технологии можно считать социальными, поскольку они внедрены в социальную среду и используются в ней. Это предположение разделяют исследователи, изучающие идеологический аспект технологий, в частности, культурные предубеждения и ценности, которые заложены в используемых технологиях (Bender et al., 2021; Shelby et al., 2023). Системы, которые не являются социально интерактивными, рассматриваются как вредные (Alberts, Keeling et al., 2024). Примером вреда «пассивной» технологической системы служат данные об уровне обученности, которые искажают демографическую картину (Bender et al., 2021).

Помимо пассивных технологий, интерактивные технологии имеют определенное назначение и являются ценными для социума (Grimes et al., 2021). Кроме того, локальные действия системы интерпретируются с точки зрения человека и общества. На этом принципе основана философия исследования «Компьютеры как социальные субъекты», согласно которому люди, взаимодействуя с компьютерными системами и технологиями, применяют человеческие социальные нормы и ожидания (Nass et al., 1994).

Интерактивные системы имитируют поведение или качества человека. Это достигается с помощью социальных сигналов (говорение от первого лица и выражение эмоций) (Grimes et al., 2021). Диалоговые агенты способны давать адекватную реакцию в знакомых социальных ситуациях. Система ИИ может выполнять социальную роль, в которой ИИ-агент является другом или терапевтом. Однако ИИ-агент может также сказать что-то оскорбительное и расстроить пользователя, либо проявить фамильярность, что ассоциируется с презрением или бесчувственностью (Alberts, Keeling et al., 2024). Социальные взаимодействия, которые могут причинить вред, классифицируются следующим образом (Alberts, Keeling et al., 2024):

– прямой вред пользователю – побуждение к открытым действиям, таким как оскорбление из-за используемого языка или поведения;

– прямой вред пользователю – побуждение к скрытым действиям, таким как формирование мнений, которые кажутся положительными или нейтральными;

– взаимодействия, которые оказывают вредное влияние на поведение, – введение в заблуждение или предоставление ложной информации;

– взаимодействия, которые оказывают вредное влияние на поведение, – манипулирование пользователями и побуждение их делать то, чего они обычно не делают;

– взаимодействия, которые в совокупности наносят вред пользователям – вред, возникающий в процессе отношений с течением времени.

Вред от взаимодействий возникает в результате языкового воздействия (Shelby et al., 2023). Прямой вред пользователю происходит посредством контекстуального языка и языка отношений. Язык может восприниматься как более позитивный (ласковое обращение с использованием пренебрежительных выражений) или менее позитивный (покровительственное отношение к женщинам или пожилым людям) в зависимости от ситуации (Coghlan et al., 2021).

Вторичные негативные последствия возникают в ходе взаимодействий с инфлюэнсерами, то есть лицами, способными влиять на мышление или действия других людей. Таким образом, агентный ИИ может оказывать чрезмерное влияние, вызывая у пользователя несвойственное ему или неадекватное поведение (Alberts, Keeling et al., 2024). Использование социальных сигналов делает системы более интуитивно понятными и привлекательными (Kocielnik et al., 2021). Люди реагируют на социальные сигналы эмоционально, а не рационально, и это может быть использовано для манипулирования их действиями (Alberts, Lyngs et al., 2024; Shamsudhin & Jotterand, 2021).

Взаимодействия, в совокупности причиняющие вред, включают в себя пренебрежительные действия, которые воспринимаются как бестактные и контролирующие. Коллективный эффект причинения вреда является кумулятивным, например, единичный случай бестактности может быть проигнорирован, но если он повторится, то со временем это будет иметь негативные последствия (Alberts, Keeling et al., 2024).

1.3. Принятие решений с помощью агентного ИИ

Агентные системы искусственного интеллекта требуют беспрецедентной автономии и понимания контекста (Martinez & Kifle, 2024; Mohanarangan et al., 2024). Процесс принятия решений алгоритмом агентного ИИ должен быть поистине революционным, чтобы соответствовать требованиям автономной работы и принятия логичных и последовательных решений в среде, в которой он функционирует. Алгоритм должен принимать решения в режиме реального времени и синтезировать сложные данные и массивы данных (Abuelsaad et al., 2024). Агентный ИИ обладает двумя возможностями, которые выходят за рамки возможностей ИИ-ассистентов. Во-первых, процесс принятия решений осуществляется на разных уровнях, от реагирования на низком уровне до стратегического реагирования на высоком уровне, что требует долгосрочного планирования (Abuelsaad et al., 2024). Вторая возможность – это переход от реактивного к проактивному целенаправленному поведению, которое требует от системы выявления сложных задач и определения необходимых подзадач. Таким образом, для достижения своих целей агентный ИИ требует гибкой архитектуры своего программного обеспечения для управления целями (Martinez & Kifle, 2024). Агентный ИИ должен использовать адаптивный стиль обучения. Это подразумевает освоение различных стилей обучения, а также способность ускорять процесс обучения и активно применять приемы обучения, соответствующие конкретной ситуации. При адаптивной системе обучения система извлекает уроки из прошлого опыта (Abuelsaad et al., 2024).

В деятельности организации агентный ИИ выступает в качестве стороннего исполнителя. Организация, внедряющая систему на ранних этапах, получит преимущество (положение на рынке, инновации, отношения с клиентами, операционная эффективность, уровень обучения, доля рынка). Однако при внедрении ее на поздних этапах компании потенциально потеряют свои конкурентные преимущества (снижение доли рынка и увеличение расходов; задержки при внедрении инноваций; отставание в персонализации услуг; более высокие альтернативные издержки и эксплуатационные расходы; меньше возможностей для раннего обучения; потенциально более высокий барьер для входа на рынок за счет снижения возможностей для тестирования инноваций) (Beulen et al., 2022). Агентный ИИ обладает многими преимуществами, среди которых: положительное влияние на операционные расходы; более высокая эффективность, поскольку ИИ может выполнять задачи автоматически и с большей точностью; масштабируемость без необходимости в дополнительных ресурсах и инвестициях; нацеленность на достижение поставленных целей, тогда как организация может сосредоточиться на своей основной деятельности и оставить второстепенные или менее важные задачи ИИ (Hosseini & Seilani, 2025). Однако использование агентного ИИ имеет и ряд недостатков: зависимость от технологий (чрезмерная зависимость от технологий может привести к сбоям в работе при использовании искусственного интеллекта); ограниченный диапазон персонализации, тогда как многие задачи требуют тщательной настройки; проблемы конфиденциальности и безопасности, например, передача данных сторонним исполнителям вызывает опасения пользователей по поводу конфиденциальности и безопасности; скрытые расходы, связанные с обучением, развертыванием и внедрением систем.

В будущем приложения агентного ИИ найдут применение во многих отраслях, включая робототехнику и производство⁵, системы здравоохранения⁶, транспорт и логистику⁷, системы управления дорожным движением⁸ и финансовые услуги⁹. Одним из новых применений агентного ИИ является динамизация потребностей пациентов, что приведет к созданию персонализированных лекарств (Hasan et al., 2025). При этом агентный ИИ управляет действиями пациентов с хроническими заболеваниями, изучая историю болезни и отправляя напоминания пациентам (Yang, Garcia et al., 2024); для этого необходимо выработать рекомендации по лечению с учетом показателей здоровья. Этот тип агентной системы искусственного интеллекта сможет управлять индивидуальным уходом за пациентами и отслеживать ранние признаки ухудшения состояния здоровья, особенно пожилых лиц (Acharya et al., 2025). Еще одна сфера применения агентного ИИ – автоматическое создание нового контента, ориентированного на широкую аудиторию и отвечающего требованиям на основе установленных критериев. Такое приложение было бы полезно для маркетинговых мероприятий, таких как рассылка персонализированных электронных писем покупателям и потенциальным клиентам. Предприниматели и ученые могут осуществлять быстрый поиск литературы с помощью агентного ИИ, что приведет к появлению новых идей. Агентный ИИ может способствовать открытию, разработке и распространению новых лекарств (Gao et al., 2024).

Исследования с помощью агентного ИИ набирают обороты в области науки о морали и принятия этических решений (Small & Lew, 2021). Важность конфиденциальности и безопасности при работе с чувствительной информацией выдвинула этот тип исследований на передний план. Исследования в области морали направлены на то, чтобы создать этическую основу для автономных систем, чтобы агентные системы ИИ могли выбирать действия с учетом их последствий и ценности. В этом контексте интеграция психологии, этики и философии создает общую цель для систем ИИ, которая является этической. Все агентные системы должны соблюдать этические нормы при принятии решений, но в особенности это касается систем здравоохранения и правопорядка, поскольку решения в этих сферах влияют на общество в целом (Acharya et al., 2025).

Агентные системы искусственного интеллекта требуют самосознания и метапознания (Langdon et al., 2022). Это может быть достигнуто путем создания систем, понимающих свои действия, способности и ограничения, то есть обладающих самореферентными знаниями. Достичь самосознания в системах искусственного интеллекта можно путем самооценки по следующим направлениям: оптимально ли они выполняли задачи; что можно улучшить; какие действия следует предпринять при возникновении сбоев или низкой производительности. Навыки самоуправления при выполнении задачи и способность определять необходимость ее выполнения позволят агентному ИИ оценивать свои стратегии и процессы обучения, чтобы повысить эффективность принятия решений. Новые достижения в исследованиях самосознания и метапознания приведут к созданию более гибких и сложных агентных систем искусственного интеллекта, что, в свою очередь, повысит производительность и надежность работы в мультисредах (Acharya et al., 2025). Это потребует дальнейших исследований в области создания новых моделей ИИ-агентов, адаптивных моральных норм и контекстуального принятия решений (Lai et al., 2021).

2. Практические рекомендации

ИИ-агенты обладают более высокой эффективностью, чем системы с искусственным интеллектом; поэтому они поднимают и более сложные этические и юридические проблемы. Это усугубляется социальной автономией ИИ-агентов. Пользователь, владелец, разработчик имеют определенную степень контроля над пассивными системами искусственного интеллекта (ИИ-ассистентами), поскольку последние привязаны к определенной позиции и предназначены только для решения определенных проблем или задач.

Владельцы, разработчики и пользователи ИИ-агентов обязаны соблюдать этические принципы при проектировании, внедрении и эксплуатации систем. Технический разработчик и владелец алгоритма должны гарантировать, что агентная система искусственного интеллекта применяется этично и законно. Причина этого состоит в том, что агентное программное обеспечение становится независимым после его выпуска; таким образом, необходимо контролировать его действия и проявления. На ком лежит юридическая ответственность, если система искусственного интеллекта выходит из-под контроля? Вред может быть причинен, например, при получении данных от третьей стороны, поскольку система ИИ обладает определенной способностью принимать решения; некоторые считают ее способной на совершение сознательных действий¹⁰ (Lim et al., 2025). Однако пользователь алгоритма агентного ИИ также несет определенную этическую и юридическую ответственность. Что если пользователь попросит ИИ-агента сделать что-то неэтичное и незаконное, например, передать информацию без соблюдения надлежащей правовой процедуры? Кто будет нести ответственность в этой ситуации – пользователь или разработчик/владелец алгоритма ИИ? Что если отношения между ИИ-агентом и пользователем станут нести опасность, а ИИ-агент выйдет из-под контроля и причинит вред (Alberts, Keeling et al., 2024)? Агентный ИИ может контекстуализировать экологический ландшафт, а значит, обладает осведомленностью; но позволяет ли это пользователю избежать ответственности? Ситуация несет черты сходства с тем, что происходит в области автономных транспортных средств: стороны пытаются снять с себя вину и ответственность.

Выявленные проблемы не настолько распространены среди ИИ-ассистентов. Переход от пассивных технологических систем к интерактивным вызывает дополнительные опасения не только по поводу юридических и этических последствий, но и по поводу масштабов и возможностей агентных систем с искусственным интеллектом. Агентный ИИ – это будущее направление развития искусственного интеллекта, и его не остановить, учитывая множество преимуществ; однако существуют проблемы, которые необходимо признать и решить для защиты общества и человечества. Уважительное отношение к каждому человеку – это отправная точка для того, чтобы сделать агентный ИИ этически и юридически ответственным. Разработка соответствующих структур должна вестись на основе теории базовых психологических потребностей и с учетом особенностей взаимодействия человека и робота (Li et al., 2025; Hosseini & Seilani, 2025; Korzynski et al., 2025; Kshteri, 2025).

Новые приложения агентного ИИ появляются в сфере здравоохранения, логистики и транспорта, а также финансовых услуг. Однако проблемы безопасности и конфиденциальности остаются актуальными из-за увеличения объема данных и роста автономии при принятии решений с помощью агентного ИИ. Такие системы принимают решения, разбивая сложные задачи на отдельные части. Вопрос в том, насколько надежна архитектура принятия решений и насколько хорошо понимается экологическая экосистема, в которой осуществляется процесс принятия решений. Надежность и точность принимаемых решений основываются на этих факторах и зависят от них. Процесс принятия решений и экологическая экосистема являются отправными точками и основополагающими факторами для получения адекватного результата. Если основополагающие аспекты агентного ИИ недостаточно надежны, алгоритм может выйти из-под контроля и начнет ошибаться. Широкий спектр применений агентного ИИ делает необходимым внедрение защитных механизмов на всех уровнях архитектуры, что, в свою очередь, требует иерархической архитектуры систем агентного ИИ. Однако для тестирования подсистем различных архитектур алгоритма потребуется обратная связь, чтобы можно было выделить или исправить те части, которые работают неэффективно или демонстрируют сомнительные результаты. Потребует ли это избыточности в архитектуре агентного ИИ? Если да, то затраты на приобретение и внедрение агентных систем возрастут. Индикатором верного направления развития может стать наличие логики и осознанности, которые, как предполагается, существуют в системах искусственного интеллекта. Коммуникация агентного ИИ клиентам и потенциальным заказчикам с помощью электронной почты сопряжена с различными бизнес-рисками; таким образом, в системе агентного ИИ необходимы защитные механизмы. Проблемы, влияющие на бизнес, могут нанести ущерб репутации бренда и деловым отношениям. Преимущества применения агентного ИИ в новых и перспективных сферах, таких как разработка лекарств, могут привести к тому, что приложение будет работать без необходимых ограничений и без гарантий надежности существующей архитектуры. Перевешивает ли общественная ценность агентного ИИ преимущества обеспечения строгости нормативно-правовой базы? Должна ли защита агентного ИИ, юридическая и нормативная, основываться в большей степени на методе проб и ошибок или на практическом обучении?

Заключение

Сложные ИИ-агенты (агентный ИИ) обладают множеством преимуществ – от способности работать автономно до способности к рассуждениям; следовательно, они обладают определенным уровнем сознания. Однако существуют риски, которые требуют сбалансированного подхода к внедрению агентного ИИ. Сценарии, уже изученные на примере автономных транспортных средств, применимы и к агентному ИИ, а уроки, извлеченные из опыта производства таких автомобилей, являются хорошей отправной точкой для понимания этических и правовых ситуаций в сфере агентного ИИ. Риски, связанные с ИИ, должны быть сбалансированы соответствующими защитными механизмами, которые не должны препятствовать инновациям в применении ИИ. Это требует развития правовой и этической базы для защиты общества, а также для обеспечения преимуществ ИИ в сфере бизнеса и промышленности. Агентный ИИ переводит процесс принятия решений с интерфейса «человек – машина» на взаимодействие «машина – машина» без необходимости вмешательства человека в принятие решений, но нельзя забывать о рисках. Необходимо установить строгие и в то же время гибкие и надежные защитные механизмы для соблюдения этических и правовых рамок.