ВЗАИМОДЕЙСТВИЕ ЧЕЛОВЕКА-ОПЕРАТОРА С ИСКУССТВЕННЫМ ИНТЕЛЛЕКТОМ: ПРОБЛЕМА КАЛИБРОВКИ ДОВЕРИЯ

Е.Н. Гардеева

E.N. Gardeeva THE PROBLEM OF CALIBRATING USER TRUST IN ARTIFICIAL INTELLIGENCE IN FOREIGN STUDIES

DOI: 10.38098/ipran.opwp_2023_28_3_006

Скачать полный текст статьи (.pdf)

Аннотация. В последнее время все большее внимание уделяется развитию систем с элементами искусственного интеллекта, что связано с их многочисленными потенциальными преимуществами, такими как безопасность и повышение эффективности труда. Одним из ключевых факторов, влияющих на внедрение технологий искусственного интеллекта является уровень доверия пользователей к ним. Развитие доверия - это динамический процесс, и для безопасного применения ИИ-систем уровень доверия пользователей должен соответствовать реальным возможностям системы. В противном случае, возможно возникновения отношения «сверхдоверия» и «свернедоверия». В первом случае пользователи переоценивают возможности системы, что может приводить к ошибкам в деятельности и в том числе к несчастным случаям. Сверхнедоверие, напротив, связано с отказом от исправной автоматики, что негативно сказывается на эффективности труда и повышает нагрузку на человека-оператора. Существование феноменов «сверхдоверия» и «сверхнедоверия» ставит перед разработчиками ИИ-систем вопрос о поддержке оптимального уровня доверия пользователя к системе во время взаимодействия с ней. Процесс обеспечения баланса между надежностью системы и доверием пользователя к ней называется «калибровкой» доверия, а результатом этого процесса является отношение «откалиброванного» доверия. Данная статья является литературным обзором современных зарубежных исследований проблемы калибровки доверия пользователей ИИ-системам за 5 лет (в период с 2018 по 2023 гг.). Таким образом, в работе анализируется проблема «калибровки» доверия, дается определение процесса «калибровки» доверия доверия пользователей ИИ-системам. Также приводятся основные исследовательские модели калибровки доверия ИИ-системам (в том числе модель К. Хоффа и М. Башир и модель Й.Крауса). Рассматриваются практические рекомендации разработчикам ИИ-систем, способствующие калибровке доверия пользователя. Рекомендации направлены на повышение прозрачности системы (прозрачность ограничений, прозрачность намерений). Обсуждаются направления перспективных исследований.

Ключевые слова: человек-оператор, искусственный интеллект, калибровка доверия, сверхдоверие и сверхнедоверие, человеко-машинное взаимодействие, доверие человека технике.

Abstract. Recently, the development of systems with artificial intelligence elements (AI-systems) has received increasing attention due to their numerous potential benefits such as safety and improved work efficiency. One of the key factors influencing the acceptance of artificial intelligence technologies is the level of user trust in them. The development of trust is a dynamic process, and for safe application of AI-systems, the level of user trust must match the real capabilities of the system. Otherwise, the relations of «overtrust» and «undertrust» may arise. In the first case, users overestimate the capabilities of the system, which can lead to errors in activities, including accidents. Undertrust, on the contrary, is associated with the rejection of well-functioning automation, which negatively affects work efficiency and increases the load on the user. The existence of the phenomena of «overtrust» and «undertrust» raises the question for the developers of AI-systems of maintaining an optimal level of user trust in the system during interaction with it. The process of balancing the reliability of the system and the user's trust in it is called trust "calibration", and the result of this process is a relation of «calibrated» trust. This paper is a literature review of recent foreign research on the problem of calibrating user trust in AI-systems over a 5-year period (between 2018 and 2023). Thus, the paper analyses the problem of trust «calibration», defines the process of "calibrating" user trust in AI-systems. The main research models of trust calibration of AI-systems (including the model of K. Hoffa and M. Bashir and the model of J. Kraus) are also given. Practical recommendations for AI-system developers to help calibrate user trust are discussed. The recommendations are aimed at increasing the transparency of the system (transparency of limitation, transparency of intentions). Directions for prospective research are discussed.

Key words: human-operator, artificial intelligence, trust calibration, undertrust and overtrust, human-machine interaction.

Библиографическая ссылка на статью:

Гардеева Е.Н. Взаимодействие человека-оператора с искусственным интеллектом: проблема калибровки доверия // Институт психологии Российской академии наук. Организационная психология и психология труда, 2023. Т. 8, № 3, С. 121-146. DOI: 10.38098/ipran.opwp_2023_28_3_006

Gardeeva, E.N. (2023). Vzaimodejstvie cheloveka-operatora s iskusstvennym intellektom: problema kalibrovki doverija [The problem of calibrating user trust in artificial intelligence in foreign studies]. Institut Psikhologii Rossiyskoy Akademii Nauk. Organizatsionnaya Psikhologiya i Psikhologiya truda [Institute of Psychology of the Russian Academy of Sciences. Organizational Psychology and Psychology of Labor]. 8(3), 121-146. DOI: 10.38098/ipran.opwp_2023_28_3_006