ВЗАИМОДЕЙСТВИЕ ЧЕЛОВЕКА-ОПЕРАТОРА С ИСКУССТВЕННЫМ ИНТЕЛЛЕКТОМ: ПРОБЛЕМА ДОВЕРИЯ

В.М. Дозорцев, А.Л. Венгер

Victor M. Dozortsev, Alexander L. Venger ON THE PROBLEM OF HUMAN OPERATORS’ TRUST IN ARTIFICIAL INTELLIGENCE

DOI: 10.38098/ipran.opwp_2022_23_2_009

Аннотация: Искусственный интеллект (ИИ) стремительно проникает в промышленную автоматизацию, в частности, в составе рекомендательных систем и интеллектуальных систем принятия решений, дающих человеку-оператору советы по управлению сложными технологическими системами. Это качественно усиливает человеко-машинные системы управления, но и порождает новые вызовы обеспечения безопасности работников и производственных активов, в центре которых находится проблема доверия/недоверия человека-оператора алгоритмам, основанным на ИИ. Указанная проблема рассматривается в работе в общем контексте доверия/недоверия технике на фоне ее поступательного усложнения и интеллектуализации. На практических примерах обсуждается специфика применения алгоритмов ИИ в задачах управления сложными технологическими системами. Исследуются психологические (в том числе – индивидуально-психологические) составляющие проблемы доверия/недоверия операторов искусственному интеллекту. Предлагается и анализируется модель принятия операторских решений в потенциально опасных ситуациях. Приводится содержательная интерпретация модели в терминах субъективно допустимого уровня риска и личностной тревожности на примере задачи предиктивного анализа состояния технологического оборудования, когда игнорирование правильного совета остановить оборудование, полученного оператором от алгоритмов ИИ, чревато катастрофическими потерями, а принятие неправильного совета – неоправданными затратами материальных ресурсов и времени. Обсуждаются меры повышения доверия и снижения недоверия алгоритмам ИИ, включая поддержание постоянной активности оператора в системе управления «человек-оператор – ИИ», учет мотивационной составляющей принятия операторских решений в присутствии советов ИИ, обеспечение прозрачности и интерпретируемости советов, разработку обоснованных регламентов взаимодействия оператора и ИИ в рамках интеллектуальных систем управления сложным технологическим оборудованием.

Ключевые слова: человек-оператор, доверие/недоверие искусственному интеллекту, рекомендательные системы, интеллектуальные системы принятия решений, субъективно допустимый уровень риска, предиктивный анализ состояния оборудования.

Abstract: Artificial intelligence (AI) is rapidly penetrating industrial automation, particularly as part of recommendation systems and intelligent decision-making systems that give advice to human operators on managing complex technological systems. This qualitatively strengthens human-machine control systems, but also generates new challenges to ensure the safety of workers and production assets, at the center of which is the problem of the human operator’ trust/distrust in algorithms based on AI. This problem is considered in the paper in the general context of trust/distrust in technics against the background of its progressive complication and intellectualization. Using practical examples, the specifics of the use of AI algorithms in the control of complex technological systems are discussed. The psychological (including individual psychological) components of the problem are analyzed. A model of operator decision-making in potentially dangerous situations is proposed and studied. A meaningful interpretation of the model is given in terms of a subjectively acceptable level of risk and personal anxiety on the example of a predictive analytics of technological equipment condition, when ignoring the correct advice to stop the equipment received by the operator from AI algorithms is fraught with catastrophic losses, and taking the wrong advice is an unjustified expenditure of material resources and time. Measures to increase trust and reduce distrust of AI algorithms are discussed, including maintaining permanent operator activity in the "human-operator–AI" control system, considering the motivational component of operator decision-making in the presence of AI advice, ensuring transparency and interpretability of advice, developing reasonable regulations for interaction between the operator and AI within the framework of intelligent control systems.

Keywords: human operator, trust/distrust in artificial intelligence, recommendation systems, intelligent decision-making systems, subjectively acceptable level of risk, predictive analytics of equipment condition.

Библиографическая ссылка на статью:

Дозорцев В.М., Венгер А.Л. Взаимодействие человека-оператора с искусственным интеллектом: проблема доверия // Институт психологии Российской академии наук. Организационная психология и психология труда. 2022. Т. 7. № 2. С. 204 - 232. DOI: 10.38098/ipran.opwp_2022_23_2_009

Dozortsev, V. M., Venger, A. L. (2022). Vzaimodejstvie cheloveka-operatora s iskusstvennym intellektom: problema doverija [On the Problem of Human Operators’ Trust in Artificial Intelligence]. Institut Psikhologii Rossiyskoy Akademii Nauk. Organizatsionnaya Psikhologiya i Psikhologiya truda [Institute of Psychology of the Russian Academy of Sciences. Organizational Psychology and Psychology of Labor], 7 (2), 204 - 232. DOI: 10.38098/ipran.opwp_2022_23_2_009