ПРОБЛЕМА «ТЕМНЫХ ПАТТЕРНОВ» И СИНТЕТИЧЕСКИХ ДАННЫХ В СИСТЕМАХ С ИСКУССТВЕННЫМ ИНТЕЛЛЕКТОМ

С.Ф. Сергеев, З.А. Руденко

Sergey F. Sergeev, Zakhar A. Rudenko PROBLEM OF “DARK PATTERNS” AND SYNTHETIC DATA IN ARTIFICIAL INTELLIGENCE SYSTEMS

DOI: 10.38098/ipran.opwp_2024_33_4_006

Аннотация. Наблюдаемый в настоящее время прогресс в области машинного обучения и развития технологий больших языковых моделей (LLM) и генеративного искусственного интеллекта (ГИИ) ведет к интенсивному внедрению во все сферы человеческой деятельности генеративных нейронных сетей, обученных на созданных человечеством текстовых, графических и аудиовизуальных данных. Возникают проблемы намеренного или случайного их искажения с целью влияния на поведение и принятие решений людьми, что отражается в проблеме «темных паттернов», используемых дизайнерами и маркетологами в целях обмана пользователя, манипулирования его вниманием и поведением, направленные на увеличение прибыли. Логично предположить, что те же уловки, что ранее создавались умелыми маркетологами, дизайнерами, политиками и психологами могут проявляться намеренно или случайно и в продуктах, сгенерированных искусственным интеллектом, что может негативно повлиять на людей, использующих данные технологии, вызывая в них неожиданные реакции, эмоции и поведение. Важно учитывать данную особенность работы с нейронными сетями, изучать её, а также искать пути по минимизации её проявления при генерации ответов для пользователей. Рассматриваются вопросы и особенности манипулирования пользователями и социальными сообществами с использованием синтетических данных в форме дипфейков. Проведен содержательный анализ понятия «темный паттерн», рассматриваются вопросы классификации темных паттернов и их влияние на пользователя. Появление технологий ГИИ усиливает потенциальные риски и возможности массового негативного информационного влияния на человека и его психику, что требует от инженерных психологов и разработчиков информационного содержания техносреды применения особых методов проектирования, учитывающих и блокирующих данные угрозы.

Ключевые слова: дипфейк, защита данных, искусственный интеллект, несанкционированное информационное воздействие, синтетические данные, темный паттерн, пользовательский опыт, этичный дизайн.

Abstract. The current progress in machine learning and the development of large language models (LLM) and generative artificial intelligence (GAI) technologies leads to the intensive implementation of generative neural networks trained on human-created text, graphic and audiovisual data in all areas of human activity. There are problems of their intentional or accidental distortion in order to influence human behavior and decision-making, which is reflected in the problem of “dark patterns” used by designers and marketers to deceive the user, manipulate their attention and behavior, aimed at increasing profits. It is logical to assume that the same tricks that were previously created by skilled marketers, designers, politicians and psychologists can be manifested intentionally or accidentally in products generated by artificial intelligence, which can negatively affect people using these technologies, causing unexpected reactions, emotions and behavior in them. It is important to take this feature of working with neural networks into account, to study it, and to look for ways to minimize its manifestation when generating responses for users. The issues and features of manipulating users and social communities using synthetic data in the form of deepfakes are considered. A substantive analysis of the concept of “dark pattern” is carried out, and the issues of classifying dark patterns and their impact on the user are considered.

Key words: deepfake, data protection, artificial intelligence, unauthorized information impact, synthetic data, dark pattern, user experience, ethical design.

Библиографическая ссылка на статью:

Сергеев С.Ф., Руденко З.А. Проблема «темных паттернов» и синтетических данных в системах с искусственным интеллектом // Институт психологии Российской академии наук. Организационная психология и психология труда, 2024. Т. 9. № 4. С. 145-170. DOI: 10.38098/ipran.opwp_2024_33_4_007

Sergeev S.F., Rudenko Z.A. (2024). Problema «temnyh patternov» i sinteticheskih dannyh v sistemah s iskusstvennym intellektom [Problem of “dark patterns” and synthetic data in artificial intelligence systems]. Institut Psikhologii Rossiyskoy Akademii Nauk. Organizatsionnaya Psikhologiya i Psikhologiya truda [Institute of Psychology of the Russian Academy of Sciences. Organizational Psychology and Psychology of Labor]. 9(4). 145-170. DOI: 10.38098/ipran.opwp_2024_33_4_005