Cognitive risks of using generative artificial intelligence

Влияние искусственного интеллекта на нашу жизнь неоспоримо: он облегчает решение сложных задач, повышает качество жизни и оптимизирует различные процессы. Тем не менее, несмотря на все свои достоинства, применение ИИ сопряжено с определенными опасностями. К одной из таких угроз относятся когнитивные искажения – системные отклонения в процессе мышления, способные исказить наше восприятие и использование технологических новинок.

Сегодня искусственный интеллект прочно вошел в сферу финансовых технологий: ведущие банки активно интегрируют его в процессы кредитного скоринга, обслуживания клиентов и борьбы с мошенничеством, а IT-специалисты – в разработку и тестирование. Однако вместе с повышением эффективности возрастает и вероятность снижения когнитивной нагрузки на человека, что, в свою очередь, может привести к деградации его интеллектуальных способностей [4; 5].

Искусственный интеллект перестал быть футуристической концепцией и превратился в неотъемлемый инструмент как для профессионалов – разработчиков и аналитиков, так и для обычных пользователей. Крупные финансовые учреждения внедряют ИИ в кредитный скоринг, клиентский сервис и системы противодействия мошенничеству, IT-отделы используют его в разработке и тестировании, а рядовые потребители – для принятия повседневных и рабочих решений. Параллельно с ростом производительности проявляется еще неочевидный, но системный эффект: постепенное снижение умственной нагрузки на человека и, как следствие, ослабление его когнитивных функций.

Одним из главных последствий внедрения искусственного интеллекта становится феномен «когнитивной разгрузки». Он заключается в перепоручении человеком части своих мыслительных процессов внешним технологиям, что уменьшает нагрузку на собственную память и интеллект. Подобные тенденции, хотя и в меньшей степени, наблюдались и до повсеместного распространения ИИ, например, при использовании поисковых систем и смартфонов. Характерным примером является «эффект Google», когда простой доступ к информации через интернет уменьшает потребность людей запоминать ее.

Современные генеративные ИИ-системы идут намного дальше, позволяя пользователям полностью избегать сложного мыслительного процесса, традиционно необходимого для решения задач. Если поисковые системы облегчали поиск данных, то ИИ способен самостоятельно генерировать, анализировать и предоставлять информацию в уже обработанном виде, исключая необходимость значительных умственных усилий. В профессиональной сфере это выражается в том, что аналитики чаще полагаются на предложения ИИ при формировании гипотез, а разработчики уделяют меньше внимания детальному пониманию кода благодаря автогенерации. Руководители же принимают управленческие решения, основываясь на сводных рекомендациях ИИ, не вдаваясь в подробности и тонкости лежащих в их основе факторов.

ИИ влияет на когнитивные процессы следующим образом:

1. С помощью эффекта «убедительного красноречия»

Обучение генеративных моделей направлено на достижение безупречной грамматики, логической связности и убедительности в их ответах. Однако это может парадоксальным образом привести к тому, что пользователи будут склонны принимать недостоверную информацию, полагаясь на внешней вид и уверенность изложения. Вместо того чтобы анализировать фактическую корректность, люди зачастую ориентируются на гладкость и естественность текста, что порождает безоговорочное доверие к информации, сгенерированной искусственным интеллектом, — явление, известное как «галлюцинации ИИ».

2. Атрофии поискового мышления

В прошлом для разрешения задач необходимо было анализировать разнообразные сведения, сверять данные и определять ключевые моменты. Автоматизация мыслительных процессов исключает эту стадию. Вследствие этого наблюдается ухудшение навыка самостоятельного определения проблемы: люди утрачивают способность изначально формулировать задачу

3. Когнитивного конформизма

Когда искусственный интеллект предоставляет готовые ответы, активируется принцип минимизации умственных усилий. Это приводит к тому, что пользователи начинают останавливаться на предложенных ИИ вариантах. Вместо того чтобы искать новые, нешаблонные решения, человек лишь незначительно корректирует сгенерированный результат. Такой подход тормозит развитие творческого мышления и способствует интеллектуальному унифицированию.

Когнитивные искажения могут сильно влиять на наше восприятие и использование ИИ. Рассмотрим два главных заблуждения:

1. Переоценка возможностей ИИ.

Широко распространено заблуждение, будто искусственный интеллект (ИИ) способен решать абсолютно любые задачи. Если ИИ продемонстрировал выдающиеся результаты в одной области, возникает тенденция полагать, что он так же преуспеет и в совершенно других, зачастую несвязанных областях. Подобное восприятие может порождать необоснованные ожидания и, как следствие, приводить к неоптимальным решениям.

Проиллюстрируем это примером: представьте себе робота, демонстрирующего виртуозную игру в шахматы на уровне гроссмейстера. Вполне естественно возникнет мысль, что этот же механизм способен справиться с диагностикой сложных заболеваний или автономным вождением. Однако, реальность такова, что ИИ, как правило, обладает компетенциями, ограниченными теми задачами и сценариями, на которых он был специально обучен.

Научные данные подтверждают, что подобные завышенные ожидания могут стать причиной значительных промахов. В публикации IEEE Spectrum приводится пример, когда публика проявляла сочувствие к роботу Boston Dynamics, подвергающемуся ударам в демонстрационном ролике. Это явление, известное как антропоморфизм, подчеркивает склонность человека наделять ИИ человеческими чертами.

Хотя такое восприятие может казаться безобидным, оно таит в себе потенциал для формирования нереалистичных представлений и, в конечном итоге, для принятия ошибочных решений.

2. Необоснованный скептицизм.

Несмотря на практическую ценность искусственного интеллекта, люди порой испытывают недоверие к его возможностям, даже когда они очевидны. К примеру, в сфере здравоохранения отказ от наставлений ИИ из-за опасения ошибок может обернуться упущением ценных сведений. Медицинские работники могут пренебрегать предложенной ИИ диагностикой, опасаясь некорректной работы технологии.

Тем не менее, синергия врачебного опыта и потенциала ИИ способна существенно повысить точность постановки диагнозов и планирования лечения. Согласно публикации в Scientific Reports, подобные ожидания могут парадоксальным образом привести к чрезмерному доверию к ИИ, что, в свою очередь, провоцирует ошибочные суждения. Имеются данные, свидетельствующие о том, что в ряде ситуаций ИИ демонстрирует более высокую точность и надежность по сравнению с субъективной оценкой человека [3, c. 147].

В одном из исследований, описанных в упомянутом отчете, врачи, безоговорочно следовавшие рекомендациям ИИ, чаще допускали ошибки, что говорит о снижении уровня критического мышления. Крайности в восприятии искусственного интеллекта – как переоценка, так и необоснованный скептицизм – способны оказывать существенное влияние на наши мыслительные процессы и выбор.

Признание ограничений ИИ и понимание того, что он не является панацеей, имеет ключевое значение. В то же время, ИИ представляет собой ценный инструмент, способный многократно увеличить продуктивность нашей деятельности. Основные вызовы включают:

1. Снижение критического подхода.
2. Иллюзорное ощущение понимания.
3. Автоматизация мыслительных процессов.
4. Чрезмерная зависимость от предложенных формулировок.
5. Фиксация на вариантах, предложенных ИИ.
6. Уменьшение способности к самостоятельному формулированию проблем.
7. Принятие неверных ответов из-за доверия к форме представления информации [2, c. 470].

Использование генеративного искусственного интеллекта (ИИ) значительно ускоряет работу с информацией, но создает серьезные когнитивные риски, которые меняют способы человеческого мышления.

Когнитивные искажения могут привести к неэффективным решениям в использовании технологий. Рассмотрим несколько примеров из реальной жизни, которые иллюстрируют, как эти искажения могут возникать в различных областях.

Приведем несколько примеров из практики.

В области медицины в клинической практике искусственный интеллект (ИИ) применяется для интерпретации медицинских изображений, таких как рентгеновские снимки. Если медицинский работник чрезмерно полагается на заключение ИИ, есть риск упустить критически важные признаки заболевания, которые алгоритм не смог распознать. Это может повлечь за собой ошибочный диагноз и, как следствие, некорректное терапевтическое вмешательство.

В сфере маркетинга когнитивные искажения могут проявляться, когда маркетологи излишне доверяют ИИ-инструментам, используемым для создания контента и взаимодействия с потребителями. Специалист может полностью полагаться на автоматизированные тексты и графические материалы, пренебрегая проверкой их качества, достоверности и соответствия корпоративному стилю. Это чревато публикацией неточной или неуместной информации в социальных сетях, рекламных кампаниях и других коммуникационных каналах, что негативно сказывается на имидже компании и лояльности целевой аудитории.

В автомобильной индустрии когнитивные предубеждения могут способствовать возникновению ошибок при проектировании беспилотных транспортных средств. Например, инженеры могут переоценивать возможности ИИ, полагая, что он способен справиться с любыми дорожными условиями. Такой подход может привести к недостаточному объему испытаний и, как следствие, к дорожно-транспортным происшествиям [1, c. 113].

Приведенные примеры наглядно демонстрируют, как когнитивные искажения могут проявляться в разных отраслях, ведя к неоптимальным управленческим решениям. Важно осознавать, что ИИ обладает определенными ограничениями и не является панацеей от всех проблем, но при этом он может служить ценным инструментом, существенно повышающим эффективность рабочего процесса. В дальнейшем мы представим конкретные рекомендации по преодолению этих искажений.

Для того чтобы избежать ошибок при работе с ИИ следует придерживаться следующих правил:

1. Следует проверять факты (галлицинации): ИИ генерирует правдоподобный текст, но может ошибаться в деталях или выдумывать факты. Всегда перепроверяйте цифры, даты, имена и ссылки.
2. Избегать слишком общих фраз. задавать контекст, указывайте роль для ИИ (например, «действуй как опытный маркетолог») и ограничивайте желаемый объем или формат ответа.
3. Разбивать задачи на части: не следует просить ИИ сделать всё разом. Сложную работу необходимо делить на 2–3 последовательных шага, постепенно уточняя детали.
4. Не нужно передавать конфиденциальные данные: не загружать в открытые нейросети пароли, коммерческие тайны, персональные данные клиентов или исходный код закрытых систем.
5. Важно использовать правило контроля: следует помнить, что ИИ выполняет рутину или черновую работу (около 70%), а окончательное решение, редактуру и ответственность всегда берет на себя человек (30%).

Таким образом, когнитивные искажения могут значительно влиять на наше восприятие и использование искусственного интеллекта. В этой статье мы рассмотрели основные заблуждения и ошибки мышления, такие как переоценка возможностей ИИ и необоснованный скептицизм, которые могут привести к неэффективным решениям.