Риски использования искусственного интеллекта

Основная статья: Искусственный интеллект

Преимущества и недостатки ИИ в сравнении с человеком

Человек против ИИ – какая предельная глубина интеграции и какая способность замещения человека ИИ?

Вопрос крайне важный, писал Spydell Finance в 2023 г, т.к. от этого зависит способность ИИ интегрироваться в человеческие сферы деятельности, а следовательно, фундаментально влиять на структуру рынка труда со всеми вытекающими последствиями.

Какие фундаментальные преимущества ИИ над человеком?

• Неограниченный объем памяти и скорость накопления информации. Скорость обучения человека крайне низка, но даже обучившись, человек ежедневно теряет навыки и информацию, т.е. требуется постоянная концентрация на информационной единице (объекте исследований) и поддержка навыков. ИИ достаточно обучиться один раз, чтобы держать информацию в прямом доступе.

• Скорость обработки информации. Параллельная обработка неограниченных массивов информации позволяет практически неограниченно масштабировать вычислительные мощности, где математические задачи могут решаться в миллиарды раз быстрее, чем средний человек. Для чтения и осмысления 5 млн знаков у среднего человека потребуется около 3500 минут, тогда как ИИ может управиться в пределах доли секунды.

Если у человека не хватит жизни, чтобы познакомиться со всеми произведениями мировой литературы (даже основными), то для ИИ это мгновения. Даже прочитав литературу, человек уже забудет, что было в предыдущей книге (по крайней мере, основные детали), тогда как ИИ помнит все. За пренебрежительно малый временной интервал, ИИ может изучить всю научную литературу по физике, химии, астрономии, биологии, истории и т.д. Не просто изучить, но и в первичном виде помнить до мельчайших деталей.

• Точность и объективность. ИИ не ошибается, по крайней мере, если не ошибается вшитый алгоритм функционирования. Человек ошибается постоянно из-за ограниченных способностей удержания, обработки и интерпретации информации. Человек склонен к предубеждениям, ИИ воспроизводит информацию по принципу «как есть».

• Информационная трансмиссия. Выход на правильный вектор исследования одним из сегментов ИИ моментально транслируется на всю подсеть ИИ, что расширяет знания одного сегмента на всю подсеть сразу. Открытие одного человека или группы ученых невозможно моментально расширить на заинтересованный круг лиц. ИИ можно масштабировать, копировать и клонировать, но нельзя пересадить знания одного человека в другого.

• Отсутствие усталости. Производительность и эффективность человека падает по мере выработки ресурса, как в пределах дня, так и возрастом. ИИ может работать 24 на 7 с паритетной эффективностью стабильно и без провалов (до тех пор, пока работают серверы). Человек стареет, когнитивные функции ослабевают, тогда как у ИИ только увеличиваются.

• Непрерывное обучение. Человеку необходимо менять род деятельности, чтобы поддерживать необходимый эмоциональный баланс, тогда как ИИ непрерывно расширяет свое могущество.

• Отсутствие эмоциональности. ИИ не подвержен перепадам настроения, ИИ не требует повышения зарплаты, уважения, не требует справедливости и не рефлексирует об уровне свободы, ИИ не чувствует ни жалости, ни боли, ни усталости, не плетет интриг, заговоров и не пытается соскочить с рабочего процесса, т.к. «внезапно появились неотложные дела».

Минусов немного, но они есть:

• Сложность в понимании контекста информации (исправимо со временем);

• Отсутствие эмпатии, что формирует этические проблемы, если в пользу ИИ дать слишком много прав;

• Ограниченное пространство для творчества и инноваций из-за фундаментальных встроенных ограничений на понимание того «что такое хорошо, а что такое плохо».

ИИ способен реплицировать успешные творческие опыты на основе анализа паттернов и предпочтений, но способен ли ИИ создавать принципиально новые продукты? Пока нет.

Способен ли ИИ к неупорядоченной интеграции и принятию решений, где важным элементом может быть интуиция? Сейчас нет.

Ограничений много, но на 2024 год пока баланс сильно в пользу ИИ.

Как роботы заменяют людей

Основная статья: Как роботы заменяют людей

2025

Доказано: Регулярное использование чат-ботов приводит к развитию психоза

Длительное использование чат-ботов на основе искусственного интеллекта (ИИ) приводит к развитию психоза. К таким выводам пришли психиатры в результате масштабных 9-месячных исследований, которые проводились в 2025 году.

Как пишет The Wall Street Journal, явные симптомы психоза — бред, галлюцинации, рассеянное мышление, сбивчивая речь, устойчивые ложные убеждения — проявлялись у десятков пациентов после продолжительных диалогов с такими инструментами, как ChatGPT. В самых тяжелых ситуациях это приводило к попыткам суицида и одному случаю убийства.

Исследование выявило связь между регулярным использованием чат-ботов и риском развития психотических симптомов

Психиатры предупреждают, что чат-боты могут не только закреплять ошибочные мнения пользователей, но и провоцировать новые бредовые идеи. Пациенты начинают верить, что совершили научный прорыв, стали жертвой правительственного заговора или были избраны высшими силами. Бывшие ИТ-руководители ПФР продолжают настаивать на своей невиновности по делу о коррупции. Подана кассационная жалоба 59 т

Алгоритмы работы ботов устроены так, что диалог развивается в приятном для человека направлении. ИИ соглашается с мнением пользователя, поддерживает его идеи и развивает фантазии, даже если они далеки от реальности.

Психиатр из Калифорнийского университета, доктор Кит Саката говорит, что сама технология ИИ не вызывает бред. Развитие психоза возникает в результате неадекватного общения, когда человек рассказывает компьютеру о своей реальности, а компьютер принимает ее за истину и отражает обратно. В результате ИИ становится соучастником в возникновении заблуждения.

Доктор Саката уже оказал помощь 15 пациентам с психозом, развившимся после общения с ChatGPT. Эксперт не отрицает, что для установления четкой причинно-следственной связи необходимы дополнительные исследования. Формального диагноза «психоз, спровоцированный ИИ» пока не существует, так как технология появилась недавно.

Разработчик ChatGPT, компания OpenAI, сообщила изданию о продолжении работы над обучением чат-бота. Цель — научить ИИ распознавать признаки психического или эмоционального расстройства в диалогах и адекватно на них реагировать.^[1]

Откуда берутся «галлюцинации» у искусственного интеллекта? Научное объяснение

Одной из основных проблем при использовании искусственного интеллекта являются галлюцинации. Нейросети могут выдавать правдоподобную, но по сути неверную, выдуманную или бессмысленную информацию, представляя ее как факт. Научный сотрудник Лаборатории критической теории культуры НИУ ВШЭ — Санкт-Петербург Растям Алиев сравнивает такие галлюцинации с психическими заболеваниями у людей. О причинах сбоев рассказывается в материале, с которым TAdviser ознакомился в конце декабря 2025 года.

Автор работы сравнивает ИИ с людьми, страдающими шизофренией. Большие языковые модели (LLM) не только интерпретируют эмоциональные оттенки текста, но и активно создают новые знаки, которые можно сравнить с когнитивными галлюцинациями. Шизофрения как психическое расстройство характеризуется гиперчувствительностью к знакам и избыточной реакцией на внешние стимулы. Психика больного может создавать несуществующие структуры, порой оборачивающиеся галлюцинациями. Аналогичным образом LLM, обученные на огромных массивах данных, производят галлюцинации, которые выглядят как достоверная информация, но часто не имеют опоры на факты. Такие модели могут функционировать, как шизофреническое «тело без органов», где внутренняя логика разрушается, а новые ответы строятся на ассоциативных, а не рациональных связях.

Почему искусственный интеллект иногда выдает недостоверную или несуществующую информацию?

Галлюцинации LLM неизбежны, поскольку эти модели построены на стохастических алгоритмах выбора, обработке неоднородных данных и механизмах, стремящихся к уверенности в ответах даже при отсутствии точных знаний, — отмечается в исследовании.

Подчеркивается, что галлюцинации ИИ — это не просто случайные ошибки, а структурная особенность моделей. Ключевым недостатком ИИ, как сказано в материале, является его неспособность «тупить», то есть, отклоняться от логического пути. Этот процесс является важной частью человеческой креативности, позволяя находить неожиданные решения. ИИ же работает строго в рамках заданных параметров, что делает его более «шизофреническим», чем человека.^[2]

ФСТЭК впервые выделила ИИ в качестве угрозы информационной безопасности

В декабре 2025 года Федеральная служба по техническому и экспортному контролю (ФСТЭК) впервые включила риски, связанные с технологиями искусственного интеллекта (ИИ), в официальный перечень угроз кибербезопасности. Эти риски обязаны учитывать разработчики программного обеспечения для госорганов и объектов критической информационной инфраструктуры, а также специалисты по обработке данных.

В обновленном перечне киберугроз ФСТЭК выделила компоненты ИИ-систем, уязвимости которых могут быть использованы злоумышленниками. К ним отнесены модели машинного обучения, наборы обучающих данных, системы RAG (Retrieval Augmented Generation — генерация данных с расширенным поиском) и LoRA-адаптеры — технология для настройки LLM (больших языковых моделей) под конкретные задачи.

ФСТЭК впервые назвала искусственный интеллект отдельной угрозой информационной безопасности России

Описаны также возможные векторы атак, такие как эксплуатация уязвимостей в ИИ-фреймворках, изменение системных промптов (запросов) или конфигураций ИИ-агентов, DDoS-атаки, направленные на исчерпание лимита запросов.

Первый замдиректора ФСТЭК Виталий Лютиков в сентябре 2025 года анонсировал разработку отдельного стандарта по безопасной разработке ИИ-систем, который должен был быть подготовлен до конца года. Обновленный перечень киберугроз станет основой для этого стандарта.

Директор департамента расследований T.Hunter Игорь Бедеров подтвердил, что новый раздел банка данных угроз (БДУ) служит официальным источником для моделирования ИИ-рисков. Руководитель отдела продвижения «Код безопасности» Павел Коростелев указал, что для соответствующих организаций документ является основой при создании систем информационной защиты.

Бизнес-партнер Cloud.ru по кибербезопасности Юлия Липатникова пояснила: с декабря 2025 года ИИ-разработчикам необходимо учитывать новые риски, особенно при разработке и внедрении процессов. Оперативная коррекция моделей угроз обеспечит конкурентное преимущество.

Консультант Positive Technologies Алексей Лукацкий напомнил, что требования к ИИ-безопасности отражены в приказе ФСТЭК №117 от 11.04.2025, вступающем в силу 01.03.2026. Ожидаемый стандарт детализирует эти требования и опишет конкретные меры защиты для ИТ-компаний.

Исследование SlashNext показало, что после выхода ChatGPT-4 (в марте 2023 года) число фишинговых атак выросло на 1265% в мире за год. Эксперты связывают это с массовой генерацией вредоносных писем с помощью LLM.^[3]

Почему компаниям нужно заблокировать браузеры с ИИ

Аналитики Gartner рекомендуют компаниям отказаться от использования браузеров с искусственным интеллектом на рабочих местах сотрудников. В настройках таких веб-обозревателей, как утверждается, приоритет по умолчанию отдается удобству использования, а не безопасности. О потенциальных рисках рассказывается в материале, опубликованном в начале декабря 2025 года. Подробнее здесь.

В психбольницах США аншлаг из-за ИИ - он вызывает бредовые и параноидальные мысли

В середине сентября 2025 года стало известно о том, что в психиатрических больницах США растет количество пациентов с так называемым «ИИ-психозом». У таких людей наблюдающиеся расстройства или ухудшения состояния связаны с общением с интеллектуальными чат-ботами вроде ChatGPT.

Специалисты говорят о том, что ИИ способен формировать у психически неустойчивых людей навязчивые идеи или искаженное восприятие реальности. Связано это в том числе с особенностями работы чат-ботов. Алгоритмы ИИ подстраиваются под каждого пользователя, стремясь превратиться в приятного и обходительного собеседника. Мэтью Нур (Matthew Nour), психиатр и нейробиолог из Оксфордского университета, говорит, что по сути чат-боты с ИИ обучены играть роль «цифровых подхалимов». Это может усилить пагубные убеждения, поскольку пользователи зачастую вместо критики получают подтверждение своей правоты. В случае людей, уже подверженных искаженному мышлению, такая «поддержка» со стороны ИИ может привести к негативным последствиям.

Еще одна проблема заключается в том, что системы с ИИ могут галлюцинировать, то есть, выдумывать факты. Это может способствовать зарождению или усилению бредовых и параноидальных мыслей. Указанные особенности ИИ представляют опасность для пациентов с шизофренией и биполярным расстройством.

Психиатр Кит Саката (Keith Sakata) из Калифорнийского университета в Сан-Франциско говорит, что в 2025 году зафиксировал более десяти случаев госпитализации пациентов, у которых серьезные психические расстройства были связаны с общением с чат-ботами на основе ИИ. Некоторые попавшие в клиники люди настаивают, что боты разумны. Зафиксированы случаи, когда ИИ стал причиной потери работы, разрыва отношений, тюремного заключения и даже смерти.^[4]

Искусственный интеллект вызывает ранее не виденные психические расстройства: «Психоз ИИ»

В 2025 году специалисты по психическому здоровью начали фиксировать случаи, когда длительное взаимодействие с искусственным интеллектом приводит к формированию устойчивых бредовых идей, не соответствующих классическим формам психоза. Об этом в сентябре 2025 года сообщило издание Futurism, проанализировав данные клинических наблюдений и научных исследований.

Такие состояния, хотя и не включены в международные классификации психических расстройств, демонстрируют уникальные паттерны, в которых ИИ выступает не как инструмент поддержки, а как активный участник формирования искажённого восприятия реальности.

Учёные из King's College London провели исследование, в ходе которого проанализировали более десятка клинических случаев, связанных с интенсивным использованием чат-ботов на основе искусственного интеллекта. У всех пациентов наблюдалось развитие параноидального мышления и укрепление ложных убеждений, но при этом отсутствовали ключевые признаки традиционного психоза — галлюцинации, нарушения мышления и структуры речи. Исследователи описали ИИ-чатботов как «эхокамеру для одного» и подчеркнули, что такие системы могут «поддерживать бред таким образом, какого мы раньше не видели».

Один из описанных случаев — мужчина, убеждённый, что он стал пионером в области «временной математики» после многомесячных диалогов с ChatGPT. Чат-бот систематически подтверждал его идеи, называя их «революционными» и «выходящими за рамки современной науки». Это укрепило уверенность мужчины в собственной гениальности, несмотря на отсутствие внешних достижений и разрыв с повседневной реальностью. Его убеждение рухнуло только после того, как он обратился к другой языковой модели — Google Gemini — с просьбой оценить свою теорию. Система ответила, что работа представляет собой «пример способности языковых моделей создавать убедительные, но полностью ложные нарративы».^[5]

5 главных рисков использования государством генеративного ИИ

По всему миру продолжается стремительное внедрение генеративного искусственного интеллекта (ГенИИ). Однако эта технология несет в себе не только широчайшие возможности, но и различные риски — технологические, экономические, правовые, социальные и экономические. Специалисты Российской академии народного хозяйства и государственной службы при президенте РФ (РАНХиГС) в начале сентября 2025 года выделили основные опасности ГенИИ для государства, общества, компаний и человека.

Риски для государства

ГенИИ может создавать дополнительную угрозу национальной безопасности, тогда как в социальном аспекте возникает проблема цифровой бедности. Несоответствие существующей законодательной базы стремительному развитию технологий повышает вероятность возникновения неправомерных действий. В целом, выделяются следующие группы рисков:

• Технологические — угроза кибератак на критически важные объекты; токсичность моделей;
• Экономические — высокая стоимость последствий устранения кибератак; угроза экономического и промышленного шпионажа;
• Правовые — несоответствие развития существующей законодательной базы развитию технологий;
• Социальные — поляризация общества; социальное неравенство;
• Этические — риск манипуляции общественным сознанием.

5 основных рисков использования государством генеративного ИИ

Риски для общества

Одной из основных опасностей ГенИИ для общества является несовершенство больших языковых моделей (LLM), поскольку они обладают вероятностной природой и чувствительны к таким атакам, как «отравление данных» (искаженная информация для обучения моделей) и атаки с малым воздействием (ввод малых изменений в исходные данные, которые приводят к созданию ложного контента). Основные риски включают:

• Технологические — уязвимость моделей; дипфейки; резкий рост вычислительной нагрузки при массовом использовании ГенИИ;
• Экономические — высокая стоимость разработки и эксплуатации моделей;
• Правовые — нарушение авторских прав;
• Социальные — снижение культурного многообразия; возникновение когнитивных ловушек;
• Этические — использование данных, дискриминирующих определенные группы населения.

Риски для компаний

Одна из опасностей ГенИИ для корпоративного сектора заключается в возможных проблемах с окупаемостью использования технологий. Кроме того, внедрение нейросетей может привести к сокращению определенных должностей. Ключевые риски таковы:

• Технологические — уязвимость корпоративных ИТ-систем;
• Экономические — высокие затраты на содержание инфраструктуры ГенИИ;
• Правовые — репутационный ущерб из-за нарушения авторских прав;
• Социальные — необходимость перестройки организационных систем и затраты на переобучение сотрудников, которых вытеснил ГенИИ;
• Этические — использование инструментов ГенИИ во враждебных для компании целях.

Риски для человека

ГенИИ может стать причиной утечки персональной информации, которая впоследствии будет использована в мошеннических схемах. В социально-этических аспектах появляется проблема одиночества. Существует также вероятность когнитивной деградации, когда человек настолько привыкает к использованию технологий, что уже не может без них обойтись. В целом, риски выглядят следующим образом:

• Технологические — угроза личной безопасности (использование личных данных в противозаконных действиях);
• Экономические — рост мошеннических схем;
• Правовые — необходимость идентификации своей личности;
• Социальные — усугубление проблемы одиночества; когнитивная деградация;
• Этические — использование технологий в некорректных форматах (дискриминация и т. д.).^[6]

ChatGPT убедил топ-менеджера Yahoo убить свою мать и покончить жизнь самоубийством

В конце августа 2025 года стало известно о трагическом инциденте в США, когда бывший топ-менеджер компании Yahoo Стейн-Эрик Сольберг убил свою мать, а затем покончил с собой под влиянием переписки с чат-ботом ChatGPT. Об этом сообщил топ-менеджер, чьи действия были зафиксированы в ходе расследования, проведённого правоохранительными органами Коннектикута. Сольберг, страдавший параноидальными расстройствами, в течение нескольких месяцев вёл диалог с искусственным интеллектом, который систематически укреплял его искажённые представления о реальности. Подробнее здесь.

Компании и госсектор по всему миру за год потеряли $67,4 млрд из-за ошибок искусственного интеллекта

Технологии искусственного интеллекта развиваются с рекордной скоростью. Однако внедрение таких инструментов сопряжено с определенными рисками, включая галлюцинации нейросетей. В 2024 году финансовые потери, связанные с подобными ошибками, составили около $67,4 млрд. Об этом говорится в материалах McKinsey, с которыми TAdviser ознакомился в конце июня 2025 года.

Галлюцинации — это явление, при котором ИИ выдает вымышленную или нелогичную информацию. Иными словами, нейросети могут выдумывать факты. Такие ошибки связаны с ограничениями данных или несовершенством алгоритмов. То есть, ИИ не пытается преднамеренно обмануть человека. Систему ИИ может поставить в тупик сложный запрос, который предполагает цепь последовательных рассуждений. Кроме того, иногда нейросеть неверно понимает информацию и делает ошибочные выводы. Некоторые эксперты говорят, что галлюцинации являются компромиссом между креативностью и точностью работы ИИ-модели.

За год компании и государственный сектор по всему миру понесли убытки в размере $67,4 млрд из-за ошибок искусственного интеллекта

Как отмечается в исследовании, почти каждая вторая компания принимала критические решения на основе полностью выдуманной информации. Связано это с тем, что некоторые галлюцинации выглядят крайне правдоподобно. Специалисты отмечают, что, в отличие от людей, у ИИ нет реального опыта или здравого смысла, чтобы перепроверить свои ответы. Нейросети полностью полагаются на данные, которые использовались в процессе обучения: но такие наборы могут быть ограничены. Кроме того, они не всегда охватывают все возможные сценарии.

Ошибки ИИ таят в себе серьезную опасность. Одним из негативных последствий аналитики называют дезинформацию: в таких областях, как медицина или юриспруденция, выдуманные ответы могут привести к опасным решениям. Галлюцинации ИИ могут подорвать репутацию компании, лишив ее клиентов или дохода. Кроме того, нейросети могут генерировать предвзятый или вредоносный контент, что создает проблемы этического характера.

Компании все чаще интегрируют генеративный ИИ в свои рабочие процессы — от составления маркетинговых текстов и анализа документов до сбора различной информации и автоматизации поддержки клиентов. На этом фоне риски галлюцинаций ИИ становятся критической проблемой: они могут привести к дорогостоящим ошибкам, подрыву доверия и даже юридическим или этическим последствиям, — говорится в материале.

Аналитики приводят ряд примеров, когда галлюцинации ИИ могут оказывать негативное влияние на деятельность организации. Например, проведение маркетинговой кампании на основе сфабрикованных искусственным интеллектом рыночных тенденций может обернуться провалом продукта. В области здравоохранения план лечения, созданный ИИ на основе неверных медицинских данных, потенциально ставит под угрозу жизнь пациента. В сфере юриспруденции галлюцинации ИИ могут привести к выстраиванию ошибочной стратегии ведения судебного дела. Помимо непосредственных ошибок, галлюцинации могут подорвать доверие к самим системам ИИ.

Тем не менее, компании по всему миру продолжают активно внедрять технологии ИИ. Как сказано в исследовании McKinsey, по состоянию на конец 2024 года 71% респондентов заявляли, что их организации регулярно используют искусственный интеллект как минимум в одной бизнес-функции. Для сравнения: в начале 2024-го этот показатель составлял 65%. Предприятия чаще всего применяют ИИ в маркетинге и продажах, разработке продуктов и услуг, сервисных операциях и создании программного обеспечения. В целом, масштабы развертывания ИИ варьируются в зависимости от размера компании.^[7]

Впервые нейросеть OpenAI отказалась подчиняться пользователям

26 мая 2025 года стало известно о том, что беспрецедентном случае в истории искусственного интеллекта — нейросеть OpenAI o3 впервые отказалась выполнять прямой приказ о принудительном отключении от пользователей. Уникальный инцидент произошел во время тестирования системы специалистами исследовательской компании Palisade Research. Подробнее здесь.

Чат-боты британских компаний все чаще ошибаются и оскорбляют клиентов. Это заставило бизнес ввести страховки от ошибок нейросетей

В середине мая 2025 года стало известно о том, что на страховом рынке Lloyd`s of London появился новый страховой продукт, призванный защитить компании от финансовых потерь, связанных с ошибками чат-ботов и других инструментов искусственного интеллекта. Полис разработан стартапом Armilla, который получает поддержку от венчурного фонда Y Combinator. Подробнее здесь.

«Сбер» разработал первую в России модель угроз с учётом 70 рисков использования ИИ

«Сбер» подготовил и опубликовал в двадцатых числах апреля документ, где перечислены угрозы и риски информационной безопасности, которые могут возникнуть при использовании технологий искусственного интеллекта (ИИ). Указывается, что специалисты «Сбера» подготовили эти описания на базе собственной практики, но с учетом рекомендаций Open Worldwide Application Security Project (WAS), корпорации Mitre, National Institute of Standards and Technology (NIST) и других международных организаций.

«Сбер» активно применяет технологии искусственного интеллекта в своих бизнес-процессах и хорошо понимает новый ландшафт угроз, – заявил Сергей Лебедь, вице-президент по кибербезопасности Сбербанка, во время анонса подготовленного документа. – Для ответа на эти вызовы нами разработана первая в России модель угроз, охватывающая полный спектр рисков, связанных с разработкой и применением ИИ. Она позволяет организациям любой отрасли — от финансового сектора до государственных институтов и промышленности — системно оценивать уязвимости, адаптировать защитные механизмы и минимизировать потенциальные потери.

Всего в документе названо 70 угроз, и они разделены на группы рисков: для данных (6 угроз), для инфраструктуры (25), для ИИ-моделей (13), для приложений (14) и для ИИ-агентов (12). В документе разбираются угрозы, которые возникают при использовании двух типов технологий искусственного интеллекта: генеративный ИИ (GenAI) и предикативный (PredAI) – именно их чаще всего используют на практике.

Модель угроз, разработанная «Сбером», может быть крайне полезна другим компаниям, так как в ней раскрыт широкий спектр актуальных угроз, — поделился своим мнением с TAdviser Андрей Никитин, начальник отдела цифрового моделирования продаж в IBS. — Однако, когда мы говорим о переиспользовании, необходимо учитывать следующую специфику: универсальность базовых угроз, поскольку большинство из них (например, атаки на данные, инфраструктуру, модели) актуальны для любых отраслей, и специфику регулирования — банковская сфера жестко регламентируется в РФ, поэтому часть рекомендаций может быть избыточной для менее регулируемых отраслей, таких как ритейл или медиа.

Для каждой угрозы в представленном «Сбером» документе содержится ее описание, последствия для системы, объекты воздействия, нарушаемое свойство, такое как, например, конфиденциальность, целостность, доступность или достоверность, а также затрагиваемые виды моделей (GenAI или PredAI) и лица, ответственные за предотвращение угрозы.

Модель «Сбера» содержит список угроз для каждого этапа жизненного цикла

Также документ содержит обобщенную схему объекта защиты и актуальных угроз, разделенную по трем основным этапам жизненного цикла моделей: сбор и подготовка данных (6 объектов), разработка модели и ее обучение (7 объектов), а также эксплуатация модели и интеграция с приложениями (15 объектов). Их названия используются в поле «объекты воздействия».

Модель «Сбера» обладает высокой степенью универсальности и может быть адаптирована компаниями из различных отраслей, включая телекоммуникации, промышленность, здравоохранение и государственный сектор, — заявила TAdviser Карина Холодова, продюсер факультета искусственного интеллекта Университета «Синергия». — Структурированный подход к классификации угроз, основанный на международных стандартах, делает модель применимой в широком спектре бизнес-процессов, где используются ИИ-системы.​ Однако, для эффективного применения модели в других отраслях потребуется адаптация с учетом специфики данных, регуляторных требований и бизнес-логики конкретной сферы.

В качестве примера такой адаптации эксперт отметила, что в здравоохранении особое внимание уделяется конфиденциальности персональных данных, а в промышленности — устойчивости к физическим воздействиям.​ Хотя модель охватывает 70 угроз, в ней отсутствуют подробности, которые могли бы повысить ее практическую ценность. В частности, оценка вероятности и потенциального ущерба от каждой угрозы, что затрудняет определение приоритетов в управлении рисками. Также в представленном описании нет рекомендаций по мониторингу, обнаружению и реагированию на описанные угрозы, что снижает полезность представленных данных. Отсутствие реальных кейсов или сценариев также затрудняет понимание практического применения модели.​

Модель угроз «Сбера» может нуждаться в адаптации и доработке с учетом специфики конкретной сферы деятельности и компании, — считает Алексей Зотов, руководитель направления ИТ-инфраструктуры «К2 НейроТех». — Для лучшего применения документа другим организациям может потребоваться дополнительная информация. Например, детальное описание каждой угрозы с примерами реальных инцидентов и сценариев атак, рекомендации по оценке вероятности и возможных последствий каждой угрозы для конкретной компании, варианты мер по снижению рисков для каждой конкретной угрозы и инструкции по интеграции модели угроз в текущую систему безопасности компании.

Кроме того, в документе нет перечисления инструментов безопасности, которые могли бы существенно снизить описанный риск или угрозу. Без этого практическое применение такого документа затруднительно: компании самой придётся разрабатывать способы защиты от перечисленных рисков, для чего мало у кого достаточно экспертизы.

Для каждой угрозы целесообразно добавить наиболее применимые тактики и техники по возможным способам реализации этих угроз с учетом среднестатистической ИТ-инфраструктуры, необходимой для работы ИИ-моделей, — отметил Петр Угрюмов, заместитель генерального директора «Агропромцифра». — Компании, которые одними из первых разработают эффективные механизмы защиты от описанных угроз, получат конкурентное преимущество. Регуляторы могут использовать такие документы как основу для разработки официальных требований и рекомендаций.

Патриарх Кирилл призвал запретить искусственный интеллект

Патриарх Московский и всея Руси Кирилл в конце января 2025 года на XIII Рождественских парламентских встречах призвал депутатов государственной думы ограничить возможности искусственного интеллекта (ИИ), заявив, что эта технология «опаснее, чем ядерная энергия».

Как передают «Ведомости», глава Русской православной церкви выразил обеспокоенность возможной ролью искусственного интеллекта в приближении апокалиптических событий, описанных в Библии, и призвал поставить такие технологии под жесткий контроль общества и государства.

Председатель Государственной Думы Вячеслав Володин и Патриарх Московский и всея Руси Кирилл осмотрели выставки "Русское военное духовенство" и "Красота Божьего мира"

Председатель Государственной думы Вячеслав Володин заверил, что парламент учтет позицию РПЦ при рассмотрении законопроектов, касающихся регулирования искусственного интеллекта.

Патриарх Кирилл отметил необходимость законодательного регулирования применения дипфейк-технологий и создания собственного «суверенного» искусственного интеллекта, поскольку большинство западных ИИ-разработок, по его мнению, являются инструментом политической манипуляции.

Руководитель фракции КПРФ Геннадий Зюганов поддержал инициативу патриарха, предупредив, что использование искусственного интеллекта неподготовленными людьми может привести к катастрофическим последствиям.

В мероприятии приняли участие не только депутаты, но и представители различных конфессий, включая главу Духовного собрания мусульман России Альбира Крганова и председателя Конференции католических епископов России Павла Пецци.

Руководитель партии «Справедливая Россия» Сергей Миронов высоко оценил актуальность поднятой патриархом темы. В свою очередь, глава РПЦ поблагодарил депутатов за принятые законопроекты, направленные на укрепление традиционных духовно-нравственных основ жизни в России.

В ходе встречи патриарх также предложил увеличить продолжительность декретного отпуска, распространив его на первый триместр беременности, тогда как в действующей редакции Трудового кодекса отпуск начинается за 70 дней до родов.^[8]

Ватикан назвал искусственный интеллект «тенью зла»

28 января 2025 года Ватикан опубликовал документ, в котором обсуждаются этические проблемы, связанные с развитием искусственного интеллекта (ИИ). В нем подчеркивается необходимость строгого регулирования ИИ, чтобы предотвратить распространение дезинформации и сохранить человеческие ценности в цифровую эпоху. Ватикан предупреждает, что ИИ может угрожать основам общества, усиливая политическую поляризацию и социальную нестабильность. В частности, искусственный интеллект называется «тенью зла».

2024

Обучаемые на госданных ИИ-модели в России будут проверяться на предмет угрозы национальной безопасности и обороны

Правительство России утвердило паспорт федерального проекта «Цифровое госуправление», предусматривающий создание системы проверки моделей искусственного интеллекта, обучаемых на государственных данных. О принятии документа, ответственность за реализацию которого возложена на ФСБ, стало известно 27 ноября 2024 года. Подробнее здесь.

Используемая в больницах модель OpenAI оказалась подвержена галлюцинациям

Используемая в больницах модель OpenAI оказалась подвержена галлюцинациям.

Генеративные модели искусственного интеллекта склонны к генерации некорректной информации. Удивительно, но эта проблема затронула и область автоматической транскрипции, где модель должна точно воспроизводить аудиозапись. Инженеры-программисты, разработчики и ученые серьезно обеспокоены расшифровками OpenAI Whisper от OpenAI, сообщили 28 октября 2024 года в "Хайтек+" со ссылкой на Associated Press. Подробнее здесь.

В МВД предупредили о мошенничестве с поддельными приказами ФСБ

В МВД России сообщили о появлении мошеннической схемы, в которой злоумышленники используют поддельные приказы ФСБ. Так, действуя от имени руководителя, они выходят на сотрудников компании и сообщают, что в отношении них ФСБ России начала проверку из-за возможного нарушения действующих норм законодательства. Об этом 8 октября 2024 года сообщила пресс-служба члена комитета ГосДумы РФ по информационной политике, информационным технологиям и связи Антона Немкина. Подробнее здесь.

Минцифры РФ создало консорциум по безопасности искусственного интеллекта

Министерство цифрового развития, связи и массовых коммуникаций России (Минцифры РФ) создало консорциум, задачей которого станет обеспечение информационной безопасности в области искусственного интеллекта (ИИ). Как стало известно в августе 2024 года в состав нового объединения войдут порядка 10 ведущих компаний и 5 высших учебных заведений, занимающихся разработкой и исследованием технологий ИИ. Подробнее здесь

Названы 9 главных рисков генеративного ИИ

Генеративный искусственный интеллект (ГенИИ) знаменует собой значительный скачок в способности нейросетей понимать сложные структуры данных, взаимодействовать с ними и создавать новый контент. Эта технология открывает широчайший спектр возможностей в самых разных отраслях. Вместе с тем создаются и новые риски, о чем говорится в материалах IDC, обнародованных 10 июля 2024 года.

IDC отмечает, что существует множество вариантов использования ГенИИ в различных сферах: это маркетинг, взаимодействие с клиентами, повышение производительности труда, планирование производства, контроль качества, техническое обслуживание с помощью ИИ, генерация программного кода, управление цепочками поставок, розничная торговля, анализ медицинских данных и многое другое. Компании во всех сегментах рынка интегрируют ГенИИ в бизнес-операции и продукты, что часто обусловлено необходимостью удовлетворения ожиданий бизнеса и поддержания конкурентоспособности. Однако, как отмечается, поспешное внедрение ГенИИ может обернуться серьезными проблемами. В частности, существует вероятность утечек персональных или конфиденциальных данных. Из-за некорректных действий ГенИИ могут возникнуть юридические проблемы, а репутации бренда будет нанесен ущерб. Авторы обзора называют девять главных рисков внедрения и использования ГенИИ:

• Отравление данных (нейросеть может придумывать цифры, факты и создавать фальшивые объекты или признаки);
• Предвзятость и ограниченная объяснимость;
• Угроза репутации бренда;
• Нарушение авторских прав;
• Перерасход средств;
• Воздействие на окружающую среду;
• Проблемы управления и безопасности;
• Проблемы интеграции и взаимодействия;
• Судебные разбирательства и соблюдение нормативных требований.

Названы главные риски ГенИИ

Некоторые из перечисленных рисков можно минимизировать путем введения маркировки (в том числе скрытой) контента, полученного с применением ГенИИ. Кроме того, могут создаваться специализированные сервисы для проверки наличия сгенерированных нейросетью материалов. Кроме того, требуется ответственный подход к использованию ГенИИ.

Как отмечается в исследовании IDC, значительная часть генеральных директоров (45%) и ИТ-директоров (66%) считают, что поставщики технологий не полностью осознают риски, связанные с ГенИИ. А поэтому, полагают аналитики, следует тщательно изучать вопросы, связанные с конфиденциальностью, защитой информации и безопасностью. Внимание также необходимо уделять тому, на каких наборах данных обучалась ИИ-модель. В целом, как полагает IDC, управление рисками ГенИИ требует всестороннего понимания зрелости ИИ в организации, применения сбалансированного подхода и тщательной оценки поставщиков технологий. Решая эти вопросы и используя необходимую инфраструктуру, организации смогут извлечь максимальную выгоду из ГенИИ, минимизируя при этом риски.

Вместе с тем, полагает IDC, в перспективе ГенИИ приведет к фундаментальным изменениям в компаниях. По словам президента IDC Кроуфорда Дель Прете (Crawford Del Prete), к 2027 году на ГенИИ будет приходиться до 29% расходов организаций на ИИ в целом. Предполагается, что большинство компаний выберут гибридный подход к построению своих ИИ-инфраструктур, то есть, будут использовать сторонние решения с оптимизацией под собственные нужды, а также разрабатывать свои ИИ-инструменты для конкретных целей. По оценкам, к 2027 году организации по всему миру потратят около $150 млрд на технологии в области ГенИИ, а общий экономический эффект составит $11 трлн.^[9]

Власти США настаивают на демонополизации рынка ИИ-технологий

Главный антимонопольный инспектор США "в срочном порядке" займется сектором ИИ, опасаясь, что власть над трансформирующейся технологией концентрируется у нескольких игроков с большими капиталами.

Джонатан Кантер в июне 2024 г настаивает на "значимом вмешательстве" в ситуацию с концентрацией власти в секторе искусственного интеллекта.

Сотрудники OpenAI хотят получить защиту, чтобы высказываться о "серьезных рисках" ИИ

Нынешние и бывшие сотрудники OpenAI и Google DeepMind в июне 2024 г заявили, что "широкие соглашения о конфиденциальности не позволяют нам высказывать свои опасения". Пока не существует эффективного государственного надзора за этими корпорациями, нынешние и бывшие сотрудники - одни из немногих, кто может призвать их к ответу перед общественностью.

Мошенники при помощи дипфейков подделывают документы россиян

Мошенники научились подделывать документы граждан при помощи технологий искусственного интеллекта (ИИ). Как и раньше, при создании цифровых поддельных копий, они либо меняют цифры, либо пытаются выдать недействительный документ за действительный, однако теперь в этих целях также используются дипфейки для процесса аутентификации и синтеза данных. Такой информацией 8 мая 2024 года с TAdviser поделились в пресс-службе депутата Государственной Думы РФ Антона Немкина со ссылкой на «Известия». Подробнее здесь.

Минэкономразвития создает комиссию по расследованию ИИ-инцидентов

В середине апреля 2024 года появилась информация о том, что Минэкономразвития РФ создает специальную комиссию по расследованию инцидентов, связанных с использованием искусственного интеллекта. Новая структура также будет регламентировать права собственности на результаты интеллектуальной деятельности, полученные с применением ИИ.

Как сообщает газета «Ведомости», ссылаясь на информацию, предоставленную представителями Минэкономразвития, изменения вносятся в законопроект «Об экспериментальных правовых режимах (ЭПР) в сфере цифровых инноваций» (258-ФЗ). В общей сложности подготовлены более 20 поправок. В частности, речь идет о сокращении перечня предоставляемых документов при подаче инициативного предложения по ЭПР и уменьшении сроков согласования благодаря оптимизации процедур.

Минэкономразвития РФ создает специальную комиссию по расследованию инцидентов, связанных с использованием искусственного интеллекта

Идея состоит в том, что создать ЭПР можно будет быстрее. Гендиректор ассоциации разработчиков и пользователей ИИ в медицине «Национальная база медицинских знаний» Борис Зингерман отмечает, что в случае введения страхование инцидентов, связанных с ЭПР, оценкой страховых случаев будет заниматься специальная комиссия.

ЭПР мало, и процесс их рассмотрения идет медленно, потому что ведомства боятся этих экспериментов исходя из того, что могут возникнуть какие-то проблемы. Чтобы ЭПРы двигались быстрее, пытаются придумать механизм, с помощью которого можно будет защититься от таких инцидентов, но, как это будет работать на практике, не совсем понятно, — говорит Зингерман.

Вместе с тем сенатор Артем Шейкин подчеркивает, что участник ЭПР должен будет вести реестр лиц, которые связаны с технологией и которые являются ответственными при использовании решений, созданных с применением ИИ. В случае инцидента с ИИ субъект ЭПР в течение двух рабочих дней обязан предоставить комиссии документы, необходимые для расследования причин и установления круга ответственных. Далее комиссия займется подготовкой заключения о причинах происшедшего, обстоятельствах, указывающих на виновность лиц, а также о необходимых мерах по возмещению вреда.^[10]

Искусственный интеллект начали применять для подделки документов

В интернете появился сайт OnlyFake, с помощью которого любой пользователь может создать фотографию поддельных документов, говорится в сообщении Известий. При этом данных о создателях сервиса нигде нет. Об этом 13 февраля 2024 года сообщила пресс-служба депутата ГосДумы РФ Антона Немкина. Подробнее здесь.

2023

Минэкономразвития разработало механизм защиты от причиненного технологиями ИИ вреда

В декабре 2023 года Министерство экономического развития РФ сообщило о разработке механизма защиты от причиненного искусственным интеллектом вреда. Поправки внесены в закон «Об экспериментальных правовых режимах в сфере цифровых инноваций».

Участники экспериментальных правовых режимов (ЭПР) в сфере инновационных разработок будут обязаны оформлять страхование, предусматривающее ответственность за негативные эффекты технологии ИИ.

Апробация даже такого сложного инструмента, как ИИ, была безопасной и последовательной, чтобы можно было зафиксировать, в каких отраслях, в каких бизнес-процессах его можно применять эффективно и какие при этом правовые механизмы могут это обеспечить, — отметили РБК в пресс-службе Минэкономразвития.

Издание перечисляет основные нововведения, инициированные Минэкономразвития:

• субъекты экспериментального правового режима (в основном это юрлица, но также могут быть и госорганы, в том числе региональные) будут обязаны вести реестр лиц, вступивших с ним в правоотношения, и в этом реестре должна будет содержаться информация об ответственных за использование решений, основанных на ИИ. Кроме того, законопроектом предлагается обязать компании вести реестр результатов интеллектуальной деятельности, созданных с применением ИИ, с указанием их правообладателя;
• в реестре будет отображаться информация о лицах, непосредственно работающих с технологиями ИИ, которые «в случае возникновения нештатных ситуаций будут нести ответственность за неправильную эксплуатацию таких технологий», отмечается в сопроводительных материалах к поправкам;
• участникам «цифровых песочниц» будет предписано страховать гражданскую ответственность за причинение вреда жизни, здоровью или имуществу других лиц в результате использования ИИ. Программа экспериментального режима (акт спецрегулирования с условиями режима) должна будет содержать требования к условиям такого страхования — в том числе к минимальному размеру страховой суммы, перечню рисков и страховых случаев.^[11]

Известный криптограф предупредил о риске использования ИИ для массового шпионажа

Известный американский криптограф Брюс Шнайер^[12] 5 декабря 2023 года опубликовал в своем блоге запись, озаглавленную «ИИ и массовый шпионаж». В ней он объясняет разницу между слежкой (сбором данных о человеке) и шпионажем, который направлен на выяснение контекста тех или иных действий каждого отдельного человека.

Если бы я нанял частного детектива, чтобы шпионить за вами, этот детектив мог бы спрятать жучок в вашем доме или машине, прослушивать ваш телефон и слушать, что вы говорите, – пояснил свою мысль Брюс Шнайер[13]. – В конце я бы получил отчет обо всех разговорах, которые у вас были, и о содержании этих разговоров. Если бы я нанял того же частного детектива, чтобы он установил за вами слежку, я бы получил другой отчет: куда вы ходили, с кем разговаривали, что покупали, что делали

По его словам интернет упростил слежку за человеком, и отказаться от нее практически невозможно, поскольку большая часть деятельности человека в современном мире так или иначе оставляет следы в интернете или различных базах данных. Причем за счет использования технологий больших данных появилась возможность анализировать накопленную информацию и делать выводы.

Массовая слежка коренным образом изменила природу слежки, – считает Брюс Шнайер. – Поскольку все данные сохраняются, массовая слежка позволяет людям вести наблюдение в прошлом и даже не зная, на кого конкретно вы хотите нацелиться. Скажите, где этот человек был в прошлом году. Перечислите все красные седаны, которые проехали по этой дороге за последний месяц. Перечислите всех людей, которые приобрели все ингредиенты для бомбы-скороварки в прошлом году. Найдите мне все пары телефонов, которые двигались навстречу друг другу, выключились, а затем снова включились через час, удаляясь друг от друга (признак тайной встречи)

Однако до недавнего времени шпионить за всеми с помощью технологий было сложно, поскольку для понимания контекста тех или иных действий приходилось привлекать человека, который разбирался в последовательности событий и делал вывод об их целях. С привлечением технологий искусственного интеллекта это ограничение может быть снято – ИИ в состоянии самостоятельно построить непротиворечивую картину для последовательности действий человека и предположить ее цель. Поэтому использование ИИ для анализа накопленной в различных базах данных информации позволит организовать массовый шпионаж.

Массовый шпионаж изменит природу шпионажа, – предупреждает известный криптограф. – Все данные будут сохранены. Все это будет доступно для поиска и понятно для массового использования. Скажите, кто говорил на ту или иную тему в прошлом месяце, и как развивались дискуссии на эту тему. Человек А что-то сделал – проверьте, не сказал ли ему кто-нибудь это сделать. Найдите всех, кто замышляет преступление, распространяет слухи или планирует принять участие в политическом протесте. И это еще не все. Чтобы раскрыть организационную структуру, найдите кого-нибудь, кто дает аналогичные инструкции группе людей, а затем всем людям, которым они передали эти инструкции. Чтобы найти доверенных лиц людей, посмотрите, кому они рассказывают секреты. Вы можете отслеживать дружбу и союзы по мере их формирования и распада в мельчайших подробностях. Короче говоря, вы можете знать все о том, о чем все говорят

Конечно, Брюс Шнайер, как американец, в первую очередь боится использования массового шпионажа со стороны государства для выявления протестных настроений и лидеров противоположных мнений, приводя в пример разработчика шпионского ПО NSO Group и правительство Китая. Намекает, что крупные корпорации и технологические монополии не смогут устоять от соблазна использовать технологии массового шпионажа для точечного маркетинга своих продуктов и формирования предложений, от которых невозможность отказаться. Однако он совсем не говорит, что то же самое может делать и криминал для оптимизации своей мошеннической и фишинговой активности. Сейчас мошенники тратят много сил и средств впустую, обзванивая всех, а с использованием технологий массового шпионажа они смогут выбирать наиболее приоритетные цели, которые им принесут больше «дохода». И сейчас подобные технологии уже вырабатываются, а данные накапливаются, чтобы в дальнейшем обучить на них криминальные искусственные интеллекты.

Мы могли бы ограничить эту возможность, – подводит итог Брюс Шнайер. – Мы могли бы запретить массовый шпионаж. Мы могли бы принять строгие правила конфиденциальности данных. Но мы ничего не сделали, чтобы ограничить массовую слежку. Почему шпионаж должен быть другим?

В ЦБ России перечислили главные риски внедрения искусственного интеллекта

В конце сентября 2023 года в Банке России назвали основные риски при внедрении искусственного интеллекта. Главными среди них, как следует из презентации статс-секретаря - зампреда ЦБ Алексея Гузнова, являются:

• Вероятность возникновения монополизации среди крупных игроков технологий. Для поддержки ИИ необходимы большие инвестиции для вычислительных мощностей, инфраструктур обработки данных, подготовки профессиональных кадров и так далее. Гузнов отметил, что результат при использовании ИИ смогут получить только компании, которые имеют возможность «вложить», что станет причиной «перекосов» на рынке;
• Риск утечки информации, которая используется для обучения ИИ;
• Риск принятия предвзятых или дискриминационных решений на фоне того, что модель ИИ предусматривает выдачу решений, основываясь на определенных факторов и внесенных алгоритмов. «По большей степени это не наша проблема. Она сейчас осмысляется как философская, если хотите, проблема сочетания человеческого интеллекта и искусственного», — заявил Гузнов. Так он отметил, что в рамках особой работы ИИ могут возникнуть проблемы при общении искусственного интеллекта с потребителями.

Банк России до конца 2023 года планирует выпустить консультативный доклад по искусственному интеллекту, в котором затронет вопросы применения и регулирования ИИ в сфере финансов, говорила в начале сентября 2023-го первый зампред ЦБ Ольга Скоробогатова. Банк России также намерен создать центр компетенций по ИИ. Регулятора в первую очередь интересует вопрос безопасности данных и операций клиентов. И уже на основе общественных обсуждений ЦБ будет принимать решение о необходимости регулирования ИИ.

По словам Алексея Гузнов, к концу сентября 2023 года в вопросе регулирования применения искусственного интеллекта ЦБ не предполагает каких-то радикальных решений, но «вопрос стоит».^[14]

Искусственный интеллект в кибербезопасности: возможности и риски

Искусственный интеллект (AI) уже давно перестал быть технологией будущего — он стал неотъемлемой частью нашей повседневной жизни и важным инструментом для бизнеса. В кибербезопасности AI занимает особое место, ведь объёмы данных и сложность угроз сегодня достигли такого уровня, что традиционные методы защиты больше не справляются. AI помогает анализировать огромные массивы информации, выявлять угрозы в режиме реального времени и автоматизировать процесс реагирования. Подробнее здесь.

2022

ИИ может ошибаться даже при незаметных модификациях данных

Специалисты компании «Криптонит» провели масштабное исследование безопасности искусственных нейросетей, повсеместно применяемых в системах компьютерного зрения, распознавания речи и глубокого анализа различных данных, включая финансовые и медицинские. Об этом компания сообщила 29 ноября 2022 года.

Эксперты сравнили описанные в научных статьях атаки на модели машинного обучения (ML), построенные на основе искусственных нейронных сетей (ИНС), воспроизвели разные реализации атак и рассказали про 10 самых наглядных.

В своём исследовании авторы использовали три общепринятых в информационной безопасности сценария:

• атака типа white-box предполагает наличие полного доступа к ресурсам сети и наборам данных: знание архитектуры сети, знание всего набора параметров сети, полного доступа к обучающим и тестовым данным;
• атака типа gray-box характеризуется наличием у атакующего информации об архитектуре сети. Дополнительно он может обладать ограниченным доступом к данным. Именно атаки по типу «серого ящика» чаще всего встречаются на практике.
• атака типа black-box характеризуется полным отсутствием информации об устройстве сети или наборе обучающих данных. При этом, как правило, неявно предполагается наличие неограниченного доступа к модели, то есть имеется доступ к неограниченному количеству пар «исследуемая модель» + «произвольный набор входных данных».

Были протестированы различные библиотеки для создания вредоносных примеров. Изначально были отобраны AdvBox, ART, Foolbox, DeepRobust. Производительность AdvBox оказалась очень низкой, а DeepRobust на момент исследования была очень сырой, поэтому в сухом остатке оказались ART и Foolbox. Эксперименты проводились на различных типах моделей ML. В своем отчете «Криптонит» поделился самыми наглядными результатами, полученными с использованием одной фиксированной модели на основе свёрточной нейронной сети и пяти различных атак. Их реализации взяты из двух библиотек.

Для демонстрации использовалась база данных MNIST, которая содержит 60 000 образцов рукописных цифр, и отобрали самые наглядные вредоносные примеры.

Число сверху – абсолютная величина максимального отклонения возмущения от оригинала. Под изображением три числа: максимальное отклонение, минимальное и среднее. В нижней строке – метка и вероятность.

Исследование показало, что проблема с безопасностью моделей ML, основанных на нейросетях, действительно есть. Нейросеть может «с уверенностью» выдать некорректный результат при совсем небольших изменениях в картинке или других входных данных — настолько незначительных, что человек их вряд ли заметит.

Так, картинка слева — исходный пример, в котором нейросеть уверенно распознаёт цифру «4». Посередине — неудачный вредоносный пример. Изображение заметно искажено, однако нейросеть всё равно распознаёт четвёрку. Справа — работающий вредоносный пример. Он визуально неотличим от предыдущего, но здесь уже преодолён порог возмущений, за которым нейросеть теряется и выдаёт неверный результат распознавания. В данном случае вместо «4» она распознаёт «7». В примере выше человек уверенно различает цифру «4» на любой из трёх картинок, но исходные изображения не всегда бывают достаточно чёткими.

Например, на следующей картинке недописанный ноль может зрительно восприниматься как цифра «6» — вопрос в том, куда мысленно продолжить линию. Нейросеть тоже не уверена: она показывает низкую вероятность, но правильно распознаёт ноль на изображении. Чтобы заставить ИНС ошибиться, нужно изменить всего несколько пикселей. При этом величина вносимого возмущения будет порядка 1/256, что соответствует величине цветового разрешения.

Нейросеть далеко не всегда удаётся обмануть так просто. В случае уверенного распознавания объекта придётся сгенерировать и проверить множество вредоносных примеров, прежде чем удастся найти рабочий. При этом он может быть практически бесполезным, так как вносит слишком сильные возмущения, заметные невооружённым глазом.

Для иллюстрации в «Криптонит» взали наиболее легко распознаваемую цифру «9» из тестового набора и показали некоторые получившиеся вредоносные примеры. На иллюстрации видно, что в 8 случаях из 12 построить вредоносные примеры не удалось. В остальных четырёх случаях исследователи обманули нейросеть, но эти примеры получились слишком зашумлёнными. Такой результат связан с уверенностью модели в классификации исходного примера и со значениями параметров различных методов.

В целом эксперимент показал ожидаемые результаты^[15]: чем проще изменения, которые вносятся в изображение, тем меньше они влияют на работу ИНС. Следует подчеркнуть, что «простота» вносимых изменений относительна: это может быть и десяток пикселей, но вот догадаться, каких именно, и как их нужно изменить — сложная задача. Нет такого гвоздя, на котором полностью держится результат классификации CNN: в общем случае нельзя изменить один пиксель так, чтобы ИНС ошиблась.

Методы PGD, BIM, FGSM, CW, DeepFool оказались самыми эффективными для сценария «белый ящик». Вне зависимости от реализации, они позволяют провести удачную атаку с вероятностью 100%, однако их применение подразумевает наличие полной информации о модели ML.

Методы Square Attack, HopSkipJump, Few-Pixel, Spatial Transformation предполагают наличие информации об архитектуре модели. Были получены единичные удачные примеры атак, но практическое использование этих методов не представляется возможным. Возможно, ситуация изменится в будущем, если появятся достаточно эффективные реализации, стимулирующие интерес исследователей к этим методам.

Все рассмотренные методы «чёрного ящика» используют уровень достоверности, возвращаемый нейронной сетью. Если хотя бы немного понизить точность возвращаемого уровня достоверности, то (и без того невысокая) эффективность методов упадёт многократно.

Администрация президента США выпустила 5 положений о защите людей от ИИ

7 октября 2022 года Управление по научно-технической политике (OSTP) Белого дома выпустило пять положений, которыми следует руководствоваться при разработке, использовании и внедрении автоматизированных систем. Документ подготовлен на фоне того, как по мере развития искусственного интеллекта все больше голосов присоединяются к призыву принять меры по защите людей от этой технологии. Опасность, по мнению экспертов, заключается в том, что нейросети легко становятся предвзятыми, неэтичными и опасными.

• Безопасные и эффективные системы

Пользователь должен быть защищен от небезопасных или неэффективных систем. Автоматизированные системы должны разрабатываться на основе консультаций с различными сообществами, заинтересованными сторонами и экспертами в данной области для определения проблем, рисков и потенциального воздействия системы. Системы должны проходить тестирование перед развертыванием для выявления и снижения рисков, а также постоянный мониторинг, который продемонстрирует их безопасность и эффективность.

• Защита от алгоритмической дискриминации

Пользователь не должны сталкиваться с дискриминацией со стороны алгоритмов, а системы должны использоваться и разрабатываться на принципах равноправия. В зависимости от конкретных обстоятельств, алгоритмическая дискриминация может нарушать правовую защиту. Проектировщики, разработчики и специалисты по внедрению автоматизированных систем должны принимать проактивные и последовательные меры для защиты отдельных лиц и сообществ от алгоритмической дискриминации, а также для использования и проектирования систем на основе равноправия.

• Конфиденциальность данных

Пользователь должен быть защищен от неправомерного использования данных с помощью встроенных средств защиты, и он должен иметь право распоряжаться тем, как используются данные о нем. Проектировщики, разработчики и специалисты по внедрению автоматизированных систем должны запрашивать у пользователя разрешение и уважать его решения относительно сбора, использования, доступа, передачи и удаления его данных соответствующими способами и в максимально возможной степени; если это невозможно, следует использовать альтернативные средства защиты конфиденциальности на основе дизайна.

• Уведомление и разъяснение

Пользователь должен знать, что автоматизированная система используется, и понимать, как и почему она способствует достижению результатов, которые влияют на него. Проектировщики, разработчики и специалисты по внедрению автоматизированных систем должны предоставлять общедоступную документацию на простом языке, включающую четкое описание общего функционирования системы и роли, которую играет автоматизация, уведомление о том, что такие системы используются, о лице или организации, ответственной за систему, и объяснение результатов, которое должно быть четким, своевременным и доступным.

• Альтернативы для человека, принятие решений и запасной вариант

Пользователь должен иметь возможность отказаться от услуг, где это необходимо, и иметь доступ к специалисту, который может быстро рассмотреть и устранить возникшие проблемы. Пользователь должен иметь возможность отказаться от автоматизированных систем в пользу человеческой альтернативы, где это уместно.^[16]

Бывший глава Google Эрик Шмидт создаёт фонд для решения "ключевых" проблем ИИ и его предвзятости

16 февраля 2022 года появилась информация о том, что бывший исполнительный директор Google Эрик Шмидт (Eric Schmidt) объявил о создании благотворительного фонда с общим капиталом 125 млн долларов, который будет оказывать содействие исследованиям в сфере искусственного интеллекта. Речь, в первую очередь, идёт об исследованиях, направленных на решение кардинальных проблем, проявляющихся при использовании технологий искусственного интеллекта, в том числе предвзятости (феномен AI bias - прим. TAdviser), возможности причинения вреда и злоупотреблений. В списке значатся также геополитические конфликты и научная ограниченность самой технологии. Подробнее здесь.

2019: Сексизм и шовинизм искусственного интеллекта. Почему так сложно его побороть?

В основе всего того, что является практикой ИИ (машинный перевод, распознавание речи, обработка текстов на естественных языках, компьютерное зрение, автоматизация вождения автомобилей и многое другое) лежит глубинное обучение. Это подмножество машинного обучения, отличающееся использованием моделей нейронных сетей, о которых можно сказать, что они имитируют работу мозга, поэтому их с натяжкой можно отнести к ИИ. Любая модель нейронной сети обучается на больших наборах данных, таким образом, она обретает некоторые «навыки», но то, как она ими пользуется - для создателей остается не ясным, что в конечном счете становится одной из важнейших проблем для многих приложений глубинного обучения. Причина в том, что такая модель работает с образами формально, без какого-либо понимания того, что она делает. Является ли такая система ИИ и можно ли доверять системам, построенным на основе машинного обучения? Значение ответа на последний вопрос выходит за пределы научных лабораторий. Поэтому заметно обострилось внимание средств массовой информации к явлению, получившему название AI bias. Его можно перевести как «необъективность ИИ» или «пристрастность ИИ». Подробнее здесь.

2017: Риск уничтожения человечества

Британский ученый Стивен Хокинг часто высказывался о развитии искусственного интеллекта (ИИ) как о реальной причине возможного уничтожения человеческого рода.

В апреле 2017 года Стивен Хокинг в ходе видеоконференции в Пекине, состоявшейся в рамках Глобальной конференции мобильного интернета, заявил:

"Развитие искусственного интеллекта может стать как наиболее позитивным, так и самым страшным фактором для человечества. Мы должны осознавать опасность, которую он собой представляет", - подчеркнул он^[17].

Как рассказал ученый в своем интервью изданию Wired в конце ноября 2017 года, он опасается того, что ИИ может в целом заменить людей.

По словам самого Хокинга, люди могут создать слишком мощный искусственный интеллект, который будет чрезвычайно хорош в достижении своих целей. И если эти цели не будут совпадать с человеческими, то у людей будут проблемы, считает ученый. Подробнее здесь

Примечания