Денис Прилепский, эксперт по ИТ-архитектуре: «Объяснимость ИИ — это не этика ради этики, а вопрос доверия и выживания бизнеса»

𝓲

Фото: Личный архив Дениса Прилепского

Денис Прилепский более 12 лет занимается цифровой трансформацией бизнеса. Специализируясь на архитектуре предприятий и оптимизации ИТ-процессов, он помогает компаниям не только адаптироваться к изменениям, но и использовать технологические сдвиги как точку роста. Как практик, работающий на стыке стратегии, технологий и организационного дизайна, Денис чётко видит как потенциал, так и риски нового этапа развития ИИ. Он уверен: путь к устойчивому цифровому будущему невозможен без прозрачности, справедливости и ответственности алгоритмических систем.

В этом интервью Денис объясняет, почему этичный подход к данным и алгоритмам становится ключевым условием ведения бизнеса, делится практическими методами внедрения Explainable AI и описывает, каким будет технологический стандарт зрелых организаций в ближайшие годы.

У вас большой опыт в сфере цифровой трансформации. Как вы определяете цифровую этику, и какие её ключевые принципы особенно важны для бизнеса?

Я бы сказал, что цифровая этика это совокупность моральных принципов и норм, которыми мы руководствуемся при создании и использовании цифровых технологий. Проще говоря, цифровая этика отвечает на вопрос, насколько ответственны и честны мы в том, как применяем данные, алгоритмы и ИИ в бизнесе. В эпоху цифровой трансформации это стало неотъемлемой частью стратегии - технологии должны внедряться так, чтобы не подорвать доверие клиентов и сотрудников, а укрепить его. Компании сегодня думают не только о функциональности решений, но и о том, соответствуют ли эти решения ценностям общества и законам.

В бизнес-контексте ключевые принципы цифровой этики выглядят следующим образом:

• Прозрачность. Открытость в том, как работают цифровые решения и на чём основаны их выводы. Если алгоритм принимает решение, организация должна быть готова объяснить пользователям и регуляторам, по каким причинам оно было принято
• Справедливость. Недопущение алгоритмической предвзятости и дискриминации. Модели ИИ должны обеспечивать равные условия для разных групп людей. Бизнес обязан контролировать, чтобы решения на базе ИИ не ущемляли чьих-либо прав и не воспроизводили социальную несправедливость.
• Конфиденциальность. Ответственное обращение с данными пользователей. В эпоху больших данных особенно важно уважать приватность: защищать персональную информацию клиентов, собирать и использовать данные прозрачно и с согласия, не выходить за рамки оговоренных целей.
• Ответственность. Готовность компании нести ответственность за результаты работы своих цифровых систем. Это предполагает внутренний контроль и аудит алгоритмов, готовность исправлять ошибки и компенсировать ущерб, если технология дала сбой или приняла неверное решение. Никто не должен скрываться за «черным ящиком» ИИ - за каждым алгоритмом стоят люди, которые отвечают за его применение.

На практике это значит, что при запуске любого AI-продукта компания думает не только о прибыли, но и о доверии и долгосрочной репутации. Например, если финтех-сервис внедряет ИИ для скоринга заемщиков, он должен проверить модель на отсутствие скрытой предвзятости, чтобы та не дискриминировала клиентов по признаку пола или адреса. Также необходимо обеспечить прозрачность: быть потенциально готовыми объяснить каждому клиенту причину отказа или одобрения кредита понятным языком. И, конечно, важна защита данных - финансовая информация клиентов должна храниться безопасно и конфиденциально. Соблюдение этих принципов напрямую влияет на репутацию и лояльность: на конкурентном рынке пользователи предпочтут компанию, которая открыто и уважительно относится к ним и к их данным.Импортозамещение ПО в России: ключевые поставщики, крупные проекты, оценки и перспективы. Обзор TAdviser 33.8 т

Что такое Explainable AI (XAI) в вашем понимании? Почему прозрачность алгоритмов так важна в корпоративной среде?

Explainable AI, или объяснимый искусственный интеллект - это подход и набор методов, позволяющих сделать работу алгоритмов более понятной для человека. XAI старается превратить «черный ящик» модели в «прозрачный ящик». Речь не о том, чтобы показать каждую строчку кода широкой публике, а о способности алгоритма пояснить, на основании чего он вынес то или иное решение. Проще говоря, XAI дает человеку внятное объяснение результатов работы ИИ: какие факторы повлияли на прогноз, почему система выбрала именно этот вариант. Это особенно актуально для сложных моделей вроде нейросетей, где логика вывода не очевидна - XAI призван эту логику высветить.

Прозрачность алгоритмов критически важна в корпоративной среде по нескольким причинам. Прежде всего, она формирует доверие: и сотрудники, и клиенты больше доверяют системе, если понимают, как она работает. Внутри компании объяснимость помогает преодолеть скепсис к новым технологиям, так как люди склонны пользоваться тем инструментом, чью логику они могут проследить, особенно когда речь о решениях, влияющих на бизнес. Кроме того, прозрачность часто продиктована регуляторами. В финансах во многих странах уже есть требования объяснять решения алгоритмов: банк обязан сообщить клиенту, почему ему отказали в кредите, даже если решение принимал ИИ. Без понятной причины отказа компания рискует столкнуться с претензиями надзорных органов и потерей репутации. Также объяснимость повышает качество самих моделей: понимая, на каких факторах основаны предсказания, разработчики и аналитики могут вовремя заметить ошибки или смещения данных и улучшить модель. Наконец, прозрачность поддерживает культуру ответственности в организации - менеджмент не снимает вины на безликий алгоритм, а контролирует работу ИИ так же, как работу человека, понимая логику действий системы.

Представьте, что система ИИ в банке отклоняет заявку на кредит без объяснения. Клиент в лучшем случае растерян, в худшем возмущён и уходит к конкурентам, потому что не понимает, в чём причина отказа. Но если банк может прозрачно объяснить (например, «решение основано на том, что запрошенная сумма слишком велика по сравнению с доходом»), клиент скорее отнесётся с пониманием, даже если слышит отказ. Для компании это не только выполнение норм законодательства, но и сохранение лояльности: прозрачные алгоритмы реже становятся поводом для скандала, а доверие со стороны пользователей выше. В итоге Explainable AI вносит в корпоративную среду предсказуемость и подотчётность, без которых сложно построить устойчивый цифровой бизнес.

Каковы ключевые вызовы при внедрении XAI в крупные организации с устоявшимися процессами и иерархиями?

Внедрение Explainable AI в крупной организации - нетривиальная задача. В больших компаниях уже налажены бизнес-процессы и выстроена иерархия, поэтому любые изменения требуют времени и усилий. Можно разработать прототип XAI в лаборатории, но интегрировать его в ежедневную работу корпорации мешает ряд факторов, как организационных, так и технических.

Ключевые вызовы, с которыми я сталкивался, следующие:

• Культурное сопротивление и инерция процессов. Сотрудники и руководители могут скептически относиться к новым подходам. В больших организациях люди привыкают доверять существующим системам и экспертизе, даже если эти системы непрозрачны. Появление XAI часто воспринимается как лишнее усложнение или даже угроза статус-кво. Например, некоторые могут опасаться, что прозрачность обнажит недостатки их работы или моделей. Потребуется изменение мышления и обучение, чтобы показать команде преимущества XAI и превратить скепсис в заинтересованность
• Техническая интеграция в легаси-среду. Корпоративный ИТ-ландшафт зачастую сложен: много устаревших (legacy) систем, разных платформ и данных. Внедрить модуль объяснимости или перестроить архитектуру моделей ради XAI бывает непросто. Это требует инвестиций, времени на доработку систем и тщательного тестирования, чтобы новые объясняющие компоненты не нарушили существующие процессы. Кроме того, XAI-инструменты сами по себе могут быть ресурсоёмкими, и нужно убедиться, что они масштабируются под нагрузки большой компании
• Компромисс между точностью и интерпретируемостью. Часто наиболее точные модели это «черные ящики» (например, глубокие нейросети или ансамбли). Добавление объяснимости может означать либо использование дополнительных вычислений, либо переход к более простым алгоритмам. Руководство, ориентированное на KPI, может быть не сразу согласно пожертвовать долей точности ради прозрачности. Нужно находить баланс - показывать, что чуть меньшая точность, но с объяснениями в итоге приносит больше пользы бизнесу: повышает доверие пользователей и упрощает соблюдение регламентов
• Дефицит компетенций. Explainable AI - относительно новая область знаний. Мало иметь одну-две программы для построения объяснений; важно, чтобы команда понимала, как правильно их применять и интерпретировать результаты. В крупных организациях может просто не быть специалистов с опытом XAI. Приходится вкладываться в обучение Data Science команды новым методам, привлекать экспертов по цифровой этике или консультантов. Это дополнительная нагрузка на обучение персонала и изменение сложившихся ролей
• Размытость ответственности и сложность координации. В больших иерархиях не всегда понятно, кто именно отвечает за внедрение XAI. Data science отдел разрабатывает модели, ИТ-архитекторы отвечают за системы, отдел комплаенс смотрит за соблюдением требований, бизнес-партнеры фокусируются на результатах. Объяснимость лежит на стыке этих областей. Если не назначить чётко ответственных и не наладить взаимодействие между подразделениями, инициатива XAI может «затеряться», так как каждый будет думать, что это забота кого-то другого. Преодоление этих барьеров требует поддержки на уровне топ-менеджмента и изменения структуры принятия решений

Чтобы внедрить XAI успешно, важно, чтобы топ-менеджмент ясно обозначил приоритет этичности и прозрачности и включил требования XAI в корпоративные стандарты и стратегии. Одновременно стоит начать с небольших пилотных проектов: показать на практике в одном отделе или процессе, как объяснимый ИИ приносит пользу. Например, реализовать XAI для одной модели и продемонстрировать, что объяснения помогли снизить количество ошибок или быстрее пройти проверку регулятора. Успешные кейсы снижают скептицизм и создают прецедент, к которому остальные могут присоединиться. Также нужно инвестировать в обучение и коммуникацию: рассказывать командам о лучших практиках, обмениваться опытом между подразделениями. Постепенно, шаг за шагом, XAI может быть встроен в стандартные процессы организации, но это эволюция, требующая времени и последовательности.

Как опыт работы с архитектурой ИТ-систем помогает вам интегрировать этику и прозрачность на уровне проектирования?

Опыт архитектора ИТ-систем очень помогает в интеграции этики и прозрачности с самого начала создания решений. Архитектор привык смотреть на систему комплексно и закладывать важные принципы на этапе планирования. В своей работе я стараюсь придерживаться подхода «этика по умолчанию» - аналогично тому, как в последние годы мы внедряем принцип «безопасность по умолчанию». То есть при проектировании новых цифровых сервисов я сразу думаю о потенциальных этических рисках и о том, как сделать систему прозрачной и надежной изнутри.

Конкретно это выглядит так: когда мы разрабатываем архитектуру очередного решения, в список требований наряду с бизнес-функциями и безопасностью включаются требования этические. Если проектируется система с использованием ИИ, я заранее предусматриваю механизмы Explainable AI. Например, мы можем заложить специальный модуль или сервис, который будет генерировать для важных решений понятные для человека пояснения. Или сразу решаем, что для определённых критичных функций лучше использовать более интерпретируемые алгоритмы, даже если они чуть менее производительны. Также на уровне архитектуры продумывается и конфиденциальность данных: минимизация собираемых персональных данных, анонимизация там, где это возможно, распределение прав доступа. По сути, архитектурные решения принимаются с оглядкой на вопросы «А можем ли мы потом объяснить, как это работает?» и «Не создаём ли мы здесь лазейку для неэтичного использования данных?». Такой подход позволяет технически воплотить принципы, которые иначе остались бы просто декларацией.

Мой бэкграунд в архитектуре помогает переводить абстрактные ценности в конкретный дизайн. Проектируя новый продукт, я думаю о том, как будет организован аудит алгоритмов: где поставить контрольные точки для проверки решений, какие логи записывать, какие метрики отслеживать. Например, в архитектуре системы кредитного скоринга мы можем сразу встроить компонент, который записывает причины отказа по каждому случаю, чтобы затем эти данные могли просматриваться службой качества или даже предоставляться клиентам. В результате компания получает решение, где этика и объяснимость не надстройка, а естественное свойство системы. Это упрощает и внедрение (не нужно потом переделывать половину системы, чтобы удовлетворить требованиям регулятора), и дальнейшую эксплуатацию - все знают, что система спроектирована с учётом необходимых норм.

Как ваш опыт в архитектуре ИТ-систем помогает учитывать вопросы этики и прозрачности уже на этапе проектирования решений?

Мой архитектурный опыт позволяет изначально, уже на стадии концепции и технического задания, учитывать вопросы этики и прозрачности. Ещё до начала разработки я вместе с командой задаюсь важными вопросами: соответствует ли задуманное решение нашим корпоративным ценностям и этическим принципам? Как используются данные в этом проекте и нет ли риска для конфиденциальности пользователей? Может ли алгоритм потенциально оказаться предвзятым и как мы это предотвратим? Такой предварительный «этический фильтр» влияет на сам проект: иногда на этапе обсуждения мы обнаруживаем, что какой-то подход нежелателен, или понимаем, какие дополнительные меры нужно заложить. По сути, этика становится частью технического задания, а не чем-то добавленным постфактум.

На этапе архитектурного дизайна я применяю подходы, похожие на оценку рисков в безопасности, только фокус смещён на этику. Мы проводим своего рода мозговой штурм по негативным сценариям: обсуждаем, что может пойти не так с точки зрения последствий для людей или компании. Например, задаёмся вопросом, а что если наша модель ИИ начнёт необъяснимо отказывать в услуге определённой группе клиентов — как мы это обнаружим и что будем делать? Рассматривая такие ситуации заранее, мы можем заложить необходимые решения: выбрать более интерпретируемый алгоритм, предусмотреть этап обязательного тестирования модели на справедливость, встроить XAI-инструменты для мониторинга. Это очень похоже на то, как архитекторы думают о сбоях и отказоустойчивости, только здесь мы думаем об этических «сбоях» и их профилактике.

Опыт архитектора учит работать на опережение, и в вопросах этики это особенно ценно. Ещё на этапе схем и чертежей системы мы отмечаем контрольные точки для будущего аудита ИИ, прописываем, кто будет отвечать за мониторинг этических метрик, какие логи писать для проверки корректности работы модели. Когда эти моменты учтены с самого начала, внедрение решения проходит гораздо более гладко. Не возникает ситуации, что за неделю до релиза внезапно обнаруживается несоответствие каким-то правилам или законам, и продукт срочно переделывается. Вместо этого этические требования ведут проект с первого дня, и все участники понимают, что и зачем мы делаем в плане прозрачности. Это экономит и время, и нервы, и в конечном счёте формирует более качественный, зрелый продукт.

Как вы объясняете руководству и нетехническим стейкхолдерам важность этичного подхода к ИИ и необходимости объяснимости моделей?

Когда я общаюсь с руководством компании, я стараюсь переводить тему этичного ИИ на язык бизнеса, рисков и возможностей. Топ-менеджмент лучше реагирует, если показать, как этика ИИ влияет на конкретные показатели. Я подчёркиваю, что этичный подход это не отвлечённая мораль, а фактор, который защищает репутацию и прибыль. Привожу примеры из отрасли: если алгоритм допускает дискриминацию, компанию ждут скандалы, штрафы и отток клиентов; если же мы встроим контроль и объяснимость, мы избегаем этих рисков и даже улучшаем отношения с регуляторами. Такой разговор сразу делает тему понятной с точки зрения управления рисками. Также напоминаю руководству, что устойчивый бизнес строится на доверии. Невозможно внедрять ИИ повсеместно, если ни сотрудники, ни клиенты ему не доверяют. А доверие появляется, когда всё прозрачно и под контролем. Таким образом, я позиционирую этичность ИИ как часть стратегического управления рисками и качества. Обычно после упоминания конкретных кейсов и возможных последствий (например, утраты репутации или судебных исков) руководство проникается идеей, что цифровая этика это щит, который оберегает бизнес в долгосрочной перспективе.

Нетехническим стейкхолдерам, будь то коллеги из бизнес-подразделений, маркетинга, HR или клиенты, я объясняю важность прозрачности на житейском языке. Избегаю узкоспециальных терминов и говорю через аналогии и понятные примеры. Например, сравниваю ИИ с новым сотрудником: если мы нанимаем человека, мы хотим, чтобы он действовал в рамках наших ценностей, отчитывался о проделанной работе и объяснял свои решения. С алгоритмом та же история: мы не можем просто запустить модель и «закрыть глаза», нужно понимать, почему она работает так, как работает. Также привожу наглядные примеры из их области. Для HR-отдела я, допустим, показываю, как алгоритм найма может быть необъяснимо предвзятым, и что это грозит компанией несправедливостью и упущенными талантами, но если сделать его объяснимым, HR сможет проверять, на каких критериях основан отбор, и доверять результату. Для отдела маркетинга могу привести пример рекомендационной системы, которая прозрачно показывает, почему она рекомендует тот или иной продукт клиенту, это повышает отклик, потому что продавцы понимают логику рекомендаций и могут лучше их использовать. Общий принцип: перевести важность XAI в плоскость их собственного опыта, показать, что объяснимость облегчает их работу и снижает риски в их зоне ответственности.

Иногда я использую небольшой эксперимент для убедительности. На одной встрече я показал руководителям два вывода модели: в первом случае алгоритм просто выдал результат `Клиенту отказано`, а во втором `Клиенту отказано, потому что недостаточная кредитная история`. И я спросил, какому из этих выводов они сами доверяют больше и готовы использовать в работе. Ответ был очевиден - все выбрали вариант с объяснением. Такой наглядный подход помогает закрепить идею: объяснимость это не абстрактное требование, а практическая необходимость, которая делает технологии понятными и приемлемыми для людей.

Какие инструменты или методы XAI - например, LIME, SHAP или интерпретируемые модели - вы считаете наиболее эффективными в бизнес-практике?

На практике существует целый арсенал инструментов XAI, и каждый полезен в своём контексте. В работе я обычно комбинирую подходы, но могу выделить несколько методов, которые особенно эффективно зарекомендовали себя в бизнес-среде:

• LIME (Local Interpretable Model-Agnostic Explanations) - метод локальных интерпретаций. Проще говоря, LIME помогает понять, почему модель приняла решение в конкретном случае. Он берет один прогноз и пробует слегка менять входные данные, отслеживая, как это повлияет на результат. В итоге мы получаем набор наиболее значимых факторов для этой единичной предсказанной ситуации. LIME хорош, когда нужно объяснить отдельный кейс клиенту или проверить модель на адекватность в частных примерах. Например, аналитик может выбрать одну транзакцию, помеченную как подозрительную, и увидеть, какие именно признаки (сумма, локация, время) сильнее всего повлияли на такое решение системы. Это интуитивно понятно и позволяет «копнуть» внутрь работы модели точечно
• SHAP (SHapley Additive exPlanations) - метод объяснений на основе ценностей Шепли из теории игр. SHAP показывает вклад каждого признака (фактора) в конечный результат модели, причём делает это в понятной количественной форме. Его сила в том, что объяснения аддитивны: вклады признаков суммируются до разницы между предсказанием и базовым уровнем. В бизнес-практике SHAP ценен тем, что даёт как локальные объяснения (для одного прогнозa), так и глобальную картину влияния факторов. Мы часто строим с помощью SHAP визуализации для руководства: например, диаграммы, показывающие, на сколько баллов каждый фактор повышает или понижает кредитный рейтинг клиента. Даже нетехнические специалисты воспринимают такие графики - по сути, это понятный разбор «из чего сложилось решение» в процентах или баллах. Кроме того, анализ множества предсказаний через SHAP позволяет выявить общие тенденции: например, убедиться, что модель решения по кредитам в целом опирается на понятные вещи (доход, кредитная история) и не учитывает лишних или дискриминационных признаков
• Интерпретируемые модели - иногда самым эффективным средством XAI является изначально простой и прозрачный алгоритм. В ряде задач мы можем вовсе избежать сложных «черных ящиков». К примеру, заменить глубокую нейросеть на решающее дерево или регрессионную модель, где логика прослеживается человеком. В банковской сфере до сих пор популярны скоринговые карты и деревья решений для кредитного скоринга - именно потому, что их можно легко объяснить заемщику и регулятору. Интерпретируемые модели хороши тем, что объяснение заложено в них изначально: каждое правило или коэффициент понятны специалисту. Конечно, бывает, что за эту простоту платишь небольшой потерей точности, но в критичных для репутации случаях бизнес готов на такой компромисс. Я всегда оцениваю: если простая модель дает результат близкий к сложной, лучше взять простую - так команда и стейкхолдеры будут чувствовать себя увереннее, понимая, как работает алгоритм

В реальных проектах часто используют комбинацию методов. Например, можно оставить мощную градиентную бустинг-модель для точности, но поверх нее применять SHAP для объяснения результатов каждому клиенту или аудитору. Другой сценарий: на этапе прототипа сравнить сложную модель с интерпретируемой: если разница в качестве невелика, выбрать интерпретируемую как более прозрачную. Также существуют открытые библиотеки (от крупных вендоров и сообществ) с реализациями LIME, SHAP и других XAI-инструментов, что облегчает их внедрение. Главное критерий эффективности в бизнес-практике - инструмент должен давать понятный и надежный результат, который можно без искажений донести до человека. С этой точки зрения названные методы зарекомендовали себя хорошо - они относительно просты в использовании и уже испытаны на многих кейсах.

Как должен выглядеть процесс аудита ИИ-моделей в больших организациях? Кто должен нести ответственность за их этичность?

Процесс аудита моделей ИИ в крупной организации должен быть столь же тщательным и регламентированным, как, скажем, финансовый аудит или аудит безопасности. Цель аудита - убедиться, что каждая модель не только выполняет свои функциональные задачи, но и делает это корректно, без дискриминации, с соблюдением всех требований (как внутренних политик, так и законов). Причём аудит это не разовое мероприятие при внедрении; он должен сопровождать модель на всём её жизненном цикле. Грубо говоря, у ответственного предприятия любой алгоритм проходит путь от проверки перед запуском до постоянного мониторинга и периодических переоценок.

Типовой процесс мог бы включать несколько этапов:

1. Идентификация и документация моделей. Компания должна вести реестр всех своих значимых алгоритмов и моделей ИИ. По каждой модели собирается «паспорт»: цели использования, разработчики, используемые данные, версия алгоритма, даты обучения и внедрения, и прочая важная информация. Такая документация позволяет понимать контекст модели и служит отправной точкой для аудита
2. Проверки перед внедрением. Прежде чем модель попадёт в продуктивную среду, она проходит серию тестов. Проверяется точность и стабильность работы на отложенных выборках данных. Обязательно оцениваются этические аспекты: например, тест на отсутствие явных предвзятостей (bias) - модель прогоняется на различных сегментах пользователей, чтобы убедиться, что её качество одинаково высоко для всех групп и нет систематического перекоса. Проверяется, что используются только разрешённые и нужные данные (соблюдение политики конфиденциальности). Нередко в больших организациях предусмотрена независимая валидация: отдельная команда, не участвовавшая в разработке, проверяет модель и даёт заключение
3. Кросс-функциональное одобрение. Решение о том, чтобы дать модели «зелёный свет», должно приниматься коллегиально. Создается комитет или совет, куда входят представители разных департаментов: ИТ, data science, риск-менеджмент, юридический отдел, бизнес-подразделение. Они совместно рассматривают результаты всех проверок и оценивают модель с разных сторон. Только если ни у кого нет серьёзных возражений (с точки зрения рисков, этики, регуляторки), модель утверждается к внедрению. Такой этап гарантирует, что взгляд на ИИ-модель не замкнут в узкой технической группе, а учтены все возможные последствия для бизнеса
4. Мониторинг в продакшене. После запуска модели крайне важно организовать непрерывный мониторинг её работы. Определяются метрики и показатели, за которыми следят на регулярной основе: точность прогнозов со временем, число ошибок или спорных решений, производительность, и т.д. Особое внимание уделяется дрифтам: если статистика входных данных меняется или эффективность модели падает на какой-то группе клиентов, это сразу должно быть замечено. Также собираются и анализируются случаи, когда модель, например, дала неожиданный результат или вызвала жалобу клиента. Мониторинг позволяет своевременно выявлять проблемы — будь то технический сбой или новый вид предвзятости — и реагировать, не дожидаясь крупного инцидента
5. Периодический аудит и пересмотр. Помимо постоянного мониторинга, на регулярной основе (например, раз в год, или чаще для критичных алгоритмов) проводятся плановые аудиты модели. Состав аудит-группы может включать внутренних аудиторов компании или внешних экспертов для независимости оценки. Они проверяют, выполняет ли модель свои задачи, не деградировала ли со временем, соблюдает ли по-прежнему все этические и нормативные критерии. По итогам составляется отчёт с выводами и рекомендациями: возможно, модель нуждается в дообучении на новых данных, или её пора заменить более актуальной версией, или добавить новые контрольные ограничения. Такой пересмотр не даёт системе «дрейфовать» в нежелательную сторону и удерживает ИИ в рамках изначально заданных ценностей и требований
   

Что касается ответственности за этичность ИИ, в больших организациях её несут сразу несколько ролей. Во-первых, должна существовать структура управления ИИ (AI Governance). Это может быть комитет или рабочая группа, куда входят представители разных подразделений: эксперты по данным и ИИ, ИТ-архитекторы, специалисты по информационной безопасности, по юридическим вопросам, по рискам, а также бизнес-лидеры, чьи направления пользуются ИИ. Такая группа на уровне корпоративной политики отвечает за выработку правил обращения с AI (что-то вроде внутренних «этических руководств»), а также за контроль соблюдения этих правил. Во-вторых, ответственность закрепляется и на уровне отдельных продуктов: у каждой модели обычно назначается владелец - менеджер или подразделение, которые инициировали её внедрение и лучше всех понимают её назначение. Этот владелец отвечает за результаты работы модели перед руководством и следит, чтобы команда поддержки модели выполняла все необходимые проверки. Наконец, высшее руководство компании тоже вовлечено: как и за любой процесс, за использование ИИ отвечает CEO и совет директоров. Именно от них идёт сигнал о важности этического подхода, они утверждают бюджеты и планы по управлению рисками ИИ. В последние годы в некоторых компаниях появляются специальные должности, такие как офицер по цифровой этике (Digital Ethics Officer) или Chief AI Officer. Этот человек на уровне top-management фокусируется на вопросах ответственного применения данных и алгоритмов, координирует усилия разных команд и отчитывается перед правлением о состоянии дел. В высокорегулируемых отраслях такие роли уже становятся нормой. В итоге ответственность распределяется по нескольким уровням: операционным (разработчики и аналитики, которые создают модели, должны делать это этично), управленческим (комитеты и руководители направлений контролируют применение моделей) и стратегическим (директора, определяющие общую политику). Только при такой коллективной ответственности и многоуровневом контроле аудит и этика в ИИ действительно работают эффективно.

Как вы видите будущее роли Digital Ethics Officers или AI Governance команд в компаниях - будет ли это стандартом или только прерогативой высоко регулируемых отраслей?

Мне кажется, такие роли со временем станут стандартом в большинстве крупных компаний. Сейчас наличие Digital Ethics Officer или выделенной AI Governance-команды чаще встречается в высоко регулируемых сферах - финансах, здравоохранении, государственном секторе. Это логично: там и риски от неправильного использования ИИ выше, и контроль со стороны государства строже. Но мы уже наблюдаем, что и в относительно свободных от прямого регулирования индустриях (ритейл, телеком, технологические компании) появляется запрос на этичность и прозрачность. Общество в целом стало больше интересоваться, как работают алгоритмы, которые влияют на их жизнь, и это давление распространяется на бизнес. Поэтому, на мой взгляд, через несколько лет наличие отделов или ответственных лиц по цифровой этике будет таким же привычным, как, например, отдел информационной безопасности или комплаенс.

Формат реализации, конечно, может различаться. В одних фирмах появится отдельный директор по этике цифровых технологий, сидящий в правлении. В других компаниях функцию возьмет на себя существующий отдел, например, дирекция по рискам расширит свои обязанности на контроль AI, или отдел качества и стандартизации будет отслеживать еще и этические стандарты в ИИ. Возможно, в среднем бизнесе не сразу выделят отдельную штатную единицу под это, а начнут с внутренних политик и комитетов по совместительству. Но ключевое вектор в том, что осознание важности цифровой этики растёт. Я ожидаю, что через 3-5 лет наличие команды или ответственного по AI-этике станет таким же обыденным требованием, как наличие службы информационной безопасности. Этого будут ожидать и клиенты, и партнёры, и инвесторы. Проще говоря, для компаний ответственное отношение к данным и алгоритмам перестанет быть конкурентным преимуществом, а превратится в базовый стандарт рынка. Кто не будет ему следовать, рискует отстать и потерять доверие аудитории. Таким образом, роли, связанные с digital ethics и AI governance, со временем станут неотъемлемой частью корпоративной структуры практически во всех отраслях, а не только в наиболее регулируемых.

Автор: Дмитрий Каминский