Министерство обороны США (Пентагон) (TensorFlow)
 
Проект

Google запретила разработку искусственного интеллекта для оружия

Заказчики: Министерство обороны США (Пентагон)

Вашингтон; Государственные и социальные структуры

Подрядчики: Google
Продукт: TensorFlow
На базе: Искусственный интеллект (ИИ, Artificial intelligence, AI)

Дата проекта: 2018/03

2018

Google запретила разработку искусственного интеллекта для оружия

7 июня 2018 года Google опубликовала свод правил работы над искусственным интеллектом. Одно из них заключается в запрете разработке таких технологий для оружия.

По словам генерального директора Google Сундара Пичаи, компания не будет заниматься созданием ИИ-систем в военных и других целях, способных нанести вред обществу и нарушить права человека и международные правовые нормы.

Google не будет разрабатывать искусственный интеллект для использования в вооружениях
«
Мы хотим внести ясность в то, что, хотя мы не разрабатываем искусственный интеллект для использования в вооружениях, мы продолжаем нашу работу с правительствами и военными во многих других областях. Среди них — кибербезопасность, обучение, призыв на военную службу, здравоохранение для ветеранов, а также поисково-спасательные операции, — заявил Пичаи.
»

Он отметил, что все разработки должны приносить пользу обществу и обеспечивать безопасность людей, а искусственный интеллект должен оставаться под человеческим контролем.

В новых принципах работы компании говорится, что исследования в сфере искусственного интеллекта будут проводиться Google со всей ответственностью. Специалисты компании не будут заниматься созданием ИИ для «потенциально опасных» проектов.

Google также призвала сотрудников и клиентов разрабатывать искусственный интеллект, в котором не было бы «несправедливого воздействия на людей», особенно в отношении расы, пола, сексуальной ориентации и политических или религиозных убеждений.

Обнародованные правила работы над искусственным интеллектом создавались комитетом из девяти сотрудников Google. Представитель компании в разговоре с Reuters назвал документ шаблоном, который может использовать любой разработчик программного обеспечения. Хотя Microsoft и другие крупные участники рынка ранее выпустили свод принципов в области ИИ, сообщество разработчиков таких технологий внимательно следило за работой Google из-за скандального проекта с Пентагоном, отмечает информагентство.[1]

Расторжение сделки с Пентагоном

В начале июня 2018 года стало известно об отказе Google выполнять заказ Пентагона на разработку технологии искусственного интеллекта. Компания решила прекратить сотрудничество с американским министерством обороны из-за недовольства сотрудников.

Текущий контракт между Google и Пентагоном истекает в марте 2019 года, и компания не станет продлевать договор. О решении корпорации объявила руководитель облачных подразделения Google Дайан Грин.

Google отказалась улучшать военные беспилотники США

Google придавала большое значение этому проекту и финансовым перспективам, поскольку его бюджет должен был в итоге достигнуть $250 млн, пишет Gizmodo.

Как отмечается, решение о расторжении сделки с военным ведомством вызвано резким недовольством сотрудников Google, которые не захотели участвовать в проекте по разработке искусственного интеллекта, который может быть использован в военных целях. Тысячи работников подписали петицию против этого проекта, предполагающего разработку ИИ-системы анализа изображения для дальнейшей корректировки целей ударов беспилотников. Из-за этого конфликта некоторые сотрудники компании решили уволиться.

«
Они боялись, что это был бы первый шаг к использованию искусственного интеллекта для убийства людей, — передает BBC.
»

По сообщению Gizmodo, руководители Google не хотели разглашать информацию о том, как протекает сотрудничество с Пентагоном, и не собирались упоминать искусственный интеллект в PR-кампании проекта. В корпорации опасались, что пресса начнет распространять некорректную информацию, будто бы Google тайно создает оружие для военных целей.[2]

В работе над проектом Google столкнулась с проблемой: компании нужно было использовать данные, собираемые военными беспилотными летательными аппаратами, для развития модели машинного обучения. Однако у компании не было разрешения правительства на хранения таких сведений в облаке. Пентагон помог Google в марте 2018 году пройти процедуру сертификации на соответствии облачных сервисов государственным стандартам.

Сотрудники Google увольняются из-за сотрудничества с Пентагоном

В мае 2018 года стало известно об уходе из Google сотрудников из-за недовольства сотрудничеством компании с американским министерством обороны в области разработки искусственного интеллекта для военных беспилотных летательных аппаратов (БПЛА).

Работающие в Google люди утверждают, что анализом изображений в военных операциях должны заниматься люди, а не алгоритмы, поскольку ошибка компьютера может стать смертельно опасной. Компания парирует тем, что соответствующее программное обеспечение, которое используется в проекте Пентагона, является открытым, то есть военные могут использовать его и без участия Google. 

Работники бегут из Google в знак протеста против сотрудничества с минобороны США

Как пишет Gizmodo со ссылкой на свои источники в Google, около 10 работников из различных подразделений компании подали заявления об увольнении. Их решение обусловлено этическими причинами — персонал против использования ИИ в беспилотной войне и опасается, что контракт с Пентагоном подорвет доверие пользователей к Google.

Ряд сотрудников Google рассказали изданию, что их также беспокоило руководство, которое стало менее прозрачным при принятии спорных решений в бизнесе и меньше прислушиваться к возражениям сотрудников.

«
Я пытался напоминать себе, что решения Google — это не мои решения. Я не несу личной ответственности за все, что они делают. Но я чувствую ответственность, когда вижу что-то, что я должен развивать, — рассказал один из уволившихся служащих Google.
»

«
В какой-то момент я понял, что не могу искренне рекомендовать кому-либо работать в Google, зная то, что знаю я. Я понял, что если не могу рекомендовать людям присоединиться к компании, то почему я все еще здесь? — задался вопросом другой сотрудник компании, который также уволился.
»

Издание называет первым этот массовый уход работников Google, когда причиной увольнений по собственному желанию является решение руководства компании. Представители Google воздержались от комментариев.[3]

Протест сотрудников Google

В начале апреля 2018 года сотрудники Google выразили протест против выполнения компанией заказа Пентагона на разработке технологии искусственного интеллекта (ИИ) для беспилотных летательных аппаратов (БПЛА).

В распоряжение газеты The New York Times (NYT) попало коллективное письмо, подписанное персоналом Google в знак протеста против участия компании в проекте американского министерства обороны США. Послание руководству подписали более 3100 работников Google, среди которых — ведущие инженеры.

Сотрудники Google протестуют против ИИ-проекта с Пентагоном
«
Мы считаем, что Google не следует заниматься военным бизнесом. Поэтому мы просим аннулировать Project Maven, а также подготовить, опубликовать и обеспечить выполнение ясной и точной политики, согласно которой, Google и его подрядчики никогда не будут создавать боевые технологии, — говорится в петиции.
»

Издание отмечает, что возмущение сотрудников Google отражает культурологический конфликт между компаниями и федеральным правительством США по вопросу целесообразности применения ИИ в военных целях. Речь идет о программном обеспечении с ИИ-алгоритмами, которое повысит точность наведения дронов боевого назначения.

Google входит в холдинг Alphabet, в котором к началу апреля 2018 года работает около 70 тыс. человек. По поводу протеста служащих в Google сделали следующее заявление:

«
Мы знаем, что есть много открытых вопросов, связанных с использованием новых технологий, поэтому эти разговоры с сотрудниками и внешними экспертами чрезвычайно важны и полезны.
»

В Google также отмечают, что создаваемая для Пентагона технология имеет «неагрессивную» природу и не приведет к разработке каких-либо автономных боевых систем. Компания давно работает под девизом «Не будь злым», а участие в оборонном подряде создало что-то вроде внутреннего раскола в Google, отмечает NYT.[4]

Начало проекта

В марте 2018 года стало известно о том, что американское министерство обороны привлекло Google к разработке программного обеспечения с искусственным интеллектом для анализа данных с беспилотных летательных аппаратов.

Как сообщает Bloomberg со ссылкой на представителя Google, для проекта с Пентагоном компания предоставила библиотеку API машинного обучения с открытым исходным кодом TensorFlow, чтобы обеспечить автоматическое определение объектов на основе неклассифицированных данных.

Пентагон нанял Google для разработки ИИ-программы для анализа данных с беспилотников
«
Технология маркирует изображения для просмотра человеком и предназначена только для оборонительных целей. Использование машинного обучения в военных целях вызывает логичные опасения. Мы активно обсуждаем эту важную тему как внутри компании, так и с другими, поскольку мы продолжаем развивать стратегии и меры безопасности вокруг разработки и использования наших технологий машинного обучения, — отметили в Google.
»

По данным издания Gizmodo, пилотный проект Google и минобороны США называется Maven. В его задачи входит распознавание 38 категорий объектов, заснятых военными дронами. Разработка должна в том числе следить за перемещением людей, когда они заходят или выходят из разных помещений.

Gizmodo пишет, что причиной обращения американского военного ведомства к технологическим компаниям стало то, что Пентагон не справляется с массивом данных, поступающих от дронов — в Пентагоне физически не успевают отсматривать материал. Министерство обороны Минобороны потратило значительные ресурсы на передовые технологии для сбора информации, но отстало в создании инструментов для ее анализа.

Bloomberg отмечает, что Google изменила своим принципам, поскольку прежде сильно ограничивала работу с военными. Некоторые сотрудники Google были возмущены предоставлением военным ресурсов компании для создания технологии наблюдения в операциях с участием дронов, добавляет Gizmodo.[5]

Примечания