ЦОДы Google

Продукт

Интернет-корпорация построила сеть дата-центров практически без использования аппаратных коммутаторов и маршрутизаторов от известных мировых брендов. Вместо этого Google в сотрудничестве с азиатскими производителями открытых серверов разработала программно-управляемое телеком-оборудование, которое позволило не только сэкономить, но и обеспечить большую гибкость сети.

Разработчики: Google
Технологии: Cloud Computing,  IaaS - Инфраструктура как услуга,  SDN Software-Defined Network Программно-определяемые сети,  ЦОД

Содержание

2019

Google инвестирует 600 млн евро в дата-центр на российской границе

27 мая 2019 года Google сообщила об инвестировании 600 млн евро в строительство нового дата-центра в финском городе Хамина, который располагается неподалёку от российской границы.

У Google уже есть ЦОД в Хамине. Он создан из бумажной фабрики, которую компания Stora Enso продала американской корпорации в 2009 году. На превращение предприятие в центр обработки данных Google потратила около 800 млн евро.

ЦОД Google в Хамине, который был построен в 2011 году
ЦОД Google в Хамине, который был построен в 2011 году

Google называет этот дата-центр одним из самых технически продвинутых и энергоэффективных в своей сети. Объект охлаждается за счёт морской воды из Финского залива, что позволило сократить потребление энергии.

Новый дата-центр в Хамине также расположится на территории бывшей бумажной фабрики. Ранее она принадлежала компании Summa.

Таким образом, общие инвестиции Google в Хамине составят 1,4 млрд евро. Секретарь Министерства экономики и занятости Яри Густафссон (Jari Gustafsson) назвал эти вложения «хорошей новостью и свидетельством стабильной и конкурентной среды». По его словам, выделяемые Google средства укрепляют цифровую среду Финляндии.

Глава муниципалитета Хамины Ханну Мухонен (Hannu Muhonen) также приветствовал инвестиционные планы Google и отметил, что они способствуют повышению привлекательности региона в целом.

«
Спрос на сервисы Google растёт с каждым днем, и мы создаём инфраструктуру ЦОДов, чтобы соответствовать этим потребностям. Это, в свою очередь, оказывает положительное влияние на финскую экономику, в том числе за счет создания рабочих мест, — заявил глава финского представительства Google Антти Ярвинен (Antti Jarvinen).
»

Помимо Финляндии, у Google есть дата-центры в других европейских странах, включая Голландию, Ирландию и Бельгию (по состоянию 27 мая 2019 года), отмечает информационное агентство Reuters.[1]

Google повысила производительность своих ветроэлектростанций на 20%

27 февраля 2019 года стало известно, что исследователи из лаборатории DeepMind научили нейросеть предсказывать производительность ветряков за 36 часов на основе ретроспективных данных об их производительности и погоде в определенной местности. По словам исследователей, использование такого алгоритма позволило улучшить производительность ветроэлектростанций компании Google на 20 процентов.

Ветроэлектростанции Google

Ветроэлектростанции — один из самых оптимальных и используемых способов альтернативной добычи энергии. Их работа сильно зависит от скорости ветра: ротор ветряка должен находиться на высоте с достаточно большой средней скоростью ветра (около 4,5 метра в секунду). Тем не менее, достоверно предсказать паттерн силы ветра в месте нахождения станции бывает сложно, из-за чего эффективность ее работы может быть снижена.

Разработчики из DeepMind (входит в холдинг Alphabet) предложили решить эту проблему с помощью алгоритма, который бы мог достоверно предсказать энергию, вырабатываемую ветроэлектростанцией в определенной области на основе имеющихся данных. Они натренировали нейросеть на данных о силе ветра в определенной области, погоде и энергии, которую вырабатывает определенный ветряк.

Предсказанная (синим) и реальная (серым) вырабатываемая энергия

С помощью этого алгоритм может предсказывать вырабатываемую станцией энергию за 36 часов. Это дает достаточно времени для того, чтобы оценить выработку и затрату энергии, а также предпринять меры, которые позволят сэкономить ресурсы для ее производства. Пока что использование алгоритма (исследователи сообщают, что тестируют его с 2018 года) помогло Google улучшить производительность их ветроэлектростанций на 20 процентов: в будущем компания планирует улучшать работу алгоритма, собирая данные[2].

2018

Google полностью автоматизировала процесс охлаждения своих ЦОДов

В августе 2018 года стало известно о полной автоматизации процесса охлаждения центров обработки данных Google. Благодаря этому компания смогла сократить потребление энергии на 30%, сообщает входящий в Google стартап DeepMind, который разработал новую систему управления.

Силами программистов DeepMind был создан новый алгоритм, который на основе информации, поступающей с нескольких тысяч датчиков, каждые пять минут оценивает систему охлаждения оборудования. В основу алгоритма положена нейросеть, которую обучили на данных, собранных за два года.

Google использует <!--LINK 0:30--> для охлаждения своих дата-центров
Google использует искусственный интеллект для охлаждения своих дата-центров

Технология прогнозирует наиболее эффективные параметры работы оборудования в дата-центрах, обеспечивая поддержание стабильной температуры и минимально возможное энергопотребление.

Google добилась экономии энергии в ЦОДах почти на 30% за два месяца после внедрения разработки DeepMind. Хотя система охлаждения дата-центров полностью автоматизирована, за ней следят специалисты, чтобы убедиться в стабильной работоспособности технологии и минимизировать риски перегрева или ошибки искусственного интеллекта.

В Google считают, что этот алгоритм может использоваться и в других областях, связанных с повышенным потреблением энергии.

DeepMind начала применять машинное обучение для того, чтобы снизить энергопотребление, в 2016 году. За счет использования нейросети компания смогла сделать дата-центры на 15% энергоэффективнее, а также уменьшить потребление энергии на 40%.[3]

«
Было удивительно видеть, что ИИ учится использовать зимние условия и снижает температуру воды, что, в свою очередь, уменьшает затраты энергии на охлаждение. Инструкции со временем не улучшаются, но ИИ совершенствуется, — отметил оператор одного из дата-центров Google Дэн Фойнфингер (Dan Fuenffinger).
»

На Google приходится почти половина выбросов CO2 от работы интернета

Как сообщило 7 мая 2018 года издание Quartz, сайт Google, обрабатывая около 3,5 млрд запросов в день, генерирует порядка 40% углеродных выбросов от работы всего интернета. Несмотря на то, что интернет "виртуален", фактически он полагается на миллионы физических серверов в центрах обработки данных по всему миру, которые связаны через подводные кабели, коммутаторы и маршрутизаторы. Большая часть источников энергии для работы этой инфраструктуры выделяют углекислый газ в воздух при сжигании топлива. Одно из исследований свидетельствует о том, что выбросы от интернет-активности сходны с теми, что генерирует глобальная авиационная промышленность.

Исследователь Джоана Молл (Joana Moll) создала визуализацию данных CO2GLE. Сервис использует данные интернет-трафика 2015 года и основывается на предположении, что Google.com обрабатывает приблизительно в среднем 47 тыс. запросов каждую секунду, что представляет собой предполагаемые 500 кг выбросов CO2 в секунду, или 0,01 кг за запрос. По словам Молл, цифры являются приблизительными.

Когда издание поделилось с Google данными, компания не оспорила расчеты. Представитель Google также сообщил, что предоставление одному пользователю одного месяца услуг создает примерно такое же количество выбросов парниковых газов, как и вождение автомобиля на одну милю, или примерно 360,7 грамма CO2, подсчитало издание.

Исследования Moll были сосредоточены на Google, но другие веб-сайты также способствуют углеродным выбросам. Например, Facebook сообщил, что его центры обработки данных и бизнес-операции в 2016 году привели к 718 000 метрических тонн выбросов CO2, что сопоставимо с годовой выработкой СО2 около 77 500 американских домов, работающих на электроэнергии.[4]

2017

Google — лидер по использованию энергии из возобновляемых источников

В 2017 году Google стала крупнейшим корпоративным покупателем энергии из возобновляемых источников в США. Интернет-гигант приобрел достаточно чистой энергии, чтобы обеспечить потребности всех своих дата-центров и подразделений в мире.

В 2017 году Google купила 3 гигаватта энергии от солнечных, ветровых электростанций и других объектов возобновляемой энергетики. В результате компания оказалась лидером среди американских корпораций по закупкам чистой энергии. Второе и третье места заняли Amazon и Apple, сообщает The Financial Times со ссылкой на данные Bloomberg New Energy Finance.

Google полностью перешла на возобновляемые источники энергии
Google полностью перешла на возобновляемые источники энергии

Благодаря контрактам Google солнечные и ветровые электростанции по всему миру получили от корпорации более $3 млрд, заявила глава по энергетической стратегии Google Неха Палмер (Neha Palmer).

«
Инвестиции в возобновляемые источники энергии целесообразны для нашего бизнеса, — сказала она, указывая на падающую стоимость ветровой и солнечной энергии. — Это долгосрочные контракты с фиксированными ценами, причем на некоторых рынках чистая энергия стоит столько же и даже дешевле электричества, полученного традиционным путем.
»

По словам Палмер, с момента ее прихода в Google шесть лет назад потребности корпорации в энергии ежегодно росли двузначными темпами, и такая динамика, вероятно, сохранится и дальше.

Поскольку ЦОД подключены к энергосети, напрямую снабжать их электричеством из возобновляемых источников, как правило, невозможно. По этой причине Google заключает контракты на поставку чистой энергии, а неизрасходованные излишки продает на локальных рынках.

Теперь, когда Google достигла своей цели и на 100% перешла на возобновляемые источники, компания сосредоточит усилия на обеспечении более прямого поступления чистой энергии в ЦОД. С этой целью планируется увеличить инвестиции в накопители энергии и лоббировать изменения в политике на рынке электроэнергии, добавила Палмер.[5]

Google полностью переходит на солнечную и ветровую энергию

Компания стала крупнейшим в мире корпоративным покупателем возобновляемой энергии, достигнув суммарной мощности 3 ГВт. Общие инвестиции Google в сферу чистой энергетики достигли $3,5 млрд, пишет в ноябре 2017 года Electrek[6].

Google официально переходит на стопроцентное использование солнечной и ветряной энергии. Компания подписала контракт с тремя ветровыми электростанциями: Avangrid в Южной Дакоте, EDF в Айове и GRDA в Оклахоме, суммарная мощность которых составляет 535 МВт. Теперь офисы Google по всему миру будут потреблять 3 ГВт возобновляемой энергии.

Общие инвестиции компании в сферу энергетики достигли $3,5 млрд, и 2/3 из них приходится на объекты в США. Такой интерес к "чистым" источникам связан, в первую очередь, с падением стоимости солнечной и ветряной энергии на 60-80% за последние годы.

Впервые Google подписал договор о сотрудничестве с солнечной фермой в Айове мощностью 114 МВт еще в 2010 году. К ноябрю 2016 года компания уже была участником 20 проектов по возобновляемой энергетике. Полностью перейти на энергию солнца и ветра она собиралась еще в декабре 2016 года. Сейчас Google самый крупный в мире корпоративный покупатель возобновляемой энергии.

2016: Как Google обошелся без оборудования Cisco и HP при создании всемирной сети ЦОД

Google запустил одну из самых крупных компьютерных сетей в мире, которая простирается от США до Финляндии и Тайваня. С ее помощью компания стремится предоставлять быстрые интернет-сервисы (поиск, Google Maps, YouTube и др.) огромному количеству людей в разных странах. Ирония заключается в том, что Google построил эту масштабную сеть без привлечения таких компаний, как Cisco, Dell, HP и IBM, которые поставляют оборудование для многих компьютерных сетей в мире, пишет издание Wired 27 января 2016 года[7].

За последние 15 лет сеть Google стала настолько большой, что компании уже не обойтись без более дешевого и эффективного способа ее построения. Традиционное оборудование слишком сложное и дорогое. Кроме того, им достаточно трудно управлять.

Именно поэтому Google в сотрудничестве с различными компаниями из Азии и других мест занялся производством собственных гибких продуктов, включая серверы и сетевые коммутаторы. Эти устройства используют собственное программное обеспечение Google, которое можно легко настраивать для решения определенных задач, что невозможно в случае с традиционными решениями.

Расположение дата-центров Google на карте мира к началу 2016 года, данные Google
Расположение дата-центров Google на карте мира к началу 2016 года, данные Google

Это было в стиле Google, однако идея нашла применение далеко за пределами компании, отмечает Wired. Социальная сеть Facebook, чья аудитория выросла до сотен миллионов людей, тоже создала собственное оборудование. Затем под эгидой некоммерческой инициативы Open Compute Project компания открыла доступ к своим технологиям. Другие игроки могут их использовать и совершенствовать, и при помощи серийного производства удешевлять. Apple, Microsoft, Rackspace и Goldman Sachs так и сделали. Появившийся новый вид оборудования является не просто очередным творением Google, а единственным реальным способом создания крупнейших онлайн-сервисов.

Инициативу Open Compute Project 27 января 2016 года поддержали крупные телекоммуникационные операторы AT&T, Verizon, Deutsche Telekom и SK Telecom. В рамках подпроекта, ориентированного на телекоммуникационный бизнес, они будут изучать возможности открытых серверов и сетевого оборудования с целью повысить эффективность и снизить затраты. В России подобный подход исповедует компания РДП.ру.

Дата-центр Google в штате Айова
Дата-центр Google в штате Айова
«
«Каждый ищет такую же синергию и гибкость. Накопление опыта и обмен знаниями пойдет по обоим путям, — считает директор по планированию инфраструктуры Verizon Гэгэн Пураник (Gagan Puranik), говоря о его компании и других, кто уже присоединился к эксперименту Facebook в области открытого аппаратного обеспечения.
»

Телекоммуникационный бизнес является одним из крупнейших покупателей ИТ-оборудования в мире. Интерес к инициативе Open Compute Project со стороны операторов позволит сделать очередной большой шаг от традиционного оборудования для дата-центров в сторону гибкой программируемой аппаратуры, создаваемой Google и Facebook. Это, безусловно, подрывает бизнес таких компаний, как Cisco и HP, пишет Wired.

«
Телекоммуникационные компании понимают, что выгода, которую они получают от работы с традиционными поставщиками, продолжает уменьшаться. Open Compute является естественным способом борьбы с этим. Он помогает отделить более открытые и гибкие экосистемы поставок оборудования от манеры действующих поставщиков вести комплексный бизнес, — считает Джей А Риверс (JR Rivers), который когда-то занимался разработкой оборудования в Cisco и помогал Google изготавливать коммутаторы, а сейчас (к началу 2016 года — прим. TAdviser) он продает крупным клиентам (в том числе телекоммуникационным) сетевой софт, похожий на тот, что создал Google.
»

Дата-центр Google в штате Айова
Дата-центр Google в штате Айова

AT&T давно говорила о планах по виртуализации 75% своей сети к 2020 году. Иными словами, компания движется в сторону модели Google, предполагающей, что логическая структура сети закладывается не в оборудовании, а в программном обеспечении. Это называется программно-конфигурируемые сети (SDN) и означает, что AT&T стремится избавиться от устаревшего оборудования.

По данным СМИ, AT&T уже разработала некоторое сетевое оборудование, чтобы приспособиться к этому переходу. В июне 2015 года компания открыла спецификации ряда своих разработок в рамках Open Compute Project, хотя тогда она еще не участвовала в этом проекте.

Как отмечает Джей А Риверс, телекоммуникационные компании не могут внедрять последние технологии так же быстро, как это делают участники интернет-отрасли.

«
Эти ребята двигаются медленнее, чем любая из веб-компаний. Не думаю, что в следующем году произойдут кардинальные изменения, — считает он.
»

Однако эти компании осваивают данное направление и делают это публично. Что от этого получит Facebook? Ведь он не относится к телекому. На первый взгляд может показаться, что для соцсети нет никакой выгоды от того, что AT&T или Verizon занимаются освоением SDN. Но косвенная польза все же есть. Сервис Facebook используется в сетях, которыми управляют эти телекоммуникационные компании. Поэтому то, что хорошо для них, хорошо и для Facebook, считает Wired.

Дата-центр Google в штате Оклахома
Дата-центр Google в штате Оклахома

При этом сам Facebook давно изучает способы предоставления интернет-доступа там, где его нет, используя беспилотные летательные аппараты и спутники.

«
Мы сосредоточились на том, чтобы подключить к интернету весь мир, но делать это в одиночку мы не намерены, — отмечает глава по инфраструктуре Facebook Джейсон Тейлор (Jason Taylor).
»

2011: Запуск ЦОДа в Оклахоме и план строительства ЦОДа на Тайване

Строительство ЦОД в Оклахоме обошлось Google в $600 млн, объект ввели в эксплуатацию осенью 2011 года. В нем занято свыше 100 сотрудников, они обеспечивают бесперебойную работу целого ряда сервисов – Gmail, Google Maps, Google Search, Google Plus. На расширение мощностей компания намеревалась потратить еще $700 млн, эта сумма включает не только расходы на строительство ИТ-инфраструктуры, но и обустройство прилегающей территории. По соседству расположатся кафе, спортзал, офисные помещения и даже игровая комната.

Еще $300 млн Google потратит на строительство ЦОД в округе Чангхуа на Тайване для поддержки растущей экспансии на азиатские рынки. На примере этого объекта компания намерена впервые апробировать новую энергосберегающую технологию, которая позволяет менять режим охлаждения оборудования в ночное время суток и повторно использовать предварительно накапливая энергию выделяющегося тепла. Предполагается, что открытие ЦОД повлечет за собой появление 25 рабочих мест. Как отметил Ли Цзянь-фэн (Chien Lee-feng), управляющий директор Google Taiwan, в перспективе ЦОД должен стать хабом для облачных технологий и сыграть роль связующего звена на пути трафика в азиатский регион.

1997: Первый сервер Google

Корпус первого сервера Google был сделан из деталей конструктора Lego, так как Брину и Пейджу не хватало денег. Это оборудование было размещено в кампусе Стэнфорда. Сначала поисковая система располагалась по адресу google.stanford.edu, а 15 сентября 1997 года был зарегистрирован домен google.com.

Первый сервер Google
Первый сервер Google

См. также

Примечания



СМ. ТАКЖЕ (1)


Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2016 год
2017 год
2018 год
Текущий год

  Cloud4Y (ООО Флекс) (1, 19)
  Microsoft (1, 10)
  Техносерв (1, 9)
  SAP SE (3, 7)
  Крок (1, 7)
  Другие (24, 42)

  Microsoft (2, 10)
  Техносерв (1, 8)
  Softline (Софтлайн) (3, 5)
  Cloud4Y (ООО Флекс) (1, 4)
  Red Hat (3, 3)
  Другие (18, 25)

Распределение базовых систем по количеству проектов, включая партнерские решения

За всю историю
2016 год
2017 год
2018 год
Текущий год

  Microsoft Azure - 89 (67, 22)
  Cloud4Y IaaS - 55 (53, 2)
  IT-Grad Cloud IaaS - 52 (52, 0)
  CorpSoft24: Виртуальный сервер - 26 (26, 0)
  Техносерв Cloud - 25 (25, 0)
  Другие 290

  Cloud4Y IaaS - 25 (23, 2)
  IT-Grad Cloud IaaS - 9 (9, 0)
  CorpSoft24: Виртуальный сервер - 7 (7, 0)
  Техносерв Cloud - 6 (6, 0)
  Microsoft Azure - 5 (5, 0)
  Другие 44

  Microsoft Azure - 10 (9, 1)
  Техносерв Cloud - 8 (8, 0)
  Cloud4Y IaaS - 4 (4, 0)
  De Novo: Облака - 2 (2, 0)
  Oracle Cloud - 2 (2, 0)
  Другие 27

Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2016 год
2017 год
2018 год
Текущий год

Распределение базовых систем по количеству проектов, включая партнерские решения

За всю историю
2016 год
2017 год
2018 год
Текущий год