Yandex Database (YDB)

Yandex Database (YDB) — это распределённая отказоустойчивая NewSQL СУБД, разработанная в «Яндексе». По заявлениям разработчиков, она может являться альтернативой имеющимся решениям в следующих случаях:

• В системах, которым необходима поддержка ACID-транзакций между таблицами с нагрузкой, неравномерной по времени;
• В системах, требующих обработки и хранения большого объема данных;
• При разработке нового продукта, для которого уже на этапе дизайна с высокой вероятностью ожидается большая нагрузка (тысячи запросов в секунду к БД) и требование строгой консистентности;
• В качестве бэкенда для баз данных с плохо предсказуемой нагрузкой.

2022: Раскрытие исходников СУБД

20 апреля 2022 года «Яндекс» сообщил о выкладывании в открытый доступ системы управления базами данных YDB (Yandex Database). Код, а также документация, инструменты SDK и все решения для работы с базой предоставляется по открытой лицензии Apache 2.0. Документация опубликована в хранилище GitHub.

Открытие проекта создаёт интереснейшую для всех win-win-ситуацию. У сообщества, с одной стороны, появляется возможность пользоваться уникальными наработками, в которые Яндекс инвестировал сотни человеко-лет, познакомиться с кодом, свободно запускать и разрабатывать у себя решения на базе YDB, — говорится в сообщении «Яндекса» на «Хабре».

«Яндекс» раскрыл исходники своей СУБД

Еще одной причиной открытия исходников СУБД в компании назвали сильное увеличение вариативности пользователей. «Яндекс» сможет получать обратную связь от мирового сообщества и улучшать продукт. В компании добавили, что необходимо устранить барьер для пользователей, которые заинтересованы в технологии, но останавливаются, опасаясь закрытости или невозможности использовать её на своем оборудовании или в своих облаках.^[1]

Мы уверены, что бурное развитие технологий, которое мы наблюдаем в последние десятилетия, было бы невозможно без применения открытого исходного кода. Доступность технологий способствует их распространению и стимулирует к ним интерес. Например, уже нельзя представить себе интернет без таких баз данных, как MySQL, PostgreSQL или ClickHouse. Публикуя код YDB, мы продолжаем следовать принципам открытости и делимся со всеми наработками, на которые потратили почти десять лет. Теперь технология, которая позволяет «Яндексу» быстро масштабироваться и двигаться вперёд, будет доступна всем под свободной лицензией Apache 2.0., — рассказал Алексей Башкеев, генеральный директор Yandex Cloud.

Отмечается, что к апрелю 2022 года «Яндекс» использует систему YDB больше пяти лет, проекты в ней размещают команды «Алисы», «Такси», «Маркета», «Метрики» и других сервисов. В YDB находится почти 500 проектов. Развернуть можно на собственных или сторонних серверах — в том числе в Yandex Cloud или других облачных сервисах. В компании отметили, что YDB работает на стандартном железе, её можно развернуть везде с помощью оператора Kubernetes или вручную, в то время как код большинства систем ведущих облачных провайдеров закрыт, и некоторые из этих продуктов привязаны к специализированному оборудованию. Согласно заявлению разработчиков, СУБД YDB может обрабатывать миллионы запросов в секунду.^[2]Цифровизация ТЭК: тренды, перспективы, крупнейшие ИТ-поставщики. Обзор TAdviser 15.2 т

«Яндекс» систематически выкладывает в open source свои ключевые технологии. Так, в открытом доступе находится библиотека машинного обучения CatBoost, которая используется в Поиске и других сервисах «Яндекса». В 2016 году компания опубликовала исходный код ClickHouse — высокопроизводительной аналитической системы управления базами данных.

2020: Общая доступность в «Яндекс.Облаке»

23 сентября стала общедоступной новая система управления базами данных Yandex Database (YDB). «Яндекс» начал предлагать ее как сервис в обычном и бессерверном вариантах на своей облачной платформе «Яндекс.Облако».

База данных относится к классу NewSQL решений, которая задумывалась как СУБД для случаев, когда не хватает производительности или функциональности классических СУБД, говорит руководитель платформы «Яндекс.Облако» Алексей Башкеев. В самом «Яндексе» столкнулись с этим много лет назад. Поэтому компания и разработала и стала у себя использовать эту СУБД, пояснил он. Теперь эта система используется в «Яндекс.Поиске», «Яндекс.Облаке», голосовом помощнике «Алиса», «Яндекс.Коллекциях», «Яндекс.Мессенджере», на сайте «Авто.ру»

Для внешних пользователей с момента анонса в 2019 году YBD была доступна в «Яндекс.Облаке» в некоммерческом режиме предпросмотра по запросу. Алексей Башкеев рассказал TAdviser, что ее тогда сделали доступной в облаке, чтобы проверить спрос на эти решения. По его словам, несколько сотен компаний проявили интерес.

Один из основных видов спроса, который мы почувствовали, это большие внедрения, где тех самых мощностей или подходов стандартных СУБД не хватает и хочется чего-то другого. Вместе с тем, мы увидели, что растет и рынок бессерверных решений. Поэтому мы добавили и такую возможность к YDB, - объяснил он TAdviser.

Yandex Database вышла из стадии preview (изображение - студия Юлии Бедросовой)

Программный интерфейс бессерверной версии YDB совместим с API популярного бессерверного решения Amazon DinamoDB. Это существенно расширит границы применимости YDB, рассчитывают в компании. Олег Коверзнев, операционный директор «Яндекс.Облако», говорит, что компания не зря обеспечивает совместимость своей СУБД с глобальной базой данных, которая уже масштабно используется. Сейчас компания делает максимум, чтобы снизить порог входа в эту технологию, добавил он.

Мы, скорее, рассчитываем не на 1-2 крупных внедрения, а на сотни, тысячи пока небольших проектов, которые будут расти и развиваться на базе этой технологии, - говорит Коверзнев.

По словам Алексея Башкеева, YDB – это долгосрочная инвестиция. Дальнейшие планы развития YDB компания скорректирует в зависимости от того, насколько увидит спрос на нее, добавил руководитель платформы «Яндекс.Облако».

В компании напомнили, что у «Яндекса», как и Mail.ru, есть и open source решение – СУБД ClickHouse, которая уже давно представлена в облаке.

YDB стала общедоступной в рамках крупного обновления сервисов «Яндекс.Облака». Помимо нее, компания представила еще ряд новых сервисов для хранения и управления данными.

Примечания