Как Notion обрабатывает 200 миллиардов объектов данных

⚙️ От Postgres к Data Lake

Перевёл статью для хабра:

Интересная статья с верхнеуровневым описанием эволюции внутренностей сервиса.

Notions - крутой органайзер с разнообразным функционалом.

Текстовые заметки, картинки, страницы, ... - представлены в виде "блока" в Postgres.

📶 До 2021 - все блоки хранились в 1 инстансе Postgres.

В 2021 стало 20 млн блоков.

Сейчас их 200 млрд. Как они хранятся?

🔡 Данные разбиты на 480 логических шардов, распределенных на 96 инстанцев Postgres.

БД обслуживала разнообразные запросы:

1) пользовательский траффик онлайн

2) оффлайн аналитику

3) машинное обучение

Было решено вынести от Postgres нагрузку 2), 3).

🔀 Воспользовались ETL (https://ru.wikipedia.org/wiki/ETL):

Postgres -> connector -> Debezium -> Kafka -> S3 <- ...аналитика

⏺ Проффит:

1) Сэкономленный бюджет

2) Быстрая обработка

3) Новые возможности. Решение помогло быстрее внедрять AI функционал.

Оригинал:

https://blog.det.life/how-does-notion-handle-200-billion-data-entities-919b238c2846

Мой перевод на хабре:

https://habr.com/ru/articles/845446/

▶️ А у Вас есть проект с ETL? Какие видите в нём преимущества?