2 апреля покажем, как развернуть и собрать Lakehouse‑архитектуру на базе сервисов Yandex Cloud.
2 апреля покажем, как развернуть и собрать Lakehouse‑архитектуру на базе сервисов Yandex Cloud — с минимальной ручной интеграцией и быстрым стартом. А ещё разберём, как построить современную аналитику от данных до BI: как хранить сырые данные в Object Storage (S3), организовать табличный слой на Iceberg, обрабатывать данные в Trino и Spark, строить быстрые витрины в ClickHouse и доводить результат до дашбордов в DataLens.
Как это выглядит на практике с точки зрения крупного бизнеса, расскажет команда Magnit Tech: с докладом «От „чистого Lakehouse“ к гибридной модели: как мы собрали F&R на петабайтах данных» выступит Алексей Соболеков. Вы узнаете, как в Magnit Tech проектировали платформу F&R с объёмами данных в десятки петабайт, какие требования по пропускной способности расчётов и отзывчивости интерфейса пришлось обеспечить, что дал подход Lakehouse на практике и почему для интерактивных сценариев понадобился отдельный слой витрин данных.
Также обсудим управление данными через Data Catalog, ingestion в Iceberg и roadmap развития решения. В финальном докладе поделимся видением: собственный Iceberg REST Catalog для управляемости и контроля доступа, а также AI‑агенты для ускорения работы с кодом и пайплайнами. На митапе соберём лист ожидания для раннего доступа к новым возможностям.
Трансляция будет на сайте, зарегистрируйтесь, чтобы не пропустить.
.
| 15:00 – Регистрация | |
| 15:30 – Открытие | Путь от raw‑данных в S3 до дашбордов в BI. Как попасть на воркшоп или пилот после мероприятия. – Леонид Савченков |
| 15:40 – Lakehouse по клику: «нажал — и развернулось» | Lakehouse по клику: что разворачивается автоматически и как быстро получить первый результат. – Алексей Лузан |
| 16:05 – Data-Transfer: ingestion данных в Lakehouse с Apache Iceberg | Единый SaaS-подход вместо разрозненных утилит: надежный перенос данных в Iceberg с транзакциями и эволюцией схем «из коробки». – Тимофей Брунько |
| 16:30 – Перерыв | |
| 16:45 – Data Catalog как центр управления Lakehouse | Как находить и понимать данные: метаданные, контекст, навигация. Data Catalog для масштабирования. – Сергей Бибиков |
| 17:10 – От «чистого Lakehouse» к гибридной модели: как мы собрали F&R на петабайтах данных | Как Lakehouse снизил косты и упростил архитектуру. Зачем интерактивным сценариям отдельные витрины. – Алексей Соболеков |
| 17:35 – Перерыв | |
| 17:50 – ClickHouse + Kafka в Lakehouse: быстрые витрины и потоковые сценарии | Как проектировать витрины для низкой латентности и высокой параллельности запросов. Интеграции с BI. – Кузьма Лешаков |
| 18:15 – Перерыв | |
| 18:25 – Roadmap Lakehouse в Yandex Cloud: Iceberg REST Catalog и AI‑агенты | Развитие Lakehouse: Iceberg REST‑каталог, AI‑агенты для работы с кодом и пайплайнами. Лист ожидания и ранний доступ. – Леонид Савченков – Александр Щекалёв |
| 18:50 – Q&A + что дальше | Ответы на вопросы, сбор тем для воркшопов и заявок на пилот. |
| 19:00 – Afterparty |
.
Россия, Москва, улица Льва Толстого, 16, подъезд, Экстрополис
.
Источник: https://yandex.cloud/ru/events/1463
