VK Data Meetup

О мероприятии

VK Data Meetup — серия событий для технических специалистов об инструментах, практиках работы и технологических трендах. На митапе 14 декабря вас ждут обновления 2023 года, нетворкинг и обмен опытом с коллегами.

Приглашаем дата- и ML-инженеров, тимлидов и разработчиков решений для аналитики и платформ данных, архитекторов и специалистов по Data Science. 

Количество мест в офисе VK ограничено. Регистрируйтесь заранее, если хотите посетить мероприятие офлайн.

В программе

14:30-15:00 – Сбор гостей

15:00-15:30 – Что предстоит делать с данными в 2024 году?

Николай Карлов, директор инновационных проектов, VK Tech

.

Вы знали, что мы живем в будущем? Несколько лет назад возможности генеративного AI казались фантастикой. Но будущее наступило, и сделало это внезапно. В докладе вы узнаете о применении колоночных In-Memory СУБД для realtime-задач, что такое HTAP, зачем нужны графовые и векторные движки для ранжирования, скоринга и других задач AI и ML. Также будет рассказано, чем из этого можно пользоваться уже сейчас, а чего ожидать в скором времени.

15:30-16:00 – Как быстро мигрировать хранилище на Greenplum и сохранить уровень SLA

Москвина Светлана, ведущий архитектор информационных систем, Axenix

.

.

Алмаз Рахиев, Teamlead команды разработки, Axenix

.

.

В рамках доклада расскажем про опыт миграции хранилища данных с зарубежного облака на Greenplum в условиях ограниченных сроков и требований к SLA. Обсудим технические проблемы, которые возникали в процессе миграции: базовая настройка Greenplum, распределение ресурсов, оптимизация запросов. Поговорим о подходе к рефакторингу существующего хранилища и о сложностях перехода от концепции Data Lake к классическому DWH. Затронем организационные вопросы: что позволило команде успешно выполнить проект и сохранить уровень SLA.

16:00-16:30 – Перерыв

16:30-17:00 – Как разделить Compute & Storage в Hadoop и не утонуть в лавине миграций

Игорь Дмитриев, корпоративный архитектор, Сбер

.

.

Ермекбаев Заур, техлид направления SDP Hadoop (Compute & Storage), Сбер

.

.

Игорь и Заур расскажут о проблемах монолитного Compute&Sorage в Hadoop и о том, как их команда пришла к идее физического разделения Hadoop для снижения негативного влияния монолита. Речь пойдет о том, какие технологии и принципы легли в основу проекта разделения Compute&Storage, чем пришлось пожертвовать и чему пришлось научиться, а также какой положительный эффект был получен, а где – появились дополнительные сложности.

17:00-17:30 – Контейнеризация Hadoop: как Одноклассники разделили слой хранения и обработки

Михаил Марюфич, руководитель Data Platform, Одноклассники

.

Михаил расскажет про миграцию многопетабайтного кластера Hadoop с «железа» в облачную инфраструктуру. Из доклада вы узнаете, как провести миграцию практически без отрыва пользователей дата-платформы от бизнес-задач, с какими сложностями можно столкнуться при контейниризации Hadoop и каких характеристик команда Одноклассников достигла по итогу проекта.

17:30 – Afterparty

Источник: https://cloud.vk.com/events/vk-data-meetup-23

Перезвоним и ответим на ваши вопросы

Имя *
Код *
Телефон *
Компания *
Сообщение

На связи любым способом

Имя *
Компания *
tel *
email *
Опишите задачу
Имя
Компания
Телефон
Email