VK Data Meetup — серия событий для технических специалистов об инструментах, практиках работы и технологических трендах. На митапе 14 декабря вас ждут обновления 2023 года, нетворкинг и обмен опытом с коллегами.
Приглашаем дата- и ML-инженеров, тимлидов и разработчиков решений для аналитики и платформ данных, архитекторов и специалистов по Data Science.
Количество мест в офисе VK ограничено. Регистрируйтесь заранее, если хотите посетить мероприятие офлайн.
14:30-15:00 – Сбор гостей
15:00-15:30 – Что предстоит делать с данными в 2024 году?
Николай Карлов, директор инновационных проектов, VK Tech
.
Вы знали, что мы живем в будущем? Несколько лет назад возможности генеративного AI казались фантастикой. Но будущее наступило, и сделало это внезапно. В докладе вы узнаете о применении колоночных In-Memory СУБД для realtime-задач, что такое HTAP, зачем нужны графовые и векторные движки для ранжирования, скоринга и других задач AI и ML. Также будет рассказано, чем из этого можно пользоваться уже сейчас, а чего ожидать в скором времени.
15:30-16:00 – Как быстро мигрировать хранилище на Greenplum и сохранить уровень SLA
Москвина Светлана, ведущий архитектор информационных систем, Axenix
.
.
Алмаз Рахиев, Teamlead команды разработки, Axenix
.
.
В рамках доклада расскажем про опыт миграции хранилища данных с зарубежного облака на Greenplum в условиях ограниченных сроков и требований к SLA. Обсудим технические проблемы, которые возникали в процессе миграции: базовая настройка Greenplum, распределение ресурсов, оптимизация запросов. Поговорим о подходе к рефакторингу существующего хранилища и о сложностях перехода от концепции Data Lake к классическому DWH. Затронем организационные вопросы: что позволило команде успешно выполнить проект и сохранить уровень SLA.
16:00-16:30 – Перерыв
16:30-17:00 – Как разделить Compute & Storage в Hadoop и не утонуть в лавине миграций
Игорь Дмитриев, корпоративный архитектор, Сбер
.
.
Ермекбаев Заур, техлид направления SDP Hadoop (Compute & Storage), Сбер
.
.
Игорь и Заур расскажут о проблемах монолитного Compute&Sorage в Hadoop и о том, как их команда пришла к идее физического разделения Hadoop для снижения негативного влияния монолита. Речь пойдет о том, какие технологии и принципы легли в основу проекта разделения Compute&Storage, чем пришлось пожертвовать и чему пришлось научиться, а также какой положительный эффект был получен, а где – появились дополнительные сложности.
17:00-17:30 – Контейнеризация Hadoop: как Одноклассники разделили слой хранения и обработки
Михаил Марюфич, руководитель Data Platform, Одноклассники
.
Михаил расскажет про миграцию многопетабайтного кластера Hadoop с «железа» в облачную инфраструктуру. Из доклада вы узнаете, как провести миграцию практически без отрыва пользователей дата-платформы от бизнес-задач, с какими сложностями можно столкнуться при контейниризации Hadoop и каких характеристик команда Одноклассников достигла по итогу проекта.
17:30 – Afterparty
Источник: https://cloud.vk.com/events/vk-data-meetup-23
