MWS Cloud, входит в МТС Web Services, объявляет о выводе сервиса Managed Kafka в промышленную эксплуатацию (GA) в облаке MWS Cloud Platform. Новый PaaSсервис позволяет компаниям использовать Apache Kafka^® как инфраструктурный компонент для потоковой обработки данных и event-driven архитектур без необходимости самостоятельно разворачивать и обслуживать кластеры, настраивать сеть и управлять жизненным циклом Kafka. Это снижает операционные риски и позволяет командам быстрее запускать data-driven сценарии и сокращать time-to-market.

Event-driven архитектуры становятся стандартом для современных цифровых продуктов, а компании всё чаще переходят от batchобработки к потоковой — для real-time аналитики, интеграции микросервисов, построения пайплайнов обработки данных и КХД, а также решений для IoT и телеметрии. При этом self‑managed Kafka требует высокой инженерной экспертизы и остаётся сложной в эксплуатации из-за чувствительности к сетевой архитектуре, задержкам и стабильности соединений. 

Managed Kafka — это полностью управляемый сервис Apache Kafka^® в MWS Cloud Platform, который позволяет разворачивать кластеры за несколько минут. Сервис ориентирован на средние и крупные компании, технологические стартапы и команды, которые развивают микросервисные продукты и платформы данных, включая DevOps/SRE-инженеров, дата-инженеров и бэкенд-разработчиков. 

Kafka чувствительна к сетевой архитектуре: задержкам, маршрутизации трафика и стабильности соединений. Managed Kafka объединяет Kafka с управляемой сетевой инфраструктурой MWS Cloud Platform, чтобы обеспечить предсказуемое поведение потоковых систем даже под высокой нагрузкой. Сервис спроектирован с упором на безопасность и изоляцию: кластеры разворачиваются в изолированной инфраструктуре на уровне виртуальных машин, что позволяет снизить влияние соседних нагрузок по сравнению с мультиарендными реализациями. Для приватных сценариев доступно подключение через Private Link, упрощающее построение безопасного периметра и обеспечивающее приватную связность внутри облака. 

В рамках сервиса доступны multinodeкластеры «из коробки». Управление осуществляется через консоль MWS Cloud Platform, а также с использованием CLI и API. Сервис интегрирован с Audit Logs, что упрощает контроль действий и соответствие требованиям безопасности. 

Managed Kafka может применяться для построения event-driven архитектур и интеграции микросервисов, аналитики в реальном времени (дашборды и алерты), потоковых пайплайнов (в том числе Kafka → ClickHouse / DWH / ML), централизованного сбора логов, а также IoT и телеметрии.

Дмитрий Черёмухин, руководитель направления платформы данных в MWS Cloud Platform:

“Потоковая обработка данных и event-driven архитектуры становятся базовым сценарием для цифровых продуктов, но Kafka остаётся требовательной к инфраструктуре и сети. Мы запустили Managed Kafka как полностью управляемый сервис, который разворачивается за минуты и готов к продакшен-использованию, при этом давая большую гибкость в масштабировании. Это позволяет инженерным командам сосредоточиться на работе с данными и продуктовой логике, а не на эксплуатации Kafka кластера”.

Развернуть Kafkaкластер в MWS Cloud Platform можно в режиме self-service через консоль управления, а также с использованием CLI и API.

.

Источник: https://mws.ru/news/mws-cloud-predstavila-oblachnyj-servis-managed-kafka-dlya-potokovoj-peredachi-dannyh-na-platforme-mws-cloud-platform/?utm_source=organic_yandex