DataSphere Dedicated даёт возможность использовать для ML-задач выделенные виртуальные машины и проводить ML-разработку в облаке так же удобно, как и в локальной инфраструктуре.

Новый режим работы Yandex DataSphere — Dedicated — даёт возможность пользователю зарезервировать виртуальную машину в облаке под свой проект и работать с ней столько, сколько потребуется. Этот режим практически идентичен работе на локальной инсталляции Jupyter Notebook: без сохранения состояний и сериализации, но с облачными мощностями. За счёт стабильной работы с вычислительными ресурсами в режиме Dedicated можно ускорить разработку моделей машинного обучения для различных задач по анализу данных.

Помимо нового режима Dedicated, в Yandex DataSphere остаётся возможность выбрать режим Serverless при обучении моделей. Технология бессерверных вычислений позволяет автоматически подключать виртуальную машину нужного типа только на время непосредственных расчётов (обучение моделей, запуск и других вычислений). Этот режим позволяет пользователю оплачивать вычислительные мощности только во время реального обучения и максимально оптимизировать расходы на вычисления.

В Yandex DataSphere появились другие улучшения, которые делают разработку ещё удобнее:

1. Обновленная среда разработки JupyterLab 3 — наиболее популярного редактора кода для ML-разработки. Обновлённый интерфейс, а также предустановленные расширения, например, навигация по блокноту внутри ноутбука, позволяют удобнее работать с Jupyter Notebook.
2. Визуализация использования ресурсов: вы можете отслеживать, какие ресурсы доступны на используемых машинах и как они утилизируются в режиме реального времени.
3. Интеграции с другими облачными сервисами платформы — Data Proc (управление Apache Spark) и Data Transfer (инструмент для передачи данных). ML-специалист может подключать внутри сервиса необходимые библиотеки для параллельной обработки данных на кластерах Spark и напрямую — различные облачные хранилища для анализа данных.
4. Гранулярные настройки доступов для командной работы: к проектам можно подключать других ML-разработчиков и специалистов, которые задействованы в работе с моделями машинного обучения. Например, инженер поддержки может корректировать настройки для эксплуатации модели, а администратор — управлять настройками доступа.

Источник: https://cloud.yandex.ru/blog/posts/2023/05/datasphere-dedicated