Масштабируемый архив медиафайлов и холодных данных
Rack-кластер для хранения больших файлов с S3 API, ёмким EC-пулом и отдельным сценарием восстановления объектов.
Ключевые показатели проекта
Задача и ограничения
Бизнесу требовалось хранить растущий архив больших файлов и выдавать доступ нескольким внутренним системам без закупки дорогой брендовой объектной СХД.
Требования
Архитектура решения
CLUSTOR-44U-384HDD как стартовый кластер
Компонент архитектуры закрепляется в спецификации вместе с зоной ответственности, критериями приёмки и проверками на стенде.
Ceph RGW / object storage layer
Object-слой проектируется с bucket layout, retention, lifecycle-политиками, правами доступа и отдельной проверкой restore, чтобы хранение не превращалось в непрозрачный файловый архив.
EC-пулы для холодных данных, отдельный metadata/control plane
Компонент архитектуры закрепляется в спецификации вместе с зоной ответственности, критериями приёмки и проверками на стенде.
100GbE spine/leaf по проекту
Сетевая часть разделяет frontend, backend/replication и management-трафик, чтобы тесты производительности не конфликтовали с recovery и мониторингом.
capacity planning по росту ingest и retention
Компонент архитектуры закрепляется в спецификации вместе с зоной ответственности, критериями приёмки и проверками на стенде.
Результаты в эксплуатации
| Raw-ёмкость | до 7,68 ПБ при HDD 20 ТБ в стартовой rack-конфигурации |
|---|---|
| Полезная ёмкость | рассчитывается по EC-схеме, резерву заполнения и отказным доменам |
| Профиль | крупные объекты 128 МБ - 5 ГБ, параллельный ingest |
| Масштабирование | добавление узлов/OSD по rack-плану без остановки сервиса |
Стек и этапы проекта
ПО и интеграции
Ceph RGWEC poolsS3 APIPrometheus/GrafanaСроки
- 1 неделя - sizing объекта/ingest/retention
- 2 недели - rack design и сеть
- 3 недели - сборка и тесты object storage
- 1 неделя - пилот приложений и policy
Связанные страницы
/storage-lowprice.php /storage-s3.php /cluster-44u-384hdd.php /benchmarks.php
Оставить инженерную заявку
Ответьте на несколько вопросов — инженер подготовит проектную конфигурацию, список уточнений или коммерческое предложение.