RAG-хранилище для корпоративной базы знаний
Гибридное хранилище для RAG: S3-корпус документов, SSD hot tier для векторной БД, снапшоты индексов и регламент восстановления базы знаний.
Ключевые показатели проекта
Задача и ограничения
Команде ИИ требовалось собрать единый контур для документов, embeddings, векторной БД и артефактов индексации. Локальные диски worker-узлов не давали предсказуемого recovery и мешали масштабированию RAG-пайплайна.
Требования
Архитектура решения
STOR-4U-48SSD как hot tier для векторной БД
Горячий SSD-слой выделяется под latency-sensitive данные: VM-диски, metadata DB, vector indexes, cache и сервисы retrieval.
STOR-4U-60HDD / CLUSTOR HDD как S3 corpus storage
Object-слой проектируется с bucket layout, retention, lifecycle-политиками, правами доступа и отдельной проверкой restore, чтобы хранение не превращалось в непрозрачный файловый архив.
Ceph RBD/CSI для persistent volumes и Ceph RGW для object layer
Object-слой проектируется с bucket layout, retention, lifecycle-политиками, правами доступа и отдельной проверкой restore, чтобы хранение не превращалось в непрозрачный файловый архив.
разделение потоков ingest, retrieval и backup
Компонент архитектуры закрепляется в спецификации вместе с зоной ответственности, критериями приёмки и проверками на стенде.
мониторинг p95/p99 latency vector DB и заполнения object buckets
Object-слой проектируется с bucket layout, retention, lifecycle-политиками, правами доступа и отдельной проверкой restore, чтобы хранение не превращалось в непрозрачный файловый архив.
Результаты в эксплуатации
| Corpus storage | до 900 ТБ raw на стартовом S3-слое с ростом по узлам |
|---|---|
| Hot tier | all-flash слой для индексов, metadata и cache |
| Retrieval profile | read-heavy 4K/8K random, контроль p95/p99 latency |
| Recovery | снапшоты индексов и backup исходного corpus перед re-indexing |
Стек и этапы проекта
ПО и интеграции
Ceph RBD/CSICeph RGW / S3KubernetesVector DB по проектуPrometheus/GrafanaСроки
- 1 неделя - аудит corpus, форматов документов и RAG-пайплайна
- 1 неделя - проектирование hot/cold tiers и backup
- 2 недели - сборка и тесты fio/vector DB профиля
- 1 неделя - интеграция с Kubernetes и пайплайном индексации
Связанные страницы
/storage-rag.php /storage-vector-db.php /storage-ai-datalake.php /benchmarks.php
Оставить инженерную заявку
Ответьте на несколько вопросов — инженер подготовит проектную конфигурацию, список уточнений или коммерческое предложение.