Курс повышения квалификации
Основы управления данными
32 часа

Содержание курса

“Основы управления данными”

1. Введение в хранение данных (1 часа)

Понятия: информация, метаинформация, данные

Роль данных в современном мире

Основные понятия и терминология

2. Управление данными предприятия (1 часа)

Стратегии управления данными

Политики и процедуры работы с данными

Роли и ответственности в управлении данными

3. Архитектура систем хранения данных (СХД) (4 часа)

Компоненты СХД

Диски, Шины, Файловые системы

Типы современных СХД

Локальные и глобальные сети

Датацентры

Принципы выбора, цена владения

4. Классификация данных (1 часа)

Холодные, горячие и лава данные

Структурированные и неструктурированные данные

Критичность и чувствительность данных

5. Современные концепции хранения и обработки данных (1 час)

Data Lake и Data Warehouse

Business Intelligence (BI) и Dashboards

6. Моделирование данных (2 часа)

ER-диаграммы (сущность-связь)

Нормализация данных

Денормализация и оптимизация

7. ETL-процессы (1 час)

Извлечение, преобразование и загрузка данных

Инструменты и библиотеки ETL

8. Теоретические основы баз данных (1 час)

CAP-теорема

ACID-свойства

9. Системы управления базами данных (СУБД) (2 часа)

Виды СУБД

Реляционные и нереляционные (NoSQL) СУБД

10. Специализированные типы баз данных (1 час)

Колоночные БД

Key-Value хранилища

Системы очередей сообщений

11. Масштабирование баз данных (1 час)

Кластеризация СУБД

Репликация и шардинг

12. Облачные базы данных (1 час)

Преимущества и недостатки

Основные провайдеры и их решения

Миграция в облако

13. Потребители данных (1 час)

Типы пользователей данных

Права доступа и безопасность

Аналитика и отчетность

14. Визуализация данных (1 час)

Принципы эффективной визуализации

Инструменты для создания дашбордов

Интерактивные отчеты

15. Жизненный цикл данных в организации (4 часа)

15.1 Сбор и ввод данных (1 час)

15.2 Источники данных:

Внутренние и внешние источники

Структурированные и неструктурированные данные

15.3 Методы сбора данных:

Автоматизированные и ручные методы

Использование API и веб-скрейпинг

15.4 Инструменты для ввода данных:

Формы ввода данных

Системы управления запросами

Генерация псевдо данных

15.5 Обработка и хранение (1 час)

Процессы обработки данных:

Очистка и валидация данных

Трансформация и агрегация

15.6 Технологии хранения данных:

Реляционные и нереляционные базы данных

Облачные хранилища и локальные серверы

Оптимизация хранения:

Индексация и компрессия данных

Управление доступом и безопасностью

15.7 Архивирование и удаление (0.5 часа)

Стратегии архивирования:

Долгосрочное и краткосрочное хранение

Использование облачных решений для архивирования

Политики удаления данных:

Правила и процедуры удаления

Соответствие нормативным требованиям (РФ, GDPR, HIPAA)

15.8 Управление качеством данных (0.5 часа)

Метрики качества данных:

Полнота, точность, актуальность

Последовательность и уникальность

Инструменты и методы улучшения качества:

Профилирование данных

Использование мастер-данных (MDM)

15.9 Управление критическими ситуациями (1 час)

Планирование и предотвращение:

Разработка планов на случай аварий

Резервное копирование и восстановление данных

Реагирование на инциденты:

Процедуры реагирования на утечки данных

Управление рисками и минимизация ущерба

Обучение и подготовка персонала:

Тренировки и симуляции

Создание культуры безопасности данных

16. Новые вызовы в хранении данных (1 час)

Big Data и IoT

Машинное обучение и AI

Блокчейн и распределенные реестры