Автоматизация наполнения данными гибридного хранилища данных
Здесь представлены файлы bash для автоматизации чтения данных из MS SQL Server в слой STG, а далее из слоя STG в квартальные партиции слоя RAW минимального жизнеспособного (MVP) гибридного хранилища данных (Data Lakehouse)…
Автоматизация управления жизненным циклом партиций слоя RAW гибридного хранилища данных
Здесь представлены файлы bash для автоматизации управления жизненным циклом партиций (архивация и восстановление) слоя сырых данных RAW минимального жизнеспособного (MVP) гибридного хранилища данных (Data Lakehouse) на основе PostgreSQL. Содержание: Скрипт файла archive_raw_partition.sh для…
Автоматизация создания слоя RAW гибридного хранилища данных
Здесь представлены файлы bash для автоматизации создания слоя сырых данных RAW с архивируемыми партициями на отдельных отмонтируемых сегментах диска минимального жизнеспособного (MVP) гибридного хранилища данных (Data Lakehouse) на основе PostgreSQL. Содержание: Скрипт файла create_raw.sh для создания слоя…
Cоздание минимального жизнеспособного гибридного хранилища данных
Данная инструкция связана с созданием минимального жизнеспособного (англ. minimum viable product, далее сокр. MVP) гибридного хранилища данных (англ. Data Lakehouse, далее сокр. DLH) с использованием расчетов параметров инфраструктуры проекта. Содержание: Инструкция по шагу 0.1: Проектирование логической…
Гибридное хранилище данных
Эволюционное гибридное хранилище данных на PostgreSQL — архитектурный паттерн, который реализует принципы гибридного хранилища данных (англ. Data Lakehouse, далее сокр. DLH): единое хранилище для BI и AI/ML, schema-on-read, ACID-доступ. И это всё на начальном…