Автоматизация наполнения данными гибридного хранилища данных
Здесь представлены файлы bash для автоматизации чтения данных из MS SQL Server в слой STG, а далее из слоя STG в квартальные партиции слоя RAW минимального жизнеспособного (MVP) гибридного хранилища данных (Data Lakehouse)…
Автоматизация создания слоя RAW гибридного хранилища данных
Здесь представлены файлы bash для автоматизации создания слоя сырых данных RAW с архивируемыми партициями на отдельных отмонтируемых сегментах диска минимального жизнеспособного (MVP) гибридного хранилища данных (Data Lakehouse) на основе PostgreSQL. Содержание: Скрипт файла create_raw.sh для создания слоя…
Cоздание минимального жизнеспособного гибридного хранилища данных
Данная инструкция связана с созданием минимального жизнеспособного (англ. minimum viable product, далее сокр. MVP) гибридного хранилища данных (англ. Data Lakehouse, далее сокр. DLH) с использованием расчетов параметров инфраструктуры проекта. Содержание: Инструкция по шагу 0.1: Проектирование логической…
Гибридное хранилище данных
Эволюционное гибридное хранилище данных на PostgreSQL — архитектурный паттерн, который реализует принципы гибридного хранилища данных (англ. Data Lakehouse, далее сокр. DLH): единое хранилище для BI и AI/ML, schema-on-read, ACID-доступ. И это всё на начальном…