Создание и удаление слоя RAW при создании MVP DLH
Здесь представлены файлы, предназначенные для автоматизации создания слоя RAW «с нуля» в рамках создания минимального жизнеспособного (MVP) гибридного хранилища данных (Data Lakehouse). Содержание: Скрипт файла create_raw.sh для создания слоя RAW Скрипт файла drop_raw.sh для удаления слоя RAW…
Cоздание минимального жизнеспособного гибридного хранилища данных
Данная инструкция связана с созданием минимального жизнеспособного (англ. minimum viable product, далее сокр. MVP) гибридного хранилища данных (англ. Data Lakehouse, далее сокр. DLH) с использованием расчетов параметров инфраструктуры проекта. Содержание: Инструкция по шагу 0.1: Проектирование логической…
Расчет параметров инфраструктуры гибридного хранилища данных
В данной статье приведен код расчета параметров инфраструктуры для трех этапов (создание MVP, промышленного внедрения и развития) проекта четырёхслойного (STG, ODS, DDS, CDM) гибридного хранилища данных (далее DLH) построенного на RedHat и PostgreSQL с квартальным…
Гибридное хранилище данных
Эволюционное гибридное хранилище данных на PostgreSQL — архитектурный паттерн, который реализует принципы гибридного хранилища данных (англ. Data Lakehouse, далее сокр. DLH): единое хранилище для BI и AI/ML, schema-on-read, ACID-доступ. И это всё на начальном…