Автоматизация наполнения данными гибридного хранилища данных
Здесь представлены файлы bash для автоматизации чтения данных из MS SQL Server в слой STG, а далее из слоя STG в квартальные партиции слоя RAW минимального жизнеспособного (MVP) гибридного хранилища данных (Data Lakehouse)…
Автоматизация управления жизненным циклом партиций слоя RAW гибридного хранилища данных
Здесь представлены файлы bash для автоматизации управления жизненным циклом партиций (архивация и восстановление) слоя сырых данных RAW минимального жизнеспособного (MVP) гибридного хранилища данных (Data Lakehouse) на основе PostgreSQL. Содержание: Скрипт файла archive_raw_partition.sh для…
Мультиагентная система техподдержки продукта
Растет потребность в оптимизации рутинных задач, которые всё чаще поручают мультиагентным системам ИИ. Например, можно таким образом оптимизировать бизнес-процесс техподдержки продукта. Представьте: пользователь оставляет задание в трекере — и система мгновенно разбирает его…
Автоматизация создания слоя RAW гибридного хранилища данных
Здесь представлены файлы bash для автоматизации создания слоя сырых данных RAW с архивируемыми партициями на отдельных отмонтируемых сегментах диска минимального жизнеспособного (MVP) гибридного хранилища данных (Data Lakehouse) на основе PostgreSQL. Содержание: Скрипт файла create_raw.sh для создания слоя…
Cоздание минимального жизнеспособного гибридного хранилища данных
Данная инструкция связана с созданием минимального жизнеспособного (англ. minimum viable product, далее сокр. MVP) гибридного хранилища данных (англ. Data Lakehouse, далее сокр. DLH) с использованием расчетов параметров инфраструктуры проекта. Содержание: Инструкция по шагу 0.1: Проектирование логической…
Анализ предоставленных разрешений в Tessa
По мере роста информационной системы (далее ИС) и количества ее пользователей в ней ощутимо увеличивается количество выданных разрешений. Усложнение ролевой модели, увеличение количества условий и объектов в ИС усложняет предоставление пользователям уникальных разрешений.…
Удаленная диагностика сети
Администраторы информационных систем (далее ИС) часто сталкиваются с ситуацией, когда пользователь жалуется на недоступность ИС. При этом, ИС доступна у администратора ИС и других пользователей. Первое что требуется в этой ситуации сделать —…
Генерация тестовых данных для анализа правил доступа в Tessa
Для анализа ролевой модели предоставления прав в Tessa требуется выгрузка соответствующих данных из БД Tessa. При анализе требуются тестовые данные, чтобы избежать использование реальных данных в целях конфиденциальности. Если подобные модели строить в Python с…
Расчет параметров инфраструктуры гибридного хранилища данных
В данной статье приведен код расчета параметров инфраструктуры для трех этапов (создание MVP, промышленного внедрения и развития) проекта четырёхслойного (STG, ODS, DDS, CDM) гибридного хранилища данных (далее DLH) построенного на RedHat и PostgreSQL с квартальным…
Гибридное хранилище данных
Эволюционное гибридное хранилище данных на PostgreSQL — архитектурный паттерн, который реализует принципы гибридного хранилища данных (англ. Data Lakehouse, далее сокр. DLH): единое хранилище для BI и AI/ML, schema-on-read, ACID-доступ. И это всё на начальном…