17.10.2018
 
 

 

DataStage
Автоматизация - Построение систем хранения данных

datastage

Управление входными данными и процессами их преобразования к структуре хранения в ХД осуществляется на основе ведения единой метабазы. В качестве технологического средства создания процедур трансформации и загрузки данных в хранилище, а также для разработки структуры и сопровождения ХД в процессе эксплуатации и возможного развития, был выбран продукт DataStage от компании Ascential Software.

Этот продукт позволяет:

· в наглядной графической форме вести проектирование структуры хранилища;

· генерировать процедуры трансформации данных и загрузки их в хранилище;

· существенно облегчает эксплуатацию и дальнейшее развитие ХД.

Кроме того, DataStage не зависит от выбранной платформы СУБД он может работать с любой базой данных. В нашем случае одновременно использовались Oracle и Informix.

Пример процедуры преобразования данных

Разработка процедур загрузки ХД, их администрирование, анализ качества данных первичных источников информации осуществлялись на клиентской части подсистемы сбора и хранения информации. На рабочем месте разработчика процедур заполнения ХД и администрирования их выполнения использовался пакет программ DataStage Developer, установленный на компьютер с Windows NT/2000. Пакет DataStage Developer состоит из следующих компонентов:

· DataStage Administrator модуль по администрированию проектов, их созданию, удалению и изменению их параметров. Под проектом понимается набор описаний таблиц источников и целевых таблиц хранилища данных; набор функций извлечения данных, их трансформации и загрузки в хранилище, а также набор процедур, построенных на основе этих функций;

· DataStage Designer модуль по созданию процедур извлечения, трансформации и закачки данных на основе имеющихся функций;

· DataStage Director модуль для запуска процедур, контроля их выполнения, а также задания расписания выполнения процедур;

DataStage Manager средство доступа и работы с DataStage репозиторием, в котором хранятся метаданные (описание таблиц, функций и т.д.). С помощью этого модуля происходит добавление, удаление, изменение описаний таблиц, функций извлечения, трансформации и очистки данных.

В линейке продуктов DataStage есть специальное средство Quality Manager с его помощью контролируется качество входных данных.

 


Читайте:


Добавить комментарий


Защитный код
Обновить

Диспетчеризация пунктов:

АВТОМАТИЗИРОВАННАЯ СИСТЕМА УЧЕТА ТЕПЛОВОЙ ЭНЕРГИИ НА ТЕПЛОВЫХ ВЫВОДАХ НОВОСИБИРС

News image

Заказчик: ОАО «Новосибирскэнерго» Объект: Тепловые выводы 4 ТЭЦ в г. Новосибирске и одной ТЭЦ в области. Состав системы: На каждой из пяти ТЭЦ Master SCADA через ОРС-сервер получает данные от...

АВТОМАТИЗИРОВАННАЯ СИСТЕМА КОММЕРЧЕСКОГО УЧЕТА ЭЛЕКТРОЭНЕРГИИ НА ОАО ПЕРМТРАНСЖ

News image

Заказчик: ОАО «Пермтрансжелезобетон», г. Краснокамск Пермской обл. – крупнейший производитель железобетонных конструкций, уральского региона, а также по изготовлению продукции дерево - и металлообр...

Автоматизированная система оперативного дистанционного управления канализационны

News image

Заказчиком системы выступал МУП «Водоканал Воронежа». На каждой канализационной станции для сбора стоков имеется приёмная ёмкость. Уровень в емкости управляется насосами откачивающими стоки в очистн...

 

Теория АСУ:

Сменный диспетчер

News image

ствия, и поступают от программных устройств центрифуг, расходы рафинадной кашки - от ленточных весов, непрерывные и интегрируемые сигналы которых также преобразуются в число-импульсные. В табл. 19-2...

Автоматизированная система управления технологическим процессом АСУ ТП

News image

Автоматизированная система управления технологическим процессом (АСУ ТП) — комплекс программных и технических средств, предназначенный для автоматизации управления технологическим оборудованием на п...

Классификация АСУ ТП

News image

В зарубежной литературе можно встретить довольно интересную классификацию АСУ ТП, в соответствие с которой все АСУ ТП делятся на три глобальных класса: • SCADA (Supervisory Control and Data Acqui...

Рекомендации по планированию и строительству газовой котельной

News image

1. Требования к помещению котельной Высота потолков — не ниже 2,5 м. Площадь — не менее 4 кв. м на каждый котел

Что такое система PLC

News image

Из самого названия данного класса становится ясно, что основным компонентом системы является программируемый логический контроллер. Системы класса PLC чрезвычайно хороши для управления последователь...

 
 

Программные решения в автоматизации:

InBatch

News image

Программный пакет InBatch - это гибкая, масштабируемая MES-система, специально разработанная для моделирования и автоматизации процессов смешения и ...

Java поменьше

News image

Компания Sun в настоящее время работает над сокращением размеров виртуальной Java-машины и системы исполнения для использования их в приложениях с б...

Remote Scripting

News image

В методе прикладных расширений веб-сервера (IIS-приложений), описанном в части 1, при каждом требовании клиента выполнить чтение или запись значений...

IndustrialSQL Server (компания Wonderware) и Plant2SQL (Ci T

News image

Основные функции БДРВ, построенные на основе MS SQL Server заключаются в следующем: · сохранение некритичной во времени информации в БД Microsof...

Соответствует ли исполнительная среда Java требованиям встро

News image

По всей видимости, независимость от аппаратных платформ не является решающим фактором для разработчиков программного обеспечения встраиваемых систем...

Аппаратное и программное обеспечение системы

News image

АРМ оператора (верхний уровень) выполнено на базе IВМ РС-совместимого персональ-ного компьютера - рабочей станции фирмы ADVANTECH (Тайвань) в промыш...

 

Примеры удачного внедрения:

Система изнутри

Чтобы не получилось как у М. Жванецкого - снаружи уже можем, теперь бы изнутри , проанализируйте использованные при разработке системы информационн...

БЭСТ

(Интеллект-Сервис, Россия) БЭСТ - комплексная система, которая позволяет организовать бухгалтерский учет в полном объеме, учет основных фондов, ...

Готовность предприятия к автоматизации

При анализе потребностей предприятия и формировании требований к функциональности системы важно обратить внимание на уровень готовности предприятия ...

Временное увеличение нагрузки на сотрудников при внедрении с

На некоторых этапах проекта внедрения временно возрастает нагрузка на сотрудников предприятия. Это связано с тем, что помимо выполнения обычных рабо...

Совершенствование системы управления предприятием

В связи с тем, что рисунки организационных структур, упомянутые в статье, имеют очень большой размер, они не вошли в электронную версию публикации (...

Гарантии успешного завершения проекта автоматизации

Гарантии успешного завершения проекта автоматизации - еще один очень важный момент, на который следует обратить внимание при выборе АСУП. Действи...