20.05.2019
 
 

 

DataStage
Автоматизация - Построение систем хранения данных

datastage

Управление входными данными и процессами их преобразования к структуре хранения в ХД осуществляется на основе ведения единой метабазы. В качестве технологического средства создания процедур трансформации и загрузки данных в хранилище, а также для разработки структуры и сопровождения ХД в процессе эксплуатации и возможного развития, был выбран продукт DataStage от компании Ascential Software.

Этот продукт позволяет:

· в наглядной графической форме вести проектирование структуры хранилища;

· генерировать процедуры трансформации данных и загрузки их в хранилище;

· существенно облегчает эксплуатацию и дальнейшее развитие ХД.

Кроме того, DataStage не зависит от выбранной платформы СУБД он может работать с любой базой данных. В нашем случае одновременно использовались Oracle и Informix.

Пример процедуры преобразования данных

Разработка процедур загрузки ХД, их администрирование, анализ качества данных первичных источников информации осуществлялись на клиентской части подсистемы сбора и хранения информации. На рабочем месте разработчика процедур заполнения ХД и администрирования их выполнения использовался пакет программ DataStage Developer, установленный на компьютер с Windows NT/2000. Пакет DataStage Developer состоит из следующих компонентов:

· DataStage Administrator модуль по администрированию проектов, их созданию, удалению и изменению их параметров. Под проектом понимается набор описаний таблиц источников и целевых таблиц хранилища данных; набор функций извлечения данных, их трансформации и загрузки в хранилище, а также набор процедур, построенных на основе этих функций;

· DataStage Designer модуль по созданию процедур извлечения, трансформации и закачки данных на основе имеющихся функций;

· DataStage Director модуль для запуска процедур, контроля их выполнения, а также задания расписания выполнения процедур;

DataStage Manager средство доступа и работы с DataStage репозиторием, в котором хранятся метаданные (описание таблиц, функций и т.д.). С помощью этого модуля происходит добавление, удаление, изменение описаний таблиц, функций извлечения, трансформации и очистки данных.

В линейке продуктов DataStage есть специальное средство Quality Manager с его помощью контролируется качество входных данных.

 


Читайте:


Добавить комментарий


Защитный код
Обновить

Диспетчеризация пунктов:

Система автоматизации для водопроводно-канализационного и теплоэнергетического х

News image

Система «ГидроДиспетчер» предназначена для автоматизации и диспетчеризации процессов водо-, теплоснабжения и водоотведения. Она позволяет провести автоматизацию и диспетчеризацию полного цикла водос...

Автоматизированная система коммерческого учета отпуска питьевой воды потребителя

News image

В г. Новороссийске реализована перва очередь системы коммерческого учета питьевой воды. Функции системы: обеспечение приборного учета потребляемой питьевой воды каждым объектом водопотребления, о...

АСУ ТП и система диспетчеризация головных водозаборных сооружений

News image

Объектом диспетчеризации и управления является технологическое оборудование артезианских скважин (общее число 80 скважин), находящееся в павильонах над артезианскими скважинами и водоводы (5 водовод...

 

Теория АСУ:

Отопление больших помещений с помощью газа

News image

Когда мы говорим об отоплении промышленных помещений, большинство специалистов сразу думает о большой котельной, трубах, вентиляторных конвекторах, регулирующих клапанах, вентиляторах и т.д. Устойчи...

Регулятор в современных АСУ ТП. ПИД-регулятор

News image

Что такое регулятор? Этот термин пришел из теории автоматизированного управления. Регулятором называется устройство, которое следит за функционированием объекта управления и, постоянно анализируя ег...

Исполнительные устройства

News image

Для того чтобы организовать работу нескольких отопительных контуров с различными, не всегда постоянными температурами, требуются исполнительные устройства. Самыми распространенными являются трех - и...

Регулирование температуры воды в подающем трубопроводе

News image

В этом случае осуществляется регулирование температуры в подающем трубопроводе, которая является регулируемой величиной. Она косвенным образом влияет на температуру в помещении. Регулирование позвол...

Использования систем

News image

Правило второе. Нужно обладать информацией о системах, которые Вы собираетесь использовать. Рассмотрим различия на примере котельных пунктов. Современные котельные монтируются на базе одноконтурн...

 
 

Программные решения в автоматизации:

Инструментальные средства уровней УП и УР

News image

В зависимости от технических требований, особенностей технологического процесса на каждом участке применяются DCS-системы таких фирм как ABB, Fisher...

Создание веб-приложения на языке Java

News image

Существует несколько технологий создания веб-базированных приложений на языке Java. К основным технологиям относятся Java-апплеты, сервлеты (Servlet...

Предложение от компании Шнейдер Электрик

News image

Как было отмечено выше, концепция Transparent Factory компании Шнейдер базируется на трех основных положениях: 1. Следующим поколением сетей пром...

Дополнительные полезные программы

News image

В состав набора FactorySuite входит также еще ряд программных продуктов, облегчающих создание мощных и эффективных систем автоматизации. Этот раздел...

Возможности работы с алармами

News image

InTouch располагает развитым механизмом работы с алармами (сигналами тревоги). Они могут генерироваться самыми различными способами: поступать от вн...

Общий поход к тестированию

News image

В большинстве SCADA-систем присутствуют многократно описанные и многим известные базовые свойства, но технологии и средства их реализации достаточно...

 

Примеры удачного внедрения:

ЗАО Киевмлын использует АСУ iRenaissance

В прошлом году компания Softline начала реализацию проекта комплексной автоматизации процессов управления предприятием на ЗАО КиевМлын . АСУ iRenai...

Критерии выбора АСУП

Критериев выбора систем автоматизации, как и многих других достаточно сложных и дорогих товаров (например, автомобилей), существует, конечно же, мно...

ПТК ОУ

Программно-технический комплекс управления общестанционным вспомогательным оборудованием – ПТК ОУ предназначен для управления и контроля за состояни...

ПТК АУГ

Программно-технический комплекс автоматического управления гидроагрегатом – ПТК АУГ выполняет функции технологической автоматики и предназначен для ...

ERP-системы и специализированные пакеты

До недавнего времени исчерпывающей функциональностью в области автоматизации управления предприятиями обладали ERP-системы, особенно крупные. Но,...

Автоматический контроль качества продукции на рабочем месте

Как уже отмечалось, двумя основными принципами производственной системы «Тоёта» являются принцип «точно вовремя» и автономность («дзидока»). Для без...