23.02.2018
 
 

 

DataStage
Автоматизация - Построение систем хранения данных

datastage

Управление входными данными и процессами их преобразования к структуре хранения в ХД осуществляется на основе ведения единой метабазы. В качестве технологического средства создания процедур трансформации и загрузки данных в хранилище, а также для разработки структуры и сопровождения ХД в процессе эксплуатации и возможного развития, был выбран продукт DataStage от компании Ascential Software.

Этот продукт позволяет:

· в наглядной графической форме вести проектирование структуры хранилища;

· генерировать процедуры трансформации данных и загрузки их в хранилище;

· существенно облегчает эксплуатацию и дальнейшее развитие ХД.

Кроме того, DataStage не зависит от выбранной платформы СУБД он может работать с любой базой данных. В нашем случае одновременно использовались Oracle и Informix.

Пример процедуры преобразования данных

Разработка процедур загрузки ХД, их администрирование, анализ качества данных первичных источников информации осуществлялись на клиентской части подсистемы сбора и хранения информации. На рабочем месте разработчика процедур заполнения ХД и администрирования их выполнения использовался пакет программ DataStage Developer, установленный на компьютер с Windows NT/2000. Пакет DataStage Developer состоит из следующих компонентов:

· DataStage Administrator модуль по администрированию проектов, их созданию, удалению и изменению их параметров. Под проектом понимается набор описаний таблиц источников и целевых таблиц хранилища данных; набор функций извлечения данных, их трансформации и загрузки в хранилище, а также набор процедур, построенных на основе этих функций;

· DataStage Designer модуль по созданию процедур извлечения, трансформации и закачки данных на основе имеющихся функций;

· DataStage Director модуль для запуска процедур, контроля их выполнения, а также задания расписания выполнения процедур;

DataStage Manager средство доступа и работы с DataStage репозиторием, в котором хранятся метаданные (описание таблиц, функций и т.д.). С помощью этого модуля происходит добавление, удаление, изменение описаний таблиц, функций извлечения, трансформации и очистки данных.

В линейке продуктов DataStage есть специальное средство Quality Manager с его помощью контролируется качество входных данных.

 


Читайте:


Добавить комментарий


Защитный код
Обновить

Диспетчеризация пунктов:

АВТОМАТИЗИРОВАННАЯ СИСТЕМА КОММЕРЧЕСКОГО УЧЕТА ЭЛЕКТРОЭНЕРГИИ НА ОАО ПЕРМТРАНСЖ

News image

Заказчик: ОАО «Пермтрансжелезобетон», г. Краснокамск Пермской обл. – крупнейший производитель железобетонных конструкций, уральского региона, а также по изготовлению продукции дерево - и металлообр...

Автоматизированная система учета водоотведения канализационной насосной станции

News image

Объект автоматизации - районная канализационная насосная станция (КНС) c насосными агрегатами производительностью 1500 – 7000 м3/час с электродвигателями 6 кВ. Для реализации учета КНС оборудована п...

СИСТЕМА АВТОМАТИЗАЦИИ ДЛЯ ВОДОПРОВОДНО-КАНАЛИЗАЦИОННОГО И ТЕПЛОЭНЕРГЕТИЧЕСКОГО Х

News image

Заказчик: ОАО «Водопроводно-канализационное и энергетическое хозяйство» (г. Нижнекамск, 66 объектов) Назначение системы: Система «ГидроДиспетчер» предназначена для автоматизации и диспетчеризаци...

 

Теория АСУ:

Перечень модулей ввода/вывода серии MAТCHBOX

News image

MMB500-CPU      Процессорный модуль                    16-разрядный процессор Fujitsu MMB510-4DI        Модуль дискретного ввода            24 в, 4 канала ММВ511-2DI        Модуль дискретного ...

Сервисные функции

News image

Чистый воздух. Для снижения количества вредных выбросов в воздух многофункциональная автоматика способна оптимизировать работу горелки. В установочных параметрах современных контроллеров минимальная...

Методы автоматизации

News image

Методы автоматизации производства и научные основы автоматизации развиваются главным образом по 3 направлениям.Во-первых, разрабатывают методы эффективного изучения закономерностей объектов управлен...

Регулятор в современных АСУ ТП. ПИД-регулятор

News image

Что такое регулятор? Этот термин пришел из теории автоматизированного управления. Регулятором называется устройство, которое следит за функционированием объекта управления и, постоянно анализируя ег...

Модульные ПЛК MATCHBOX компании «Контэл»

News image

Это распределённый контроллер, в состав которого входят: модуль центрального процессора, модули входов/выходов, модули питания и коммуникационные модули. Передача данных между модулями осуществляетс...

 
 

Программные решения в автоматизации:

Системы управления ресурсами предприятия

News image

Системы управления ресурсами предприятия делятся на следующие большие группы (Табл. 1): · коробочные продукты , реализующие небольшое число бизн...

Описание встроенных Web-серверов

News image

Каждый из указанных модулей содержит 1 сервер HTTP и 1 сервер FTP. Для создания и последующего обслуживания Web-сайта в контроллере пакет Web Uti...

Применение Java

News image

Когда необходимо организовать событийно-управляемую передачу технологических данных от веб-сервера к клиенту (например, для динамического отображени...

Система защиты

News image

InTouch предоставляет мощный набор функций для создания сценариев . Эти функции поддерживают математические и логические вычисления, работу с файла...

Пример приложения: WebOPCClient

News image

Программное обеспечение WebOPCClient представляет собой несложное IIS-приложение и служит для отображения актуальных технологических данных на веб-с...

Система InTouch

News image

Распространенность и дешевизна PC-совместимых персональных компьютеров с установленными на них программными средствами семейства WINDOWS приводят к ...

 

Примеры удачного внедрения:

Система изнутри

Чтобы не получилось как у М. Жванецкого - снаружи уже можем, теперь бы изнутри , проанализируйте использованные при разработке системы информационн...

Разработка пакета предложений

На шестом этапе разрабатывается корпоративный пакет предложений в виде презентации Возможности и выгоды , т.е. высшему руководству компании напра...

Управление программами

формирование и ведение базы данных по проекту (заказу); определение и поддержка иерархической структуры работ по проекту, счетов затрат и т. п.; опр...

Проектирование и организация технологических процессов

Рассмотрим порядок проектирования и организации производственных процессов. Первоначально на заводе все пять токарных, фрезерных и сверлильных станк...

Комплексная автоматизация управления предприятием на базе решений 1С, является одним из ключевых направлений бизнеса компании «Микротест». Многолетн...

Автоматический контроль качества продукции на рабочем месте

Как уже отмечалось, двумя основными принципами производственной системы «Тоёта» являются принцип «точно вовремя» и автономность («дзидока»). Для без...