31.07.2026
 
 

 

DataStage
Автоматизация - Построение систем хранения данных

datastage

Управление входными данными и процессами их преобразования к структуре хранения в ХД осуществляется на основе ведения единой метабазы. В качестве технологического средства создания процедур трансформации и загрузки данных в хранилище, а также для разработки структуры и сопровождения ХД в процессе эксплуатации и возможного развития, был выбран продукт DataStage от компании Ascential Software.

Этот продукт позволяет:

· в наглядной графической форме вести проектирование структуры хранилища;

· генерировать процедуры трансформации данных и загрузки их в хранилище;

· существенно облегчает эксплуатацию и дальнейшее развитие ХД.

Кроме того, DataStage не зависит от выбранной платформы СУБД он может работать с любой базой данных. В нашем случае одновременно использовались Oracle и Informix.

Пример процедуры преобразования данных

Разработка процедур загрузки ХД, их администрирование, анализ качества данных первичных источников информации осуществлялись на клиентской части подсистемы сбора и хранения информации. На рабочем месте разработчика процедур заполнения ХД и администрирования их выполнения использовался пакет программ DataStage Developer, установленный на компьютер с Windows NT/2000. Пакет DataStage Developer состоит из следующих компонентов:

· DataStage Administrator модуль по администрированию проектов, их созданию, удалению и изменению их параметров. Под проектом понимается набор описаний таблиц источников и целевых таблиц хранилища данных; набор функций извлечения данных, их трансформации и загрузки в хранилище, а также набор процедур, построенных на основе этих функций;

· DataStage Designer модуль по созданию процедур извлечения, трансформации и закачки данных на основе имеющихся функций;

· DataStage Director модуль для запуска процедур, контроля их выполнения, а также задания расписания выполнения процедур;

DataStage Manager средство доступа и работы с DataStage репозиторием, в котором хранятся метаданные (описание таблиц, функций и т.д.). С помощью этого модуля происходит добавление, удаление, изменение описаний таблиц, функций извлечения, трансформации и очистки данных.

В линейке продуктов DataStage есть специальное средство Quality Manager с его помощью контролируется качество входных данных.

 


Читайте:


Добавить комментарий


Защитный код
Обновить

Диспетчеризация пунктов:

Система диспетчеризации для РТС и ЦТП

News image

Заказчик: филиал «Северо-Западный» №9 ОАО «МОЭК», г. Москва. Объект диспетчеризации: РТС и ЦТП, а также отдельные узлы учета. Решаемые задачи: система диспетчеризации осуществляет информационн...

АВТОМАТИЗИРОВАННАЯ СИСТЕМА КОММЕРЧЕСКОГО УЧЕТА ОТПУСКА ПИТЬЕВОЙ ВОДЫ ПОТРЕБИТЕЛЯ

News image

Заказчик: Комитет по управлению Жилищно-коммунальным хозяйством Администрации г. Новороссийск Объект: I-я очередь системы, включающая потребителей одной из зон водоснабжения (110 узлов учета). ...

СИСТЕМА АВТОМАТИЗАЦИИ ДЛЯ ВОДОПРОВОДНО-КАНАЛИЗАЦИОННОГО И ТЕПЛОЭНЕРГЕТИЧЕСКОГО Х

News image

Заказчик: ОАО «Водопроводно-канализационное и энергетическое хозяйство» (г. Нижнекамск, 66 объектов) Назначение системы: Система «ГидроДиспетчер» предназначена для автоматизации и диспетчеризации п...

 

Теория АСУ:

Отопление больших помещений с помощью газа

News image

Когда мы говорим об отоплении промышленных помещений, большинство специалистов сразу думает о большой котельной, трубах, вентиляторных конвекторах, регулирующих клапанах, вентиляторах и т.д. Устойчи...

Регулирование температуры. Объекты

News image

Объектом регулирования называют ту часть системы, которая начинается в месте измерения и кончается в месте приложения регулирующего воздействия. Таким образом, объект регулирования - это та часть тр...

Инерция

News image

Самые современные материалы и технологии позволяют лишь сократить инерцию. При стандартной автоматике ее минимизирует использование котлов со стальным теплообменником. Основным недостатком их явл...

Перечень модулей ввода/вывода серии MAТCHBOX

News image

MMB500-CPU      Процессорный модуль                    16-разрядный процессор Fujitsu MMB510-4DI        Модуль дискретного ввода            24 в, 4 канала ММВ511-2DI        Модуль дискретного ...

Использования систем

News image

Правило второе. Нужно обладать информацией о системах, которые Вы собираетесь использовать. Рассмотрим различия на примере котельных пунктов. Современные котельные монтируются на базе одноконтурн...

 
 

Программные решения в автоматизации:

Неиспользованные возможности

News image

К сожалению, большинство отечественных технических специалистов увидело за словами Transparent Factory только встроенный в контроллер web-сопроцессо...

Пятьсот функций

News image

CiCode это развитый язык программирования типа C/Pascal, на котором написана SCADA-система Citect. Он включает свыше 500 функций, которые позволяют ...

Remote Scripting

News image

В методе прикладных расширений веб-сервера (IIS-приложений), описанном в части 1, при каждом требовании клиента выполнить чтение или запись значений...

Интеграционный слой

News image

Интеграция разнородных подсистем в единую систему диспетчеризации технологического процесса позволяет сконцентрировать важную информацию о процессе ...

Концепция Transparent Factory: Web-технология в автоматизаци

News image

Глобальное наступление Internet, наконец, коснулось и области промышленной автоматизации. Несмотря на распространение Internet во всех областях жизн...

Базы данных реального времени (БДРВ) и Internet-решения

News image

Поскольку БДРВ поддерживают SQL-запросов, то для организации доступа с технологической информации возможен стандартный подход как к обычным реляцион...

 

Примеры удачного внедрения:

Специализированные решения – панацея или маркетинговый ход?

Отдельно надо сказать про вертикальные и горизонтальные решения, построенные на базе той или иной ERP-системы. Строго говоря, приведенный выше четве...

Критерии выбора АСУП

Критериев выбора систем автоматизации, как и многих других достаточно сложных и дорогих товаров (например, автомобилей), существует, конечно же, мно...

Внедрение системы

Внедрение рассматриваемой концепции означает широкую перестройку всего процесса осуществления организационной стратегии. В этой связи важны два с...

ПТК ОУ

Программно-технический комплекс управления общестанционным вспомогательным оборудованием – ПТК ОУ предназначен для управления и контроля за состояни...

АСУ для предприятий пищевой промышленности: Галактика на Ще

Приняв решение о внедрении комплексной системы автоматизации управления предприятием, специалисты Щелковского витаминного завода, входящего в холдин...

Готовность предприятия к автоматизации

При анализе потребностей предприятия и формировании требований к функциональности системы важно обратить внимание на уровень готовности предприятия ...