15.08.2018
 
 

 

DataStage
Автоматизация - Построение систем хранения данных

datastage

Управление входными данными и процессами их преобразования к структуре хранения в ХД осуществляется на основе ведения единой метабазы. В качестве технологического средства создания процедур трансформации и загрузки данных в хранилище, а также для разработки структуры и сопровождения ХД в процессе эксплуатации и возможного развития, был выбран продукт DataStage от компании Ascential Software.

Этот продукт позволяет:

· в наглядной графической форме вести проектирование структуры хранилища;

· генерировать процедуры трансформации данных и загрузки их в хранилище;

· существенно облегчает эксплуатацию и дальнейшее развитие ХД.

Кроме того, DataStage не зависит от выбранной платформы СУБД он может работать с любой базой данных. В нашем случае одновременно использовались Oracle и Informix.

Пример процедуры преобразования данных

Разработка процедур загрузки ХД, их администрирование, анализ качества данных первичных источников информации осуществлялись на клиентской части подсистемы сбора и хранения информации. На рабочем месте разработчика процедур заполнения ХД и администрирования их выполнения использовался пакет программ DataStage Developer, установленный на компьютер с Windows NT/2000. Пакет DataStage Developer состоит из следующих компонентов:

· DataStage Administrator модуль по администрированию проектов, их созданию, удалению и изменению их параметров. Под проектом понимается набор описаний таблиц источников и целевых таблиц хранилища данных; набор функций извлечения данных, их трансформации и загрузки в хранилище, а также набор процедур, построенных на основе этих функций;

· DataStage Designer модуль по созданию процедур извлечения, трансформации и закачки данных на основе имеющихся функций;

· DataStage Director модуль для запуска процедур, контроля их выполнения, а также задания расписания выполнения процедур;

DataStage Manager средство доступа и работы с DataStage репозиторием, в котором хранятся метаданные (описание таблиц, функций и т.д.). С помощью этого модуля происходит добавление, удаление, изменение описаний таблиц, функций извлечения, трансформации и очистки данных.

В линейке продуктов DataStage есть специальное средство Quality Manager с его помощью контролируется качество входных данных.

 


Читайте:


Добавить комментарий


Защитный код
Обновить

Диспетчеризация пунктов:

СИСТЕМА ДИСТАНЦИОННОГО МОНИТОРИНГА ЦТП УФЫ

News image

Функции системы: Описание системы ЦТП УФЫ: Для оптимизации интегральных затрат выбрано решение с применением двух каналов связи. Основной – радиоканал на выделенной частоте 160 Мгц 1200 bps с ...

Система автоматизации и диспетчеризации теплосетей. Энергоучет

News image

Объект: теплосети (котельные, ИТП) городов Климовск, Подольск, пос. Мещерское Автоматика объекта (контроллер Трансформер, Электротехническая Компания) по его инициативе обеспечивает за минимально...

АВТОМАТИЗИРОВАННАЯ СИСТЕМА МОНИТОРИНГА «ЭНЕРГОУЧЕТ САХАРНОГО КОМБИНАТА» (АСМ «ЭН

News image

Заказчик: ОАО Ольховатский сахарный комбинат , Воронежская обл. (ГК Продимекс ) Описание объекта: Объектом контроля является технический учет всех материальных и энергопотоков сахарного комбин...

 

Теория АСУ:

Внедрение информационных систем

News image

Кроме того, внедрение информационных систем позволяет улучшить ряд показателей: Производительность труда (операционная эффективность) имеет отношение к скорости, стоимости и качеству выполнения р...

Диспетчеризация подсистемы электроснабжения

News image

Подсистема электроснабжения представляет собой составную часть любого здания, будь то инженерные, жилые или административно-производственные коммуникации. Высокая надежность и эффективность электрос...

Автоматическое управление

News image

Основы автоматического управления и возникновение систем автоматического управления. Понятие первой замкнутой системы и автоматизации производства как нового этапа развития автоматических систем. Ав...

История развития автоматизации

News image

Процесс автоматизации начался намного раньше чем нам могло бы казаться, автоматизация на самом деле появилась практически сразу же с возникновением производства, а само по себе производство существу...

Пропорциональная составляющая

News image

Пропорциональная составляющая стремится устранить непосредственную ошибку (SP-PV) в значении стабилизируемой величины, наблюдаемую в данный момент времени. Значение этой составляющей прямопропорцион...

 
 

Программные решения в автоматизации:

Transparent Factory первые шаги

News image

Прошло больше года с момента появления первых обзорных статей, посвященных концепции Transparent Factory (далее TF) [1],[2] выдвинутой компанией Шне...

Развитие Internet-технологий в современных информационных си

News image

Необходимость использования технологий Internet/Intranet на производстве обусловлена растущими потребностями в предоставлении информации о процессе ...

InTouch

News image

В рамках предлагаемой статьи вряд ли стоит рассматривать собственно пакет InTouch - за последние полтора-два года в самых популярных отечественных п...

Java здесь, Java там

News image

Чем объясняется попуярность языка Java на рынке встраиваемых систем? Есть ли реальная основа под уверенностью в том, что Java - это давно ожидаемое ...

Remote Scripting

News image

В методе прикладных расширений веб-сервера (IIS-приложений), описанном в части 1, при каждом требовании клиента выполнить чтение или запись значений...

Пример приложения: Web Access Kit for Process Data

News image

На базе обобщенной схемы распределенного приложения, представленной на рис. 14, было разработано программное обеспечение Web Access Kit (WAK) V1.0, ...

 

Примеры удачного внедрения:

Клиент-серверные технологии

В настоящее время оптимальным решением для автоматизации крупных и средних предприятий, особенно быстро развивающихся, является использование информ...

Сопротивление сотрудников предприятия

При внедрении информационной систем управления предприятием в большинстве случаев возникает активное сопротивление сотрудников на местах, которое яв...

ПТК ГРАРМ

Программно-технический комплекс группового регулятора активной и реактивной мощности гидроэлектростанции – ПТК ГРАРМ, предназначен для автоматическо...

БЭСТ-5 - ИНФОРМАЦИОННАЯ СИСТЕМА УПРАВЛЕНИЯ ПРЕДПРИЯТИЕМ

Работа современного предприятия невозможна без надежной и эффективной информационной поддержки своей деятельности. Объем накапливаемых данных ...

Как выбрать систему автоматизации управления предприятие

Как бы шаблонно это не звучало, но выбор автоматизированной системы управления предприятием (АСУП) - дело ответственное. И на это есть несколько при...

Область применения БЭСТ-5

Система управления предприятием БЭСТ-5 предназначена для использования малыми и средними предприятиями. Она обеспечивает ведение оперативного, бухга...