17.12.2017
 
 

 

DataStage
Автоматизация - Построение систем хранения данных

datastage

Управление входными данными и процессами их преобразования к структуре хранения в ХД осуществляется на основе ведения единой метабазы. В качестве технологического средства создания процедур трансформации и загрузки данных в хранилище, а также для разработки структуры и сопровождения ХД в процессе эксплуатации и возможного развития, был выбран продукт DataStage от компании Ascential Software.

Этот продукт позволяет:

· в наглядной графической форме вести проектирование структуры хранилища;

· генерировать процедуры трансформации данных и загрузки их в хранилище;

· существенно облегчает эксплуатацию и дальнейшее развитие ХД.

Кроме того, DataStage не зависит от выбранной платформы СУБД он может работать с любой базой данных. В нашем случае одновременно использовались Oracle и Informix.

Пример процедуры преобразования данных

Разработка процедур загрузки ХД, их администрирование, анализ качества данных первичных источников информации осуществлялись на клиентской части подсистемы сбора и хранения информации. На рабочем месте разработчика процедур заполнения ХД и администрирования их выполнения использовался пакет программ DataStage Developer, установленный на компьютер с Windows NT/2000. Пакет DataStage Developer состоит из следующих компонентов:

· DataStage Administrator модуль по администрированию проектов, их созданию, удалению и изменению их параметров. Под проектом понимается набор описаний таблиц источников и целевых таблиц хранилища данных; набор функций извлечения данных, их трансформации и загрузки в хранилище, а также набор процедур, построенных на основе этих функций;

· DataStage Designer модуль по созданию процедур извлечения, трансформации и закачки данных на основе имеющихся функций;

· DataStage Director модуль для запуска процедур, контроля их выполнения, а также задания расписания выполнения процедур;

DataStage Manager средство доступа и работы с DataStage репозиторием, в котором хранятся метаданные (описание таблиц, функций и т.д.). С помощью этого модуля происходит добавление, удаление, изменение описаний таблиц, функций извлечения, трансформации и очистки данных.

В линейке продуктов DataStage есть специальное средство Quality Manager с его помощью контролируется качество входных данных.

 


Читайте:


Добавить комментарий


Защитный код
Обновить

Диспетчеризация пунктов:

АВТОМАТИЗАЦИЯ СИСТЕМЫ ВЕНТИЛЯЦИИ И КОНДИЦИОНИРОВАНИЯ ТОРГОВОГО ЦЕНТРА

News image

Заказчик: Группа компаний «Нимал» Описание технологического процесса: Объектом управления и контроля является система кондиционирования здания торгового центра в г. Тула. Решаемые задачи: ...

РЕГИОНАЛЬНАЯ ДИСПЕТЧЕРСКАЯ СИСТЕМА ГАЗОПРОВОДНОЙ СЕТИ

News image

Заказчик: ОАО «Уральские газовые сети», Екатеринбург. Региональная газораспределительная организация Свердловской области. Описание технологического процесса: Наблюдаемыми объектами системы тел...

АВТОМАТИЗИРОВАННАЯ СИСТЕМА МОНИТОРИНГА «ЭНЕРГОУЧЕТ САХАРНОГО КОМБИНАТА» (АСМ «ЭН

News image

Заказчик: ОАО Ольховатский сахарный комбинат , Воронежская обл. (ГК Продимекс ) Описание объекта: Объектом контроля является технический учет всех материальных и энергопотоков сахарного комбин...

 

Теория АСУ:

История развития автоматизации

News image

Процесс автоматизации начался намного раньше чем нам могло бы казаться, автоматизация на самом деле появилась практически сразу же с возникновением производства, а само по себе производство существу...

Техника безопасности при ремонте приборов и средств автоматизации

News image

Поверку, регулировку и ремонт всех приборов и средств автоматизации необходимо производить с соблюдением стандартов и технических условий, утвержденных Госстандартом СССР. Аварийное выключение пр...

Принцип и функционирование устройства

News image

Подвесные газовые обогреватели воздуха представляют особенную комбинацию классических напольных обогревателей воздуха и подвесных вентиляторных конвекторов, которые пользуются водой из котельной. ...

Механические источники энергии

News image

С 60-х гг. 19 в., в связи с быстрым развитием железных дорог, стала очевидна необходимость автоматизации железнодорожного транспорта и прежде всего создания автоматических приборов контроля скорости...

Использование знаний

News image

Отмечается также развитие и системной интеграции. Руководители современных компаний начинают осознавать, что созданные собственными силами в кустарных условиях информационные системы не могут удовле...

 
 

Программные решения в автоматизации:

Схема обмена информацией между уровнями УП и УР

News image

Схема обмена информацией между уровнями УП и УР. В соответствии с планом по видам продукции предприятия, сформированном на основе имеющихся заказов,...

Преимущества и недостатки

News image

Как и все чисто серверные программные решения IIS-приложения выполняются полностью на веб-сервере. Поэтому для работы с IIS-приложением из специальн...

Общий поход к тестированию

News image

В большинстве SCADA-систем присутствуют многократно описанные и многим известные базовые свойства, но технологии и средства их реализации достаточно...

АСУТП и подсистемы АСУП, построенные на технологиях Microsof

News image

Как уже отмечено выше, существует устоявшийся набор стандартных протоколов, позволяющий назвать практически любую SCADA-систему открытой. Наибольшее...

Пример приложения: Web Access Kit for Process Data

News image

На базе обобщенной схемы распределенного приложения, представленной на рис. 14, было разработано программное обеспечение Web Access Kit (WAK) V1.0, ...

Встроенный Java

News image

Java это не только чудо-язык для применения в Web и Internet-серверах. Технология Java проникает постепенно и во встроенные системы, особенно во вст...

 

Примеры удачного внедрения:

Финансово-управленческие системы

Финансово-управленческие системы включают подклассы локальных и малых интегрированных систем. Такие системы предназначены для ведения учета по одн...

Оптимальное решение для украинских хлебокомбинатов

ERP-система IT-Предприятие широко используется для автоматизации промышленных предприятий Украины. В пищевой промышленности следует отметить внедр...

Производственные системы

Производственные системы включают подклассы средних и крупных интегрированных систем. Эти системы, в первую очередь, предназначены для управления ...

БЭСТ-5 - ИНФОРМАЦИОННАЯ СИСТЕМА УПРАВЛЕНИЯ ПРЕДПРИЯТИЕМ

Работа современного предприятия невозможна без надежной и эффективной информационной поддержки своей деятельности. Объем накапливаемых данных ...

Интегрированные системы управления предприятием (часть 3)

Аналитическая лаборатория Про-Инвест DOCS Open - корпоративная система управления документами Система обеспечивает быстрый и удобный поиск док...

Перетягивание каната

Какая система подходит предприятию больше? Мнение некоторых руководителей ИТ-служб по этому вопросу достаточно жесткое: Раз систему надо дорабатыва...