19.03.2024
 
 

 

DataStage
Автоматизация - Построение систем хранения данных

datastage

Управление входными данными и процессами их преобразования к структуре хранения в ХД осуществляется на основе ведения единой метабазы. В качестве технологического средства создания процедур трансформации и загрузки данных в хранилище, а также для разработки структуры и сопровождения ХД в процессе эксплуатации и возможного развития, был выбран продукт DataStage от компании Ascential Software.

Этот продукт позволяет:

· в наглядной графической форме вести проектирование структуры хранилища;

· генерировать процедуры трансформации данных и загрузки их в хранилище;

· существенно облегчает эксплуатацию и дальнейшее развитие ХД.

Кроме того, DataStage не зависит от выбранной платформы СУБД он может работать с любой базой данных. В нашем случае одновременно использовались Oracle и Informix.

Пример процедуры преобразования данных

Разработка процедур загрузки ХД, их администрирование, анализ качества данных первичных источников информации осуществлялись на клиентской части подсистемы сбора и хранения информации. На рабочем месте разработчика процедур заполнения ХД и администрирования их выполнения использовался пакет программ DataStage Developer, установленный на компьютер с Windows NT/2000. Пакет DataStage Developer состоит из следующих компонентов:

· DataStage Administrator модуль по администрированию проектов, их созданию, удалению и изменению их параметров. Под проектом понимается набор описаний таблиц источников и целевых таблиц хранилища данных; набор функций извлечения данных, их трансформации и загрузки в хранилище, а также набор процедур, построенных на основе этих функций;

· DataStage Designer модуль по созданию процедур извлечения, трансформации и закачки данных на основе имеющихся функций;

· DataStage Director модуль для запуска процедур, контроля их выполнения, а также задания расписания выполнения процедур;

DataStage Manager средство доступа и работы с DataStage репозиторием, в котором хранятся метаданные (описание таблиц, функций и т.д.). С помощью этого модуля происходит добавление, удаление, изменение описаний таблиц, функций извлечения, трансформации и очистки данных.

В линейке продуктов DataStage есть специальное средство Quality Manager с его помощью контролируется качество входных данных.

 


Читайте:


Добавить комментарий


Защитный код
Обновить

Диспетчеризация пунктов:

Автоматизированная система диспетчеризации и мониторинга Энергоучет сахарного к

News image

Объект контроля: Объектом контроля является технический учет всех материальных и энергопотоков сахарного комбината: газа, пара, воды, конденсата, сырья и продукции. Сахарный комбинат состоит из д...

Система автоматизации для водопроводно-канализационного и теплоэнергетического х

News image

Система «ГидроДиспетчер» предназначена для автоматизации и диспетчеризации процессов водо-, теплоснабжения и водоотведения. Она позволяет провести автоматизацию и диспетчеризацию полного цикла водос...

СИСТЕМА ДИСПЕТЧЕРИЗАЦИИ РАСПРЕДЕЛЕННЫХ ОБЪЕКТОВ КУРГАНВОДОКАНАЛА

News image

Заказчик и разработчик: МУП «Курганводоканал» Объект: городские сети водоснабжения, пункт водозабора, насосные станции третьего подъема, канализационные насосные станции Состав системы: Сбор...

 

Теория АСУ:

Сменный диспетчер

News image

ствия, и поступают от программных устройств центрифуг, расходы рафинадной кашки - от ленточных весов, непрерывные и интегрируемые сигналы которых также преобразуются в число-импульсные. В табл. 19-2...

Образцовые и эталонные рабочие приборы

News image

По метрологическому назначению приборы делятся на рабочие, образцовые и эталонные. Рабочие приборы подразделяются на технические и лабораторные. Первые предназначены для практических целей измере...

Показатели уровня механизации и автоматизации

News image

Показатели уровня механизации и автоматизации можно распределить на два больших класса: структурные и функциональные, которые оценивают по показателям либо структуры, либо процесса функционирования ...

Рассмотрим комплексные схемы применения PID-регуляторов

News image

Для чего используются PID-регуляторы? Лучше пояснить на примере. Допустим, есть абстрактный технологический процесс. Воду в емкости необходимо нагреть и поддерживать при определенной температуре. Дл...

Отопление больших помещений с помощью газа

News image

Когда мы говорим об отоплении промышленных помещений, большинство специалистов сразу думает о большой котельной, трубах, вентиляторных конвекторах, регулирующих клапанах, вентиляторах и т.д. Устойчи...

 
 

Программные решения в автоматизации:

Структура Windows DNA

News image

Cтруктура Windows DNA это, в первую очередь, реализация трехуровневой модели приложения, включающей следующие уровни (рис.2): · уровень представ...

Сетевые возможности

News image

Как мы уже упоминали, фирмой Wonderware был разработан специальный протокол (NetDDE) для сетевого расширения протокола DDE. С точки зрения разработч...

Преимущества для пользователя

News image

Благодаря встроенным Web-серверам многие функции доступны через Internet/ Intranet, такие как: · детальная диагностика системы управления на баз...

FactoryFocus

News image

Среди всех вариантов InTouch, поставляемых фирмой Wonderware, хотелось бы выделить пакет FactoryFocus. Главная его особенность состоит в том, что он...

Sun

News image

Изначально Sun нацеливалась на небольшие встраиваемые устройства. Но когда вдруг выяснилось, что Java становится массовым любимцем в Web и Internet,...

Преимущества и недостатки Java

News image

Язык программирования Java специально создавался для разработки сетевых приложений и обладает всеми средствами для реализации динамического обмена д...

 

Примеры удачного внедрения:

ПТК ВК

Программно-технический комплекс вибрационного контроля гидроагрегата – ПТК ВК предназначен для технологического контроля вибрационных парметров гидр...

ПТК ОУ

Программно-технический комплекс управления общестанционным вспомогательным оборудованием – ПТК ОУ предназначен для управления и контроля за состояни...

Работа системы

В 1998 г. Каплан и Нортон организовали в г. Линкольн (шт. Массачусетс, США) консультационную группу BSC Collaborative, Inc., задача которой заключае...

Временное увеличение нагрузки на сотрудников при внедрении с

На некоторых этапах проекта внедрения временно возрастает нагрузка на сотрудников предприятия. Это связано с тем, что помимо выполнения обычных рабо...

Внедрение информационной системы управления предприятием, ос

АСУП - автоматизированная система управления предприятием или информационная система управления предприятием, то, что сейчас называется по-английски...

Активизация человеческого фактора

Система управления производством «Тоёты» позволяет достичь различные цели (оперативное регулирование производства, гарантия качества, активизация са...