11.07.2025
 
 

 

DataStage
Автоматизация - Построение систем хранения данных

datastage

Управление входными данными и процессами их преобразования к структуре хранения в ХД осуществляется на основе ведения единой метабазы. В качестве технологического средства создания процедур трансформации и загрузки данных в хранилище, а также для разработки структуры и сопровождения ХД в процессе эксплуатации и возможного развития, был выбран продукт DataStage от компании Ascential Software.

Этот продукт позволяет:

· в наглядной графической форме вести проектирование структуры хранилища;

· генерировать процедуры трансформации данных и загрузки их в хранилище;

· существенно облегчает эксплуатацию и дальнейшее развитие ХД.

Кроме того, DataStage не зависит от выбранной платформы СУБД он может работать с любой базой данных. В нашем случае одновременно использовались Oracle и Informix.

Пример процедуры преобразования данных

Разработка процедур загрузки ХД, их администрирование, анализ качества данных первичных источников информации осуществлялись на клиентской части подсистемы сбора и хранения информации. На рабочем месте разработчика процедур заполнения ХД и администрирования их выполнения использовался пакет программ DataStage Developer, установленный на компьютер с Windows NT/2000. Пакет DataStage Developer состоит из следующих компонентов:

· DataStage Administrator модуль по администрированию проектов, их созданию, удалению и изменению их параметров. Под проектом понимается набор описаний таблиц источников и целевых таблиц хранилища данных; набор функций извлечения данных, их трансформации и загрузки в хранилище, а также набор процедур, построенных на основе этих функций;

· DataStage Designer модуль по созданию процедур извлечения, трансформации и закачки данных на основе имеющихся функций;

· DataStage Director модуль для запуска процедур, контроля их выполнения, а также задания расписания выполнения процедур;

DataStage Manager средство доступа и работы с DataStage репозиторием, в котором хранятся метаданные (описание таблиц, функций и т.д.). С помощью этого модуля происходит добавление, удаление, изменение описаний таблиц, функций извлечения, трансформации и очистки данных.

В линейке продуктов DataStage есть специальное средство Quality Manager с его помощью контролируется качество входных данных.

 


Читайте:


Добавить комментарий


Защитный код
Обновить

Диспетчеризация пунктов:

СИСТЕМА МОНИТОРИНГА И УПРАВЛЕНИЯ ЭЛЕКТРООБОРУДОВАНИЕМ СКЛАДСКОГО КОМПЛЕКСА

News image

Заказчик: ООО «Юг Логистик - сервис», г. Москва Описание технологического процесса: Объектом мониторинга и удалённого управления являются системы электрооборудования и отдельные агрегаты складск...

АСУ ТП и система диспетчеризация головных водозаборных сооружений

News image

Объектом диспетчеризации и управления является технологическое оборудование артезианских скважин (общее число 80 скважин), находящееся в павильонах над артезианскими скважинами и водоводы (5 водовод...

РЕГИОНАЛЬНАЯ ДИСПЕТЧЕРСКАЯ СИСТЕМА ГАЗОПРОВОДНОЙ СЕТИ

News image

Заказчик: ОАО «Уральские газовые сети», Екатеринбург. Региональная газораспределительная организация Свердловской области. Описание технологического процесса: Наблюдаемыми объектами системы тел...

 

Теория АСУ:

Малобюджетный вариант СМС-диспетчеризации. Контроллер РС-420, работающий по GSM

News image

Одним из направлений работы компании Контэл (г. Владимир) является разработка и производство систем, программного обеспечения и приборов для мониторинга промышленных объектов, работающих без постоян...

Регулирование температуры воды в подающем трубопроводе

News image

В этом случае осуществляется регулирование температуры в подающем трубопроводе, которая является регулируемой величиной. Она косвенным образом влияет на температуру в помещении. Регулирование позвол...

Перечень модулей ввода/вывода серии MAТCHBOX

News image

MMB500-CPU      Процессорный модуль                    16-разрядный процессор Fujitsu MMB510-4DI        Модуль дискретного ввода            24 в, 4 канала ММВ511-2DI        Модуль дискретного ...

Принцип погодозависимого регулирования

News image

Поясним, каким образом осуществляется поддержание комнатной температуры с учетом изменений уличной. При настройке контроллера устанавливается так называемая температурная кривая, отражающая зависимо...

Контроллеры. Программирование и составление программы PLC на ПЛК

News image

Рассмотрим проблему выбора аппаратной части, стоящую перед инженером по автоматизации, в частности выбор контроллера, на базе которого и будет автоматизирован тот или иной процесс Быстроменяющаяс...

 
 

Программные решения в автоматизации:

Сервер

News image

Текстовые файлы страниц готовятся с использованием специального языка разметки гипертекста HTML (Hyper Text Markup Language); Взаимодействие пользов...

Веб-базированный доступ к технологической информации

News image

Одним из основных условий для осуществления веб-базированного удаленного обслуживания установок, оборудования и устройств является реализация непоср...

Эффективность и надежность

News image

Заметим, что очень часто системы, которые как и WizFactory функционируют под управлением Windows NT, подвергаются справедливой критике, поводом кото...

Новые технологии и MMI-системы

News image

Каждый, кто имел дело со SCADA-системами системами диспетчерского управления и сбора данных (Supervisory Control and Data Acquisition), при разработ...

Большинство Web серверов позволяют

News image

· удаленным клиентам отображать информацию о процессе только в режиме чтения. Но некоторые разработчики уже объявили о поддержании в ближайших верс...

Преимущества для пользователя

News image

Благодаря встроенным Web-серверам многие функции доступны через Internet/ Intranet, такие как: · детальная диагностика системы управления на баз...

 

Примеры удачного внедрения:

Инфин

(Компания Инфин, Россия) Инфин - комплексная система, которая позволяет организовать бухгалтерский учет в полном объеме, включая учет основных...

Система управления производством (на примере Японии)

Система управления производством фирмы «Тоёта» была разработана и усовершенствована «Тоёта Мотор Корпорейшн» и после 1973 г. была принята многими др...

Управление программами

формирование и ведение базы данных по проекту (заказу); определение и поддержка иерархической структуры работ по проекту, счетов затрат и т. п.; опр...

Гарантии успешного завершения проекта автоматизации

Гарантии успешного завершения проекта автоматизации - еще один очень важный момент, на который следует обратить внимание при выборе АСУП. Действи...

IT-Предприятие - внедрение на ЗАО Житомирские ласощи

В конце 2002 года после тщательного отбора сотрудники ЗАО Житомирские ласощи остановили свой выбор на системе IT-Предприятие киевской корпорации...

Комплексная автоматизация управления предприятием на базе решений 1С, является одним из ключевых направлений бизнеса компании «Микротест». Многолетн...