29.05.2024
 
 

 

DataStage
Автоматизация - Построение систем хранения данных

datastage

Управление входными данными и процессами их преобразования к структуре хранения в ХД осуществляется на основе ведения единой метабазы. В качестве технологического средства создания процедур трансформации и загрузки данных в хранилище, а также для разработки структуры и сопровождения ХД в процессе эксплуатации и возможного развития, был выбран продукт DataStage от компании Ascential Software.

Этот продукт позволяет:

· в наглядной графической форме вести проектирование структуры хранилища;

· генерировать процедуры трансформации данных и загрузки их в хранилище;

· существенно облегчает эксплуатацию и дальнейшее развитие ХД.

Кроме того, DataStage не зависит от выбранной платформы СУБД он может работать с любой базой данных. В нашем случае одновременно использовались Oracle и Informix.

Пример процедуры преобразования данных

Разработка процедур загрузки ХД, их администрирование, анализ качества данных первичных источников информации осуществлялись на клиентской части подсистемы сбора и хранения информации. На рабочем месте разработчика процедур заполнения ХД и администрирования их выполнения использовался пакет программ DataStage Developer, установленный на компьютер с Windows NT/2000. Пакет DataStage Developer состоит из следующих компонентов:

· DataStage Administrator модуль по администрированию проектов, их созданию, удалению и изменению их параметров. Под проектом понимается набор описаний таблиц источников и целевых таблиц хранилища данных; набор функций извлечения данных, их трансформации и загрузки в хранилище, а также набор процедур, построенных на основе этих функций;

· DataStage Designer модуль по созданию процедур извлечения, трансформации и закачки данных на основе имеющихся функций;

· DataStage Director модуль для запуска процедур, контроля их выполнения, а также задания расписания выполнения процедур;

DataStage Manager средство доступа и работы с DataStage репозиторием, в котором хранятся метаданные (описание таблиц, функций и т.д.). С помощью этого модуля происходит добавление, удаление, изменение описаний таблиц, функций извлечения, трансформации и очистки данных.

В линейке продуктов DataStage есть специальное средство Quality Manager с его помощью контролируется качество входных данных.

 


Читайте:


Добавить комментарий


Защитный код
Обновить

Диспетчеризация пунктов:

Автоматизированная система диспетчеризации и мониторинга Энергоучет сахарного к

News image

Объект контроля: Объектом контроля является технический учет всех материальных и энергопотоков сахарного комбината: газа, пара, воды, конденсата, сырья и продукции. Сахарный комбинат состоит из д...

Автоматизированная система коммерческого учета электроэнергии на ОАО ПЕРМТРАНСЖ

News image

Реализованная на ОАО ПЕРМТРАНСЖЕЛЕЗОБЕТОН АСКУЭ предназначена для осуществления эффективного и достоверного технического автоматизированного учета электроэнергии на заводах и предприятиях различны...

АСУ ТП и система диспетчеризация головных водозаборных сооружений

News image

Объектом диспетчеризации и управления является технологическое оборудование артезианских скважин (общее число 80 скважин), находящееся в павильонах над артезианскими скважинами и водоводы (5 водовод...

 

Теория АСУ:

Техника безопасности при эксплуатации и ремонте приборов и средств автоматизации

News image

Электрические приборы и средства автоматизации, приборы, устанавливаемые во взрывоопасных помещениях и наружных установках, должны удовлетворять требованиям Правил устройства электроустановок (ПУЭ)....

Общность управления процессов в технике

News image

Н. Винеру принадлежала мысль об общности процессов управления в технике, живых организмах и в экономике и необходимости совместной деятельности учёных различных специальностей. Этот вывод подготовля...

Системы диспетчеризации объектов и визуализация процессов

News image

Любое современное здание, будь это жилой дом, торговый офисный, центр, или спортивное сооружение обязательно содержит солидный объем инженерного оборудования. Причем число инженерного оборудования н...

Управление отношением (ratio control)

News image

Иногда стабилизация отношения между двумя или большим количеством переменных процесса более значима, чем стабилизация их абсолютных значений. В таких случаях используются системы пропорционального у...

Отопление - позитивные изменения последних лет

News image

Недавно встретил школьного приятеля, которого не видел лет семь-восемь, и удивился - как он успел измениться за эти годы. При этом другой школьный друг, с которым я общался на протяжении этих лет по...

 
 

Программные решения в автоматизации:

Новые технологии и MMI-системы

News image

Каждый, кто имел дело со SCADA-системами системами диспетчерского управления и сбора данных (Supervisory Control and Data Acquisition), при разработ...

Инструментарий для интеграции разнородных подсистем

News image

Исторически на каждом предприятии сосуществуют разнообразные подсистемы: DCS, SCADA, ERP, которые в большинстве случаев функционируют независимо дру...

Большинство Web серверов позволяют

News image

· удаленным клиентам отображать информацию о процессе только в режиме чтения. Но некоторые разработчики уже объявили о поддержании в ближайших верс...

Эффективность и надежность

News image

Заметим, что очень часто системы, которые как и WizFactory функционируют под управлением Windows NT, подвергаются справедливой критике, поводом кото...

Система защиты

News image

InTouch предоставляет мощный набор функций для создания сценариев . Эти функции поддерживают математические и логические вычисления, работу с файла...

Новые функциональные возможности

News image

· использование карманных и портативных компьютеров и терминалов без специального ПО, мобильных телефонов и иных средств связи в дополнение к тради...

 

Примеры удачного внедрения:

Как оправдать инвестиции в MES

Несоответствие необходимых затрат и свободных денежных средств — постоянная проблема бизнеса, поэтому любой новый запрос на финансирование всегда бу...

ПТК ИСУ ОУ

Программно-технический комплекс измерений, сигнализации и управления сигнализацией общестанционных устройств – ПТК ИСУ ОУ предназначен для контроля ...

АСУ для предприятий пищевой промышленности: Галактика на Ще

Приняв решение о внедрении комплексной системы автоматизации управления предприятием, специалисты Щелковского витаминного завода, входящего в холдин...

Хочу машину как у соседа

Одним из флагов, которым размахивают некоторые продавцы ERP-систем, является заявление: В нашей системе накоплен и реализован мировой опыт ведения ...

БЭСТ

(Интеллект-Сервис, Россия) БЭСТ - комплексная система, которая позволяет организовать бухгалтерский учет в полном объеме, учет основных фондов, ...

Инфин

(Компания Инфин, Россия) Инфин - комплексная система, которая позволяет организовать бухгалтерский учет в полном объеме, включая учет основных...