11.07.2025
 
 

 

DataStage
Автоматизация - Построение систем хранения данных

datastage

Управление входными данными и процессами их преобразования к структуре хранения в ХД осуществляется на основе ведения единой метабазы. В качестве технологического средства создания процедур трансформации и загрузки данных в хранилище, а также для разработки структуры и сопровождения ХД в процессе эксплуатации и возможного развития, был выбран продукт DataStage от компании Ascential Software.

Этот продукт позволяет:

· в наглядной графической форме вести проектирование структуры хранилища;

· генерировать процедуры трансформации данных и загрузки их в хранилище;

· существенно облегчает эксплуатацию и дальнейшее развитие ХД.

Кроме того, DataStage не зависит от выбранной платформы СУБД он может работать с любой базой данных. В нашем случае одновременно использовались Oracle и Informix.

Пример процедуры преобразования данных

Разработка процедур загрузки ХД, их администрирование, анализ качества данных первичных источников информации осуществлялись на клиентской части подсистемы сбора и хранения информации. На рабочем месте разработчика процедур заполнения ХД и администрирования их выполнения использовался пакет программ DataStage Developer, установленный на компьютер с Windows NT/2000. Пакет DataStage Developer состоит из следующих компонентов:

· DataStage Administrator модуль по администрированию проектов, их созданию, удалению и изменению их параметров. Под проектом понимается набор описаний таблиц источников и целевых таблиц хранилища данных; набор функций извлечения данных, их трансформации и загрузки в хранилище, а также набор процедур, построенных на основе этих функций;

· DataStage Designer модуль по созданию процедур извлечения, трансформации и закачки данных на основе имеющихся функций;

· DataStage Director модуль для запуска процедур, контроля их выполнения, а также задания расписания выполнения процедур;

DataStage Manager средство доступа и работы с DataStage репозиторием, в котором хранятся метаданные (описание таблиц, функций и т.д.). С помощью этого модуля происходит добавление, удаление, изменение описаний таблиц, функций извлечения, трансформации и очистки данных.

В линейке продуктов DataStage есть специальное средство Quality Manager с его помощью контролируется качество входных данных.

 


Читайте:


Добавить комментарий


Защитный код
Обновить

Диспетчеризация пунктов:

СИСТЕМА ДИСТАНЦИОННОГО МОНИТОРИНГА ЦТП УФЫ

News image

Функции системы: Описание системы ЦТП УФЫ: Для оптимизации интегральных затрат выбрано решение с применением двух каналов связи. Основной – радиоканал на выделенной частоте 160 Мгц 1200 bps с ...

СИСТЕМА ДИСПЕТЧЕРИЗАЦИИ ТЕПЛИЧНОГО КОМПЛЕКСА

News image

Заказчик: тепличный комплекс «Овощевод», г. Тольятти Описание технологического процесса: Объектом управления является тепличный комплекс, который состоит из двух бригад, к одной из которых отно...

АВТОМАТИЗИРОВАННАЯ СИСТЕМА УЧЕТА ВОДООТВЕДЕНИЯ КАНАЛИЗАЦИОННОЙ НАСОСНОЙ СТАНЦИИ

News image

Заказчик: ГУП «Водоканал С-Пб», г. С-Петербург Объект: Районная канализационная насосная станция (КНС) №6 Правобережного Водоканала) c насосными агрегатами (НА) производительностью 1500 – 7000 м3...

 

Теория АСУ:

Инерция

News image

Самые современные материалы и технологии позволяют лишь сократить инерцию. При стандартной автоматике ее минимизирует использование котлов со стальным теплообменником. Основным недостатком их явл...

Контроль измерительных приборов

News image

Для обеспечения единообразия, верности и правильного применения мер и измерительных приборов установлен определенный порядок их контроля. Для этой цели организована Государственная служба мер и изме...

Что такое DCS

News image

РСУ (DCS) - наиболее комплексный и, на мой взгляд, самый интересный класс АСУ ТП. РСУ, как правило, применяются для управления непрерывными технологическими процессами (хотя, строго говоря, сфера пр...

Отопление - позитивные изменения последних лет

News image

Недавно встретил школьного приятеля, которого не видел лет семь-восемь, и удивился - как он успел измениться за эти годы. При этом другой школьный друг, с которым я общался на протяжении этих лет по...

Средства измерения физических величин состоят из мер и измерительных приборов

News image

Мерой называется физическое тело, вещество или устройство, предназначенное для конкретного воспроизведения единицы измерений, либо ее кратного или дольного значения (например, гири, измерительные ко...

 
 

Программные решения в автоматизации:

InBatch

News image

Программный пакет InBatch - это гибкая, масштабируемая MES-система, специально разработанная для моделирования и автоматизации процессов смешения и ...

АСУТП и подсистемы АСУП, построенные на технологиях Microsof

News image

Как уже отмечено выше, существует устоявшийся набор стандартных протоколов, позволяющий назвать практически любую SCADA-систему открытой. Наибольшее...

WizFactory управление через Internet/Intranet

News image

Новую захватывающую страницу в книге глобальных систем управления открывает интегрированная среда WizFactory. Главные достоинства этой системы во мн...

Взлет Java

News image

Java это одна из ключевых технологий, используемых в Internet и Web-платформах как на серверной, так и на клиентской стороне. Браузеры Internet пост...

Базы данных реального времени (БДРВ) и Internet-решения

News image

Поскольку БДРВ поддерживают SQL-запросов, то для организации доступа с технологической информации возможен стандартный подход как к обычным реляцион...

Управление рецептами

News image

Модуль управления рецептами позволяет пользователю легко создавать, модифицировать или загружать в устройства нижнего уровня рецепты или установочны...

 

Примеры удачного внедрения:

Инфин

(Компания Инфин, Россия) Инфин - комплексная система, которая позволяет организовать бухгалтерский учет в полном объеме, включая учет основных...

Разработка пакета предложений

На шестом этапе разрабатывается корпоративный пакет предложений в виде презентации Возможности и выгоды , т.е. высшему руководству компании напра...

Хочу машину как у соседа

Одним из флагов, которым размахивают некоторые продавцы ERP-систем, является заявление: В нашей системе накоплен и реализован мировой опыт ведения ...

Временное увеличение нагрузки на сотрудников при внедрении с

На некоторых этапах проекта внедрения временно возрастает нагрузка на сотрудников предприятия. Это связано с тем, что помимо выполнения обычных рабо...

Клиент-серверные технологии

В настоящее время оптимальным решением для автоматизации крупных и средних предприятий, особенно быстро развивающихся, является использование информ...

Безопасность, удаленный режим, аппаратная платформа

Продолжая знакомство с предлагаемой системой автоматизации, стоит обратить внимание и на такие моменты. В корпоративной информационной системе хр...