18.10.2017
 
 

 

DataStage
Автоматизация - Построение систем хранения данных

datastage

Управление входными данными и процессами их преобразования к структуре хранения в ХД осуществляется на основе ведения единой метабазы. В качестве технологического средства создания процедур трансформации и загрузки данных в хранилище, а также для разработки структуры и сопровождения ХД в процессе эксплуатации и возможного развития, был выбран продукт DataStage от компании Ascential Software.

Этот продукт позволяет:

· в наглядной графической форме вести проектирование структуры хранилища;

· генерировать процедуры трансформации данных и загрузки их в хранилище;

· существенно облегчает эксплуатацию и дальнейшее развитие ХД.

Кроме того, DataStage не зависит от выбранной платформы СУБД он может работать с любой базой данных. В нашем случае одновременно использовались Oracle и Informix.

Пример процедуры преобразования данных

Разработка процедур загрузки ХД, их администрирование, анализ качества данных первичных источников информации осуществлялись на клиентской части подсистемы сбора и хранения информации. На рабочем месте разработчика процедур заполнения ХД и администрирования их выполнения использовался пакет программ DataStage Developer, установленный на компьютер с Windows NT/2000. Пакет DataStage Developer состоит из следующих компонентов:

· DataStage Administrator модуль по администрированию проектов, их созданию, удалению и изменению их параметров. Под проектом понимается набор описаний таблиц источников и целевых таблиц хранилища данных; набор функций извлечения данных, их трансформации и загрузки в хранилище, а также набор процедур, построенных на основе этих функций;

· DataStage Designer модуль по созданию процедур извлечения, трансформации и закачки данных на основе имеющихся функций;

· DataStage Director модуль для запуска процедур, контроля их выполнения, а также задания расписания выполнения процедур;

DataStage Manager средство доступа и работы с DataStage репозиторием, в котором хранятся метаданные (описание таблиц, функций и т.д.). С помощью этого модуля происходит добавление, удаление, изменение описаний таблиц, функций извлечения, трансформации и очистки данных.

В линейке продуктов DataStage есть специальное средство Quality Manager с его помощью контролируется качество входных данных.

 


Читайте:


Добавить комментарий


Защитный код
Обновить

Диспетчеризация пунктов:

Система диспетчеризации тепличного комплекса Овощевод

News image

Объект контроля:Объектом управления является тепличный комплекс, который состоит из двух бригад, к одной из которых относятся четыре теплицы, ко второй - пять. Задача управления для каждой теплицы с...

Автоматизированная система оперативного дистанционного управления канализационны

News image

Заказчиком системы выступал МУП «Водоканал Воронежа». На каждой канализационной станции для сбора стоков имеется приёмная ёмкость. Уровень в емкости управляется насосами откачивающими стоки в очистн...

Автоматизированная система учета водоотведения канализационной насосной станции

News image

Объект автоматизации - районная канализационная насосная станция (КНС) c насосными агрегатами производительностью 1500 – 7000 м3/час с электродвигателями 6 кВ. Для реализации учета КНС оборудована п...

 

Теория АСУ:

Рассмотрим комплексные схемы применения PID-регуляторов

News image

Для чего используются PID-регуляторы? Лучше пояснить на примере. Допустим, есть абстрактный технологический процесс. Воду в емкости необходимо нагреть и поддерживать при определенной температуре. Дл...

Перечень модулей ввода/вывода серии MAТCHBOX

News image

MMB500-CPU      Процессорный модуль                    16-разрядный процессор Fujitsu MMB510-4DI        Модуль дискретного ввода            24 в, 4 канала ММВ511-2DI        Модуль дискретного ...

Пользовательские функции

News image

К пользовательским функциям прежде всего относятся различные программы отопления, которые позволяют адаптировать режим обогрева дома к ритму жизни его обитателей (сон и бодрствование, отпуска, посме...

Диспетчеризация подсистемы теплоснабжения

News image

Представленная подсистема используется для регулирования горячего водоснабжения, отопления, управления насосами, котлами и другим оборудованием. Подсистема теплоснабжения не только регулирует, но...

Неизменяемая часть системы управления

News image

Так вводится понятие неизменяемой части системы управления - неизменяемой в том смысле, что свойства её заданы до начала конструирования алгоритма управления и, как правило, не могут быть изменены. ...

 
 

Программные решения в автоматизации:

Transparent Factory первые шаги

News image

Прошло больше года с момента появления первых обзорных статей, посвященных концепции Transparent Factory (далее TF) [1],[2] выдвинутой компанией Шне...

Взлет Java

News image

Java это одна из ключевых технологий, используемых в Internet и Web-платформах как на серверной, так и на клиентской стороне. Браузеры Internet пост...

Преимущества и недостатки

News image

Основными преимуществами Remote Scripting для разработчика являются прозрачность, простота и гибкость решений для веб-базированного доступа к технол...

Sun

News image

Изначально Sun нацеливалась на небольшие встраиваемые устройства. Но когда вдруг выяснилось, что Java становится массовым любимцем в Web и Internet,...

Функциональные возможности InTouch

News image

Основой пакета InTouch является мощная векторная объектно-ориентированная графика. В инструментарий графических средств включены возможности создани...

Функциональные возможности системы

News image

Имея приведенную выше конфигурацию, система позволяет, на уровне управления технологическим оборудованием выполнять следующие функции: на нижнем ...

 

Примеры удачного внедрения:

Система «канбан»

Многие называют систему «Тоёта» системой «канбан». Такое определение некорректно. Система «Тоёта» представляет собой метод организации производства ...

Безопасность, удаленный режим, аппаратная платформа

Продолжая знакомство с предлагаемой системой автоматизации, стоит обратить внимание и на такие моменты. В корпоративной информационной системе хр...

1С:Предприятие (Компания 1С, Россия)

Система 1С:Предприятие : комплексная конфигурация Бухгалтерия; Торговля; Склад; Зарплата; Кадры представляет собой универсальную программу - ко...

Совокупная стоимость владения

Покупая автомобиль, опытный шофер обязательно поинтересуется, каков расход топлива на 100 км, какое именно топливо и масло нужно и сколько оно стоит...

SAP

Компания «Микротест» имеет многолетний практический опыт внедрения корпоративных систем управления предприятием, построенных на базе программного об...

Сопротивление сотрудников предприятия

При внедрении информационной систем управления предприятием в большинстве случаев возникает активное сопротивление сотрудников на местах, которое яв...