21.02.2019
 
 

 

DataStage
Автоматизация - Построение систем хранения данных

datastage

Управление входными данными и процессами их преобразования к структуре хранения в ХД осуществляется на основе ведения единой метабазы. В качестве технологического средства создания процедур трансформации и загрузки данных в хранилище, а также для разработки структуры и сопровождения ХД в процессе эксплуатации и возможного развития, был выбран продукт DataStage от компании Ascential Software.

Этот продукт позволяет:

· в наглядной графической форме вести проектирование структуры хранилища;

· генерировать процедуры трансформации данных и загрузки их в хранилище;

· существенно облегчает эксплуатацию и дальнейшее развитие ХД.

Кроме того, DataStage не зависит от выбранной платформы СУБД он может работать с любой базой данных. В нашем случае одновременно использовались Oracle и Informix.

Пример процедуры преобразования данных

Разработка процедур загрузки ХД, их администрирование, анализ качества данных первичных источников информации осуществлялись на клиентской части подсистемы сбора и хранения информации. На рабочем месте разработчика процедур заполнения ХД и администрирования их выполнения использовался пакет программ DataStage Developer, установленный на компьютер с Windows NT/2000. Пакет DataStage Developer состоит из следующих компонентов:

· DataStage Administrator модуль по администрированию проектов, их созданию, удалению и изменению их параметров. Под проектом понимается набор описаний таблиц источников и целевых таблиц хранилища данных; набор функций извлечения данных, их трансформации и загрузки в хранилище, а также набор процедур, построенных на основе этих функций;

· DataStage Designer модуль по созданию процедур извлечения, трансформации и закачки данных на основе имеющихся функций;

· DataStage Director модуль для запуска процедур, контроля их выполнения, а также задания расписания выполнения процедур;

DataStage Manager средство доступа и работы с DataStage репозиторием, в котором хранятся метаданные (описание таблиц, функций и т.д.). С помощью этого модуля происходит добавление, удаление, изменение описаний таблиц, функций извлечения, трансформации и очистки данных.

В линейке продуктов DataStage есть специальное средство Quality Manager с его помощью контролируется качество входных данных.

 


Читайте:


Добавить комментарий


Защитный код
Обновить

Диспетчеризация пунктов:

Состав и структура системы автоматизации

News image

Система нижнего уровня реализует автоматическое и автоматизированное управление следующими функциональными комплексами и системами: насосной станцией системы внутреннего пожаротушения насосной ста...

Автоматизированная система оперативного дистанционного управления канализационны

News image

Заказчиком системы выступал МУП «Водоканал Воронежа». На каждой канализационной станции для сбора стоков имеется приёмная ёмкость. Уровень в емкости управляется насосами откачивающими стоки в очистн...

АВТОМАТИЗИРОВАННАЯ СИСТЕМА КОММЕРЧЕСКОГО УЧЕТА ОТПУСКА ПИТЬЕВОЙ ВОДЫ ПОТРЕБИТЕЛЯ

News image

Заказчик: Комитет по управлению Жилищно-коммунальным хозяйством Администрации г. Новороссийск Объект: I-я очередь системы, включающая потребителей одной из зон водоснабжения (110 узлов учета). ...

 

Теория АСУ:

Контрольно-измерительные приборы - КИП. Классификация, характеристики, контроль,

News image

Контрольно-измерительные приборы можно классифицировать по следующим основным признакам: по роду измеряемой величины, способу получения информации, метрологическому назначению, расположению. По р...

Подсистема централизованного контроля

News image

Подсистема централизованного контроля основных режимных параметров и состояния технологического оборудования предназначена для текущего информирования диспетчера и руководства завода о ходе процессо...

Обзор рынка и выставки Передовые Технологии Автоматизации

News image

Сегодня на российском рынке идёт борьба за потребителя, компании конкурируют друг с другом. В этой конкурентной борьбе побеждает тот, кто раньше других начал переводить своё производство на мировые ...

Принцип и функционирование устройства

News image

Подвесные газовые обогреватели воздуха представляют особенную комбинацию классических напольных обогревателей воздуха и подвесных вентиляторных конвекторов, которые пользуются водой из котельной. ...

Методы автоматизации

News image

Методы автоматизации производства и научные основы автоматизации развиваются главным образом по 3 направлениям.Во-первых, разрабатывают методы эффективного изучения закономерностей объектов управлен...

 
 

Программные решения в автоматизации:

Примеры применениясистемы WizFactoryдля управления по Intern

News image

Одно из первых применений SCADA-системы WizFactory построение оригинальной системы управления складскими запасами исходного сырья для производства р...

База данных реального времени

News image

Переменные, входящие в базу данных реального времени, могут быть текстовыми, дискретными, действительными или целыми числами. Они также могут быть п...

SCADA-системы. Стратегия клиентских приложений

News image

Традиционно SCADA-системы выполняют следующие функции: · сбор данных с контроллерного уровня, в том числе на основе стандартных протоколов DDE, ...

Взлет Java

News image

Java это одна из ключевых технологий, используемых в Internet и Web-платформах как на серверной, так и на клиентской стороне. Браузеры Internet пост...

Системы управления ресурсами предприятия

News image

Системы управления ресурсами предприятия делятся на следующие большие группы (Табл. 1): · коробочные продукты , реализующие небольшое число бизн...

Применение Java

News image

Когда необходимо организовать событийно-управляемую передачу технологических данных от веб-сервера к клиенту (например, для динамического отображени...

 

Примеры удачного внедрения:

ПТК АУГ

Программно-технический комплекс автоматического управления гидроагрегатом – ПТК АУГ выполняет функции технологической автоматики и предназначен для ...

Проектирование и организация технологических процессов

Рассмотрим порядок проектирования и организации производственных процессов. Первоначально на заводе все пять токарных, фрезерных и сверлильных станк...

Критерии выбора АСУП

Критериев выбора систем автоматизации, как и многих других достаточно сложных и дорогих товаров (например, автомобилей), существует, конечно же, мно...

Парус

(Компания Парус , Россия) Парус - комплексная система, которая позволяет организовать бухгалтерский учет в полном объеме, учет основных фондо...

Проблемы организации переналадки оборудования

Самой трудной проблемой в обеспечении выравненного производства являются наладка и переналадка оборудования. Например, в процессе штамповки снижение...

SAP

Компания «Микротест» имеет многолетний практический опыт внедрения корпоративных систем управления предприятием, построенных на базе программного об...