11.07.2025
 
 

 

DataStage
Автоматизация - Построение систем хранения данных

datastage

Управление входными данными и процессами их преобразования к структуре хранения в ХД осуществляется на основе ведения единой метабазы. В качестве технологического средства создания процедур трансформации и загрузки данных в хранилище, а также для разработки структуры и сопровождения ХД в процессе эксплуатации и возможного развития, был выбран продукт DataStage от компании Ascential Software.

Этот продукт позволяет:

· в наглядной графической форме вести проектирование структуры хранилища;

· генерировать процедуры трансформации данных и загрузки их в хранилище;

· существенно облегчает эксплуатацию и дальнейшее развитие ХД.

Кроме того, DataStage не зависит от выбранной платформы СУБД он может работать с любой базой данных. В нашем случае одновременно использовались Oracle и Informix.

Пример процедуры преобразования данных

Разработка процедур загрузки ХД, их администрирование, анализ качества данных первичных источников информации осуществлялись на клиентской части подсистемы сбора и хранения информации. На рабочем месте разработчика процедур заполнения ХД и администрирования их выполнения использовался пакет программ DataStage Developer, установленный на компьютер с Windows NT/2000. Пакет DataStage Developer состоит из следующих компонентов:

· DataStage Administrator модуль по администрированию проектов, их созданию, удалению и изменению их параметров. Под проектом понимается набор описаний таблиц источников и целевых таблиц хранилища данных; набор функций извлечения данных, их трансформации и загрузки в хранилище, а также набор процедур, построенных на основе этих функций;

· DataStage Designer модуль по созданию процедур извлечения, трансформации и закачки данных на основе имеющихся функций;

· DataStage Director модуль для запуска процедур, контроля их выполнения, а также задания расписания выполнения процедур;

DataStage Manager средство доступа и работы с DataStage репозиторием, в котором хранятся метаданные (описание таблиц, функций и т.д.). С помощью этого модуля происходит добавление, удаление, изменение описаний таблиц, функций извлечения, трансформации и очистки данных.

В линейке продуктов DataStage есть специальное средство Quality Manager с его помощью контролируется качество входных данных.

 


Читайте:


Добавить комментарий


Защитный код
Обновить

Диспетчеризация пунктов:

СИСТЕМА МОНИТОРИНГА ЗДАНИЯ ПРАВЛЕНИЯ ОАО РОСНЕФТЬ

News image

Функции системы: · Во вторую очередь системы должны быть также функции контроля качества электроснабжения и мониторинг из той же диспетчерской инженерного оборудования территориально удаленного ...

СИСТЕМА ДИСТАНЦИОННОГО МОНИТОРИНГА ЦТП УФЫ

News image

Функции системы: Описание системы ЦТП УФЫ: Для оптимизации интегральных затрат выбрано решение с применением двух каналов связи. Основной – радиоканал на выделенной частоте 160 Мгц 1200 bps с ...

АВТОМАТИЗИРОВАННАЯ СИСТЕМА УПРАВЛЕНИЯ МОБИЛЬНЫМ ЦЕНТРОМ ОБРАБОТКИ ДАННЫХ КОМПАНИ

News image

Заказчик: компания «Комус» Объект:мобильный центр обработки данных (МЦОД) Характеристика объекта управления: МЦОД, являясь, по сути, аналогом стандартного дата-центра, заключает в себе ряд до...

 

Теория АСУ:

Программируемые логические контроллеры компании Контэл

News image

Производственная компания «Контэл» с 2000 года специализируется на разработке и производстве аппаратно-программных средств для создания систем промышленной автоматики. Одной из видов продукции, я...

История развития автоматизации

News image

Процесс автоматизации начался намного раньше чем нам могло бы казаться, автоматизация на самом деле появилась практически сразу же с возникновением производства, а само по себе производство существу...

Диспетчеризация подсистемы электроснабжения

News image

Подсистема электроснабжения представляет собой составную часть любого здания, будь то инженерные, жилые или административно-производственные коммуникации. Высокая надежность и эффективность электрос...

Диспетчеризация подсистемы теплоснабжения

News image

Представленная подсистема используется для регулирования горячего водоснабжения, отопления, управления насосами, котлами и другим оборудованием. Подсистема теплоснабжения не только регулирует, но...

Применение гидравлических регуляторов

News image

Применение гидравлических регуляторов ограничено спецификой вида энергоносителя сигналов (например, масло не применяется на пожаро - и взрывоопасных производствах). Устройства гидравлической ветви п...

 
 

Программные решения в автоматизации:

Фрагмент 1 HTML-кода

News image

При нажатии на веб-странице кнопки обновления или записи значений технологических переменных сервер IIS получает запрос на посылку клиенту обновленн...

InSupport

News image

Пакет InSupport - это мощное программное средство для обнаружения и устранения неисправностей и ведения технической документации. Оно обеспечивает л...

FactorySuite Web Server

News image

FactorySuite Web Server обеспечивает централизованное администрирование приложений InTouch и данных FactorySuite через Internet/Intranet и поддержив...

Java поменьше

News image

Компания Sun в настоящее время работает над сокращением размеров виртуальной Java-машины и системы исполнения для использования их в приложениях с б...

SCADA-системы. Стратегия клиентских приложений

News image

Традиционно SCADA-системы выполняют следующие функции: · сбор данных с контроллерного уровня, в том числе на основе стандартных протоколов DDE, ...

Опыт практического использования

News image

Приложения IIS особенно предпочтительны для VB-разработчиков, поскольку создавать веб-приложения они могут в привычной для них среде разработки Visu...

 

Примеры удачного внедрения:

Готовность предприятия к автоматизации

При анализе потребностей предприятия и формировании требований к функциональности системы важно обратить внимание на уровень готовности предприятия ...

Идеальная организация производства

Обратимся к оптимизации производства с помощью карточек «канбан». Допустим, что цех по изготовлению двигателей должен в соответствии с производствен...

Функциональный состав БЭСТ-5

Система управления предприятием состоит из набора функциональных элементов - приложений. Каждый такой элемент автоматизирует определенное направлени...

Проблемы организации переналадки оборудования

Самой трудной проблемой в обеспечении выравненного производства являются наладка и переналадка оборудования. Например, в процессе штамповки снижение...

Работа системы

В 1998 г. Каплан и Нортон организовали в г. Линкольн (шт. Массачусетс, США) консультационную группу BSC Collaborative, Inc., задача которой заключае...

Производство по принципу «точно вовремя»

Принцип производства необходимых деталей в необходимых количествах в нужное время обозначается термином «точно вовремя» (jush-in-time). Он означает,...