12.12.2018
 
 

 

DataStage
Автоматизация - Построение систем хранения данных

datastage

Управление входными данными и процессами их преобразования к структуре хранения в ХД осуществляется на основе ведения единой метабазы. В качестве технологического средства создания процедур трансформации и загрузки данных в хранилище, а также для разработки структуры и сопровождения ХД в процессе эксплуатации и возможного развития, был выбран продукт DataStage от компании Ascential Software.

Этот продукт позволяет:

· в наглядной графической форме вести проектирование структуры хранилища;

· генерировать процедуры трансформации данных и загрузки их в хранилище;

· существенно облегчает эксплуатацию и дальнейшее развитие ХД.

Кроме того, DataStage не зависит от выбранной платформы СУБД он может работать с любой базой данных. В нашем случае одновременно использовались Oracle и Informix.

Пример процедуры преобразования данных

Разработка процедур загрузки ХД, их администрирование, анализ качества данных первичных источников информации осуществлялись на клиентской части подсистемы сбора и хранения информации. На рабочем месте разработчика процедур заполнения ХД и администрирования их выполнения использовался пакет программ DataStage Developer, установленный на компьютер с Windows NT/2000. Пакет DataStage Developer состоит из следующих компонентов:

· DataStage Administrator модуль по администрированию проектов, их созданию, удалению и изменению их параметров. Под проектом понимается набор описаний таблиц источников и целевых таблиц хранилища данных; набор функций извлечения данных, их трансформации и загрузки в хранилище, а также набор процедур, построенных на основе этих функций;

· DataStage Designer модуль по созданию процедур извлечения, трансформации и закачки данных на основе имеющихся функций;

· DataStage Director модуль для запуска процедур, контроля их выполнения, а также задания расписания выполнения процедур;

DataStage Manager средство доступа и работы с DataStage репозиторием, в котором хранятся метаданные (описание таблиц, функций и т.д.). С помощью этого модуля происходит добавление, удаление, изменение описаний таблиц, функций извлечения, трансформации и очистки данных.

В линейке продуктов DataStage есть специальное средство Quality Manager с его помощью контролируется качество входных данных.

 


Читайте:


Добавить комментарий


Защитный код
Обновить

Диспетчеризация пунктов:

Региональная диспетчерская система газопроводной сети

News image

Заказчик: ОАО «Уральские газовые сети», Екатеринбург. Региональная газораспределительная организация Свердловской области. Наблюдаемыми объектами являются газорегуляторные пункты (ГРП) газопровод...

Система диспетчеризации распределенных объектов Курганводоканала

News image

Объект: городские сети водоснабжения, пункт водозабора, насосные станции третьего подъема, канализационные насосные станции. Для сбора данных с объектов используется радиоканал. Система диспетчер...

АВТОМАТИЗИРОВАННАЯ СИСТЕМА УЧЕТА ВОДООТВЕДЕНИЯ КАНАЛИЗАЦИОННОЙ НАСОСНОЙ СТАНЦИИ

News image

Заказчик: ГУП «Водоканал С-Пб», г. С-Петербург Объект: Районная канализационная насосная станция (КНС) №6 Правобережного Водоканала) c насосными агрегатами (НА) производительностью 1500 – 7000 м3...

 

Теория АСУ:

Использования систем

News image

Правило второе. Нужно обладать информацией о системах, которые Вы собираетесь использовать. Рассмотрим различия на примере котельных пунктов. Современные котельные монтируются на базе одноконтурн...

Диспетчеризация подсистемы вентиляции и кондиционирования

News image

Данная подсистема осуществляет контроль и управление, на основе сигналов, поступающих от датчиков влажности, температуры, содержания углекислого газа и пыли в воздухе. Зачастую подобные устройства м...

Диспетчеризация подсистемы теплоснабжения

News image

Представленная подсистема используется для регулирования горячего водоснабжения, отопления, управления насосами, котлами и другим оборудованием. Подсистема теплоснабжения не только регулирует, но...

Диспетчеризация подсистемы водоснабжения

News image

Подсистема водоснабжения осуществляет, управление работой насосов, контролируя, при этом, поддержание необходимого давления или уровня. Для достижения равномерной выработки ресурса насосов выполн...

Применение автоматизированных тепловых пунктов - ключ к энергосбережению в систе

News image

Существующие системы централизованного теплоснабжения были спроектированы в условиях социалистического хозяйства, и этот факт в значительной степени определяет их низкую энергетическую эффективность...

 
 

Программные решения в автоматизации:

Простота использования

News image

Графический построитель поддерживает несколько шаблонов алармов, из которых можно выбрать наиболее подходящий для вашей задачи. На тесте, представле...

Специальныйинструментарийдля создания Internet/Intranet-клие

News image

Если Вы не используете готовых приложений клиентов Web, то для того чтобы создать свой Web-сайт и при этом разработать не просто бедного клиента, а ...

Пример приложения: Web Access Kit for Process Data

News image

На базе обобщенной схемы распределенного приложения, представленной на рис. 14, было разработано программное обеспечение Web Access Kit (WAK) V1.0, ...

Преимущества и недостатки

News image

Как и все чисто серверные программные решения IIS-приложения выполняются полностью на веб-сервере. Поэтому для работы с IIS-приложением из специальн...

Сетевые возможности

News image

Как мы уже упоминали, фирмой Wonderware был разработан специальный протокол (NetDDE) для сетевого расширения протокола DDE. С точки зрения разработч...

FactoryFocus

News image

Среди всех вариантов InTouch, поставляемых фирмой Wonderware, хотелось бы выделить пакет FactoryFocus. Главная его особенность состоит в том, что он...

 

Примеры удачного внедрения:

Интегрированные системы управления предприятием (часть 3)

Аналитическая лаборатория Про-Инвест DOCS Open - корпоративная система управления документами Система обеспечивает быстрый и удобный поиск док...

Совершенствование системы управления предприятием

В связи с тем, что рисунки организационных структур, упомянутые в статье, имеют очень большой размер, они не вошли в электронную версию публикации (...

Реальные потребности предприятия

В такой ситуации разумно начать с самого предприятия, а не с АСУП. Иначе говоря, выяснить, что же реально нужно предприятию. По большому счету, п...

Отсутсвие постановки задачи менеджмента на предприятии

Наверное, этот пункт является наиболее значимым и сложным. На первый взгляд, его тема перекликается с содержанием второго пункта, посвященного реорг...

Безопасность, удаленный режим, аппаратная платформа

Продолжая знакомство с предлагаемой системой автоматизации, стоит обратить внимание и на такие моменты. В корпоративной информационной системе хр...

Комплексная автоматизация управления предприятием на базе решений 1С, является одним из ключевых направлений бизнеса компании «Микротест». Многолетн...