DataStage |
Автоматизация - Построение систем хранения данных |
Управление входными данными и процессами их преобразования к структуре хранения в ХД осуществляется на основе ведения единой метабазы. В качестве технологического средства создания процедур трансформации и загрузки данных в хранилище, а также для разработки структуры и сопровождения ХД в процессе эксплуатации и возможного развития, был выбран продукт DataStage от компании Ascential Software. Этот продукт позволяет: · в наглядной графической форме вести проектирование структуры хранилища; · генерировать процедуры трансформации данных и загрузки их в хранилище; · существенно облегчает эксплуатацию и дальнейшее развитие ХД. Кроме того, DataStage не зависит от выбранной платформы СУБД он может работать с любой базой данных. В нашем случае одновременно использовались Oracle и Informix. Пример процедуры преобразования данных Разработка процедур загрузки ХД, их администрирование, анализ качества данных первичных источников информации осуществлялись на клиентской части подсистемы сбора и хранения информации. На рабочем месте разработчика процедур заполнения ХД и администрирования их выполнения использовался пакет программ DataStage Developer, установленный на компьютер с Windows NT/2000. Пакет DataStage Developer состоит из следующих компонентов: · DataStage Administrator модуль по администрированию проектов, их созданию, удалению и изменению их параметров. Под проектом понимается набор описаний таблиц источников и целевых таблиц хранилища данных; набор функций извлечения данных, их трансформации и загрузки в хранилище, а также набор процедур, построенных на основе этих функций; · DataStage Designer модуль по созданию процедур извлечения, трансформации и закачки данных на основе имеющихся функций; · DataStage Director модуль для запуска процедур, контроля их выполнения, а также задания расписания выполнения процедур; DataStage Manager средство доступа и работы с DataStage репозиторием, в котором хранятся метаданные (описание таблиц, функций и т.д.). С помощью этого модуля происходит добавление, удаление, изменение описаний таблиц, функций извлечения, трансформации и очистки данных. В линейке продуктов DataStage есть специальное средство Quality Manager с его помощью контролируется качество входных данных. |
Читайте: |
---|
Диспетчеризация пунктов:
Автоматизированная система диспетчеризации и мониторинга Энергоучет сахарного кОбъект контроля: Объектом контроля является технический учет всех материальных и энергопотоков сахарного комбината: газа, пара, воды, конденсата, сырья и продукции. Сахарный комбинат состоит из д... |
Система автоматизации для водопроводно-канализационного и теплоэнергетического хСистема «ГидроДиспетчер» предназначена для автоматизации и диспетчеризации процессов водо-, теплоснабжения и водоотведения. Она позволяет провести автоматизацию и диспетчеризацию полного цикла водос... |
СИСТЕМА ДИСПЕТЧЕРИЗАЦИИ РАСПРЕДЕЛЕННЫХ ОБЪЕКТОВ КУРГАНВОДОКАНАЛАЗаказчик и разработчик: МУП «Курганводоканал» Объект: городские сети водоснабжения, пункт водозабора, насосные станции третьего подъема, канализационные насосные станции Состав системы: Сбор... |
Теория АСУ:
Сменный диспетчерствия, и поступают от программных устройств центрифуг, расходы рафинадной кашки - от ленточных весов, непрерывные и интегрируемые сигналы которых также преобразуются в число-импульсные. В табл. 19-2... |
Образцовые и эталонные рабочие приборыПо метрологическому назначению приборы делятся на рабочие, образцовые и эталонные. Рабочие приборы подразделяются на технические и лабораторные. Первые предназначены для практических целей измере... |
Показатели уровня механизации и автоматизацииПоказатели уровня механизации и автоматизации можно распределить на два больших класса: структурные и функциональные, которые оценивают по показателям либо структуры, либо процесса функционирования ... |
Рассмотрим комплексные схемы применения PID-регуляторовДля чего используются PID-регуляторы? Лучше пояснить на примере. Допустим, есть абстрактный технологический процесс. Воду в емкости необходимо нагреть и поддерживать при определенной температуре. Дл... |
Отопление больших помещений с помощью газаКогда мы говорим об отоплении промышленных помещений, большинство специалистов сразу думает о большой котельной, трубах, вентиляторных конвекторах, регулирующих клапанах, вентиляторах и т.д. Устойчи... |
Оборудования в АСУ:
Многокомпонентное дозирование в приготовлении комбикормНедавно началась промышленная эксплуатация завода ЗАО «Неокорм» по производству премиксов в г. Лакинск Владимирской области.[1] ... |
Некоторые особенности дозаторовДозаторы инертных материалов песка и щебня (рис.3.) имеют ряд особенностей. Дозирующие заслонки установлены на раме с возможнос... |
Управление процессом:
Система автоматизации технологического процесса произвоСистема полностью автоматизирует технологический процесс, а так же ведет учет выпускаемой продукции. Работа оператора сводится к... |
Автоматизация установки формообразованияОбъектом автоматизации и контроля являются процессы, происходящие при формовании стального листа на установке формообразования. ... |