Базы данных - MySQL - статьи

Применение SSIS за пределами традиционных ETL систем


Способность конвейера потока данных обрабатывать практический любой вид данных, тесная интеграция с Analysis Services, возможность расширения за счет большого числа различных технологий преобразования данных, наличие мощного механизма процессов - все это позволяет использовать SSIS во многих проектах, которые традиционно не воспринимаются как ETL задачи (задачи извлечения, преобразования и загрузки данных).

Архитектура, ориентированная на службы (Service Oriented Architecture)

SSIS включает поддержку извлечения XML данных в конвейере потока данных, как из файла на диске, так и непосредственно из URL-ов через HTTP. XML данные приводятся к табличному виду, что позволяет легко манипулировать ими в потоках данных. Такая возможность может быть использована для работы с Web-службами. SSIS может взаимодействовать с Web-службами в управляющем потоке, перехватывая XML данные от них.

Также XML данные могут быт получены из файлов, из Microsoft Message Queuing (MSMQ), и из Web через HTTP. SSIS позволяет обрабатывать XML данные с использованием XSLT, XPATH, diff/merge и т.д. А также направлять XML в поток данных.

Такая поддержка позволяет SSIS участвовать в гибкой архитектуре, ориентированной на службы (Service Oriented Architectures - SOA).

Data & Text Mining

SSIS не только имеет глубокую интеграцию с методами Data Minig Analysis Services, но также содержит средства Text Minig. Text Minig, также известная как систематизация текстов, представляет собой определение связей между видами бизнеса и текстовыми данными (словами и фразами). Этот метод позволяет находить в текстовых данных ключевые понятия и, опираясь на них, автоматически идентифицировать весь текст как представляющий определенный интерес. Это, в свою очередь, может инициировать полный цикл других действий для выполнения других бизнес задач. Например, для увеличения удовлетворенности потребителей или улучшения качества продукции и услуг.

Источники данных по требованию

Одной из уникальных особенностей SSIS является приемник данных DataReader, который выгружает данные в DataReader из ADO.NET. Когда этот компонент включается в конвейер обработки данных, то пакет, содержащий приёмник DataReader, может быть использован как источник данных, работающий как DataReader из ADO.NET. Что позволяет использовать SSIS не только в традиционных системах ETL для загрузки данных в хранилища, но и в качестве источника данных поставляющего единообразные, согласованные и очищенные данные, полученные из множества источников по требованию. Например, Reporting Services может использовать пакет SSIS в качестве источника данных для получения данных из множества различных источников.

Одним из возможных примеров, объединяющем в себе данные методы, может быть система, которая распознает полученные через RSS статьи на предмет статей с интересующей нас информацией и включает их в стандартный отчет. На Рисунке 6 показан SSIS пакет, получающий данные из Интернета посредством RSS, соединяющий эти данные с данными от Web-службы, производящий добычу текста для нахождения интересующей нас информации и записывающий эту информацию в DataReader приемник, который в итоге будет использован в отчете в Reporting Services.

Рисунок 6

Рисунок 7 показывает использование пакета SSIS в качестве источника данных в Мастере Отчётов.

Рисунок 7

С точки зрения стандартных ETL средств, предложенный пример выглядит очень необычно, т.к. в действительности не содержит ни операций извлечения данных, ни операций по их преобразованию и сохранению.



Содержание раздела