Базы данных - MySQL - статьи


Поток данных


Возможности Integration Services в SQL Server 2005Разработка ETL системы уровня предприятияETL платформа

Множество источников данных, трансформаций и приемников данных в канале потока данных. Данные считываются, комбинируются, обрабатываются и только после всех манипуляций записываются. Необходимость во множестве операций записи в таблицы уменьшена или исключена, также значительно улучшена производительность трансформации данных.√
Задача Integration Services Pipeline считывает данные из множества гетерогенных источников данных. Расширяемая архитектура источников данных теперь позволяет получать данные из плоских файлов, источников OLEDB (включая DB2 и Oracle), и бинарных файлов. Также планируется поддержка дополнительных источников данных, включая источники, выдающие данные, структурированные каким-либо образом.√√
Дополнительные источники данных могут быть легко разработаны компанией Microsoft и ее партнерами. √
Данные из множества источников данных могут быть объединены с помощью операторов Join, Lookup и Union. Эти операторы выполняются в памяти и не требуют записи в базу данных или файл.√ 
Поток данных может быть разделен с помощью трансформаций Conditional Split и Multicast. Ядро компилятора Integration Services определяет, какие потоки данных могут быть обработаны параллельно.√ 
Трансформации Character Map, Copy Map, Data Conversion и Derived Column предоставляют большие возможности для преобразования строк. Эти операторы являются скорее мастерами, чем просто операциями преобразования, и позволяют выполнять большое количество разнообразных трансформаций данных.√ 
Некоторые задачи по преобразованию данных требуют сравнения данных во множестве строк. Трансформации Sort и Aggregate выполняют эти преобразования в потоке данных с огромной производительностью, намного превышающей производительность агрегирования в базе данных.√ 
Некоторые задачи по преобразованию данных требуют сложной логики, такие, как Fuzzy Matching, Fuzzy Grouping, Time Dimension Generation, Pivoting и Unpivoting. Другие задачи, как, например, Dimension Key Management, требуют нескольких шагов для выполнения. Специальные мастера и технологии делают эти сложные операции доступными всем пользователям.√ 
Преобразованные данные могут быть записаны в гетерогенные приемники данных, включая таблицы SQL Server, таблицы баз данных из OLEDB, плоские и бинарные файлы.√√
Преобразованные данные могут быть интегрированы с другими компонентами системы интеллектуальной обработки данных от Microsoft, включая базы данных Analysis Services и модели добычи данных.√ 
Потоки ошибок из шага трансформации могут быть обработаны различными способами:

  • Трансформации могут самостоятельно "исправлять" данные и пересылать их повторно в основной поток.
  • Строки с ошибками могут быть логированы в таблицы или файлы для последующего их изучения и повторной отправки.
√√
Дополнительные трансформации и приемники данных могут быть легко разработаны компанией Microsoft и ее партнерами. √




- Начало -  - Назад -  - Вперед -