Чтобы разобраться, как с помощью интеграционного решения DATAREON управлять очередями, сначала нужно остановиться на ключевых преимуществах DATAREON Platform.
Интеграционное решение DATAREON Platform — не просто шина данных, а комплексная платформа с широкими возможностями для интеграции и управления данными. Она позволяет решить даже самые сложные интеграционные задачи:
- объединить весь накопленный парк ПО, несмотря на разнообразные интеграционные механизмы.
- справиться с увеличением трафика при масштабировании интеграционного ландшафта.
- снизить накладные расходы на обслуживание и развитие интеграционных механизмов.
- создать единый центр мониторинга.
Особенности DATAREON Platform
- Единая точка администрирования обеспечивает централизованное управление всеми компонентами системы для каждого пользователя. Управление осуществляется через удобный веб-интерфейс, доступный через браузер, который предоставляет возможности диагностики, настройки и мониторинга.
- Компонентная архитектура позволяет динамически создавать и устанавливать компоненты на различных серверах.
- Архитектура со слабыми связями обеспечивает независимость работы компонентов, гарантируя непрерывность интеграции даже при недоступности отдельных серверов.
- Отказоустойчивый кластер обеспечивает автоматическое перемещение компонентов между серверами при обнаружении сбоев.
- Модуль горячего восстановления обеспечивает высокий уровень отказоустойчивости и возвращает в обработку данные, которые остались на вышедшем из строя сервере, благодаря механизму репликации очередей.
- Средства проектирования предоставляют визуальный интерфейс для создания сложных схем обработки процессов.
- Диагностические инструменты предоставляют возможности мониторинга процессов, отслеживания движения сообщений и построения графиков производительности.
- Ролевая модель включает три уровня доступа: для разработчиков, пользователей и внешних систем.
- Инструменты обеспечения качества данных позволяют настраивать обработку и трансформацию данных любого уровня сложности.
- Хранилище данных обеспечивает долгосрочное хранение информации с возможностью настройки политик устаревания. Возможна дополнительная реализация специализированного функционала МDM и DWH на DATAREON Platform.
DATAREON Platform предоставляет широкие возможности для разработки и настройки конфигураций, позволяя создавать собственные подключения к внешним системам в рамках интеграционного решения. В рамках обмена данными ее основные задачи получение и передача данных, их трансформация при необходимости и маршрутизация до систем подписчиков. При этом данные могут быть дополнительно обогащены или сохранены на определенном этапе бизнес-процесса.
Что такое очередь и зачем ей управлять?
Очередь представляет собой промежуточное хранилище данных, предназначенное для временного размещения сообщений в системе DATAREON Platform. Когда сообщение поступает в платформу, оно помещается в очередь, где может быть обработано, трансформировано или подготовлено для дальнейшей передачи во внешние системы.
Каждый компонент по умолчанию обладает собственной очередью. Управление этими очередями, включая их настройку и мониторинг, осуществляется сервером DATAREON.
Архивы — это защитный механизм, гарантирующий сохранность сообщений в случае сбоев. Если процесс обработки прерывается из-за ошибки, необработанные данные автоматически перемещаются в архив. Это исключает потерю информации и позволяет вручную или с помощью автоматизированного скрипта восстановить обработку сообщений после устранения неполадок.
Гарантированная доставка обеспечивает надежность передачи данных между очередями разных компонентов. Сообщение удаляется из исходной очереди только после подтверждения успешного сохранения в целевой очереди. Гарантированная доставка обеспечивает надежную передачу сообщений не только между очередями платформы, но и с системами получателей.
Даже при аварийном завершении работы сервера в момент передачи, данные не теряются: после восстановления связи подтверждение будет получено, и дублирования сообщений не произойдет.
Несмотря на базовый функционал работы очередей (одна очередь на компонент), в DATAREON Platform есть возможность гибко управлять нагрузкой, настраивая приоритеты обработки сообщений в специальных компонентах. Это обеспечивает эффективное распределение ресурсов и своевременное выполнение критически важных задач, что демонстрируется в рамках практических примеров работы DATAREON Platform.
Интеграционное решение DATAREON Platform предоставляет следующие возможности для управления очередями:
- создание собственных очередей;
- настройка пользовательских правил размещения и извлечения данных;
- полная свобода программирования на языке C# без ограничений low-code решений.
Правила подключаются к целевым компонентам (например, внешним системам или сервисам), замещая стандартную очередь. Если в базовой конфигурации все сообщения поступают в единую очередь и обрабатываются в последовательном многопоточном режиме (без принципов FIFO), то с помощью функционала платформы появляется возможность настроить любую другую последовательность в разрезе их приоритезации.
Практический кейс
Для демонстрации функционала был использован интеграционный контур двух SQL-баз, настроенный с помощью платформы DATAREON. Тестовые данные включали таблицу «Сотрудники» с 10 000 записей и таблицу «Документы» с одним приоритетным документом.
- Базовая обработка (без приоритезации):
В ходе тестирования сначала была проведена базовая обработка без правил, при которой все сообщения направлялись в единую очередь. После запуска массовой выгрузки 10 000 записей о сотрудниках и последующей отправки документа было обнаружено, что документ был обработан после завершения передачи всех 10 000 записей. - Применение приоритезации:
Затем было активировано правило обработки очередей с настройкой приоритета. Повторение теста с аналогичными данными показало, что документ, помещенный в очередь High Priority, был обработан немедленно после активации внешней системы, достигнув системы-приемника первым, несмотря на параллельную передачу данных о сотрудниках.
Визуализация процесса в центре мониторинга показала, что до применения правил строка «Очередь» была заблокирована с единым потоком, а после настройки отображались четыре приоритетные очереди. При отключенной внешней системе происходило накопление 10 001 сообщения (10 000 записей + документ), а после активации происходила мгновенная обработка документа с постепенной передачей остальных данных.
Результаты
В рамках приведенного в качестве примера практического кейса объем данных относительно небольшой, обработка 10 000 сообщений проходит быстро. Однако компаниям часто требуется передавать гораздо больше данных. Без настройки приоритетов важные документы могут прийти с большой задержкой.
Управление очередями в интеграционном решении DATAREON Platform позволяет настроить сценарий эффективной передачи данных там, где задержки в обработке критически недопустимы.
Подпишитесь на нас в социальных сетях, чтобы не пропустить новые полезные материалы, а также специальные акции для участников мероприятий.
Если у вас остались вопросы, вы можете обратиться к менеджерам SOFSROS для консультации по телефону +7 (495) 825-16-15 или воспользоваться формой обратной связи на нашем сайте.
