«Центр мониторинга и администрирования» DATAREON Platform позволяет детализированно отслеживать движение передаваемой информации на разных уровнях логирования. Однако первичный анализ инцидентов, метрик и данных мониторинга требует наличия особых компетенций и понимания, каким образом извлекать нужную информацию» – именно такую обратную связь чаще всего получал SOFROS от заказчиков. Поиск проблемного обмена затягивался из-за необходимости ручного сопоставления разрозненных логов, диагностика требовала глубокого знания внутренней маршрутизации платформы, а зависимость хранилища мониторинга от состояния кластера блокировала доступ к данным в момент сбоя.
Так появился SOFROS OneView – программный продукт на базе DATAREON Platform, предназначенный для оптимизации мониторинга сообщений интеграционной платформы. Название выбрано не случайно: просмотр всей интересующей информации действительно доступен в одном окне.
При разработке решения эксперты SOFROS постарались учесть все «боли» заказчиков: данные мониторинга вынесены на независимую от DATAREON Platform высокопроизводительную базу; первичный анализ инцидентов больше не требует ручного сопоставления, а удобный интерфейс объединил в едином окне отслеживание движения сообщений между системами, внутреннюю обработку и маршрутизацию, версионирование тел сообщений с возможностью установки индивидуального срока хранения и просмотр всех связанных сообщений.
Архитектурная автономность и отказоустойчивость как ответ на вызовы рынка
По мере эволюции ИТ-ландшафта любое предприятие, особенно если оно стремится к масштабированию, неизбежно сталкивается с фрагментацией данных мониторинга. Классический сценарий: вслед за развитием внутреннего контура появляется контур DMZ (демилитаризованной зоны) – для взаимодействия с внешними сервисами, который зачастую представляет собой второй независимый кластер DATAREON Platform. Параллельно растет плотность интеграционных потоков внутри адаптеров, что делает поиск инцидентов силами первой линии поддержки все более сложным. Специалистам приходится манипулировать множеством фильтров в разных вкладках браузера, упуская целостную картину проблемного обмена.
За всю многолетнюю практику SOFROS экспертам компании неоднократно приходилось разрешать ситуации, когда заказчики сталкивались с парадоксальной ситуацией: встроенный мониторинг отказывал именно в тот момент, когда потребность в нем становилась критической. Полная потеря серверной ноды означала не только остановку части интеграционных потоков, но и мгновенную недоступность встроенного мониторинга на аварийном узле. Логи, которые могли бы указать на первопричину деградации, оказывались запертыми в «черном ящике» отказавшего сервера.
Именно этот опыт, многократно зафиксированный специалистами SOFROS в ходе проектов, лег в основу ключевого архитектурного требования к SOFROS OneView: хранилище данных мониторинга должно быть физически и логически независимым от контролируемых кластеров, чтобы оставаться доступным даже при полной деградации источника.
SOFROS OneView состоит из веб-приложения (с разделением на Frontend и Backend) и собственной аналитической базы данных ClickHouse, дополненной Redis и PostgreSQL для хранения пользователей и их ролевой модели.
Frontend отвечает за корректное отображение данных, а Backend взаимодействует с API «Центра мониторинга и администрирования» DATAREON Platform, реализуя оптимизированные процедуры сбора и чтения данных без оказания избыточной нагрузки на ядро платформы. Централизация достигается путем конфигурационного указания URL всех серверов целевых кластеров (или единого адреса промежуточного прокси) в конфигурационном файле продукта и созданием выделенной служебной учетной записи с ограниченными правами.
Высокая доступность данных мониторинга обеспечивается тем, что хранилище SOFROS OneView функционирует независимо от состояния контролируемых узлов. Даже при деградации или полной остановке работы DATAREON Platform исторические данные и логи, собранные до инцидента, остаются доступными для анализа. Безопасность доступа реализуется через гибридную модель: поддерживается интеграция с Active Directory с наследованием доменных политик сложности паролей и блокировок либо используются внутренние учетные записи продукта с настраиваемыми ролями.
Отдельно стоит отметить механизмы масштабирования, заложенные в конфигурацию модуля извлечения данных. Предусмотрена возможность настройки степени параллелизма для обеспечения оптимальной работы ПО с учетом характеристик оборудования, можно задать индивидуальные интервалы опроса для событий, тел сообщений, диагностики и логов. Также экспортер может быть ограничен конкретными нодами кластера – это позволит развернуть несколько экземпляров backend-части, направив каждый из них на свою группу узлов, что критически важно для масштабирования мониторинга в высоконагруженных ИТ-контурах.
В планах – расширение функционального охвата SOFROS OneView. Прорабатывается внедрение мониторинга доступности адаптеров, систем и сервисов, что позволит отслеживать состояние не только интеграционных потоков, но и самих компонентов ландшафта. Ведется разработка подсистемы нотификаций, благодаря которой пользователи смогут получать оповещения по проблемным обменам с гибко настраиваемыми правилами срабатывания. В части визуализации прорабатываются дашборды – настраиваемые графические панели для оперативного контроля ключевых метрик.
Данные под контролем: от хронологии событий до аналитики производительности
Главное рабочее пространство продукта – вкладка «Обзор сообщений» – спроектирована таким образом, чтобы избавить пользователя от необходимости «собирать картину инцидента по фрагментам». Для этого реализовано два режима отображения.
- Первый, свернутый режим «по потоку», агрегирует разрозненные технические события в сквозной маршрут от источника до получателя. Перед специалистом не мелькают десятки записей, заслоняющих суть, – он сразу видит проблемный обмен и может мгновенно его локализовать.
- Второй, детализированный режим, раскрывает полную хронологию: события со всех модулей выстраиваются в последовательную цепочку – от поступления сообщения на веб-адаптер или файловый адаптер, через обработку в сервисе процессов, до записи в целевую систему. Это позволяет оперативно идентифицировать, на каком именно шаге алгоритма произошел сбой: ошибка связи с СУБД, некорректная трансформация тела сообщения, пользовательское исключение, зафиксированное через Logger.Debug, и т.д.
Мониторинг охватывает не только события, но и логи. Система подтягивает как пользовательские данные (записи, оставленные разработчиком внутри конфигурации бизнес-процесса), так и системные логи с адаптеров – с указанием модуля, логгера и уровня логирования.
Кроме того, поддерживается поиск по содержимому. Для тел сообщений реализован предварительный просмотр, настраиваемый по длине символов, и уникальная функция попарного сравнения версий с подсветкой различий. Таблицы экспортируются в Excel, а выбранные тела можно выгрузить в ZIP-архив.
Отдельного внимания заслуживает хранение данных. Срок жизни тел задается индивидуально для каждого типа данных (TTL), и по его истечении записи автоматически удаляются самой базой данных, высвобождая дисковое пространство. Параллельно работает механизм архивирования: данные с настраиваемой глубиной (по умолчанию – один год в оперативном хранилище и до трех лет в архивных таблицах) ежедневно переносятся в сжатом виде в то или иное хранилище. Благодаря колоночной архитектуре ClickHouse средний коэффициент компрессии достигает 5-7 раз.
Помимо оперативного мониторинга, SOFROS OneView предоставляет инструменты для ретроспективного анализа. Так, раздел «Обзор статусов» позволяет оценить соотношение успешных, ошибочных и находящихся в обработке сообщений в разрезе источников и получателей. Модуль сбора сведений о производительности формирует метрики объема и средней скорости обработки данных, прошедших через платформу за произвольный интервал. Детализация по интервалам дает возможность выявить, какой именно обмен создает пиковую нагрузку на сервис обработки процессов. Все эти данные критически важны для сайтинга и принятия решений о наращивании мощностей или оптимизации интеграционных цепочек.
От миграции с SAP PI до сотен потоков в горной добыче: практическая проверка
Универсальность SOFROS OneView подтверждается разноплановыми проектами. Один из показательных примеров – импортозамещение мониторинга SAP PI. В рамках этого проекта зарубежное интеграционное решение полностью заменила DATAREON Platform, а SOFROS OneView, в свою очередь, обеспечил привычную для ИТ-команд заказчика глубину диагностики. Помимо базового замещения функционала, продукт был настроен под специфические запросы, например, минимизацию времени расследования инцидентов.
Другой пример – внедрение SOFROS OneView в крупной компании горноруднодобывающей отрасли. Здесь масштаб измерялся сотнями информационных систем и сотнями интеграционных потоков, обслуживающих непрерывное производство. Именно в таких условиях архитектурные решения SOFROS OneView раскрываются в полной мере. Механизм ограничения экспортера конкретными нодами позволяет распределить нагрузку по сбору данных в кластере, не создавая «бутылочного горлышка». Индивидуальные интервалы опроса для разных типов сущностей дают возможность гибко балансировать между актуальностью информации и оптимизацией ресурсов. Сквозная трассировка в едином окне избавляет первую линию поддержки от необходимости перекрестного анализа данных из разных модулей, а функция сравнения версий тел сообщений кратно ускоряет поиск первопричины сбоя.
Выводы
SOFROS OneView – это не просто альтернативный интерфейс мониторинга, а самостоятельный программный продукт, закрывающий критический разрыв между растущей сложностью интеграционных ландшафтов и возможностями их эксплуатации. Архитектурная независимость хранилища от контролируемых кластеров гарантирует доступность данных мониторинга именно в те моменты, когда они наиболее востребованы, – при расследовании инцидентов.
Централизованная агрегация событий, логов и тел сообщений в хронологическом порядке устраняет необходимость ручного сопоставления разрозненных сведений, делая первичную диагностику доступной специалистам без глубокого знания внутренней маршрутизации платформы. Гибкие механизмы масштабирования модуля извлечения данных, настраиваемые политики хранения и аналитический инструментарий на базе ClickHouse обеспечивают стабильную работу продукта в ИТ-контурах любого объема – от компактных инсталляций до распределенных систем с сотнями потоков данных.
Регистрация в реестре отечественного ПО и подтвержденная практикой способность замещать мониторинг зарубежных решений делают SOFROS OneView стратегическим элементом импортонезависимого интеграционного стека. А планы по развитию продукта – включая инфраструктурный мониторинг доступности адаптеров, гибкую систему нотификаций и настраиваемые дашборды – закладывают фундамент для перехода от реактивного наблюдения к проактивному управлению интеграционной средой компании любого масштаба.
Интересны детали?
Смотрите запись вебинара «SOFROS OneView: мониторинг сообщений интеграционной платформы» на наших площадках:
Подпишитесь на нас в социальных сетях Telegram и Вконтакте, чтобы не пропустить новые полезные материалы, а также специальные акции для участников мероприятий.
Если у вас остались вопросы, вы можете обратиться к менеджерам SOFROS для консультации по телефону +7 (495) 825-16-15 или воспользоваться формой обратной связи на нашем сайте.
