Управление мастер-данными остается одной из самых критичных задач для современных предприятий. Качество и полнота информации напрямую влияют на эффективность бизнес-процессов, точность аналитики и надежность принимаемых решений. Релиз 1C:MDM 2.5.13 предоставляет инструменты для построения полностью автоматизированных процессов обработки записей НСИ, в том числе с использованием технологий искусственного интеллекта.
Развитием этого направления активно занимается и компания SOFROS: сервис SOFROS AI/ML в связке с обновлением 1C:MDM позволят сократить рутинные операции и исключить влияние человеческого фактора на процессы управления мастер-данными.
1С:MDM 2.5.13. Ключевые изменения
Первым значительным улучшением в новом релизе стало расширение домена МТР (материально-технические ресурсы). Добавлен новый элемент — справочник «Производители», который позволяет более детально описывать источники поступления товаров и материалов. Одновременно с этим была доработана система банковских счетов с добавлением поля кода страны, которое теперь автоматически подтягивается при заполнении реквизитов. Эти изменения могут показаться техническими деталями, но они создают необходимую основу для более сложных процессов интеграции и синхронизации данных между системами.
Особое внимание следует уделить оптимизации дополнительных реквизитов и сведений. В предыдущих версиях система создавала отдельные наборы свойств для каждого элемента справочника, что приводило к избыточности и потенциальным ошибкам при обновлении. В релизе 2.5.13 эта архитектура была переработана: наборы дополнительных свойств теперь являются общими для всех элементов и работают более корректно. Это устранило целый класс ошибок, которые были характерны для более ранних версий системы.
Управление процессами ETL. Развитие подсистемы
Одним из значимых достижений в развитии 1C:MDM стало создание подсистемы управления процессами ETL (Extract-Transform-Load). Эта подсистема позволяет строить автономные конвейеры обработки данных, которые самостоятельно извлекают информацию из внешних источников, преобразуют ее в требуемый формат и загружают в целевые системы. Ключевая особенность подхода заключается в том, что все это может быть реализовано практически без написания кода — через визуальный конструктор и пошаговые схемы.
В новом релизе подсистема ETL получила значительные улучшения. Был проведен полный рефакторинг интерфейса управления процессами, реализована графическая визуализация схемы обработки данных. Теперь разработчик видит весь процесс в виде кликабельной диаграммы, где каждый шаг можно редактировать прямо на схеме без необходимости открывать дополнительные формы.
Архитектура процессов также была улучшена путем устранения жесткой привязки шагов к самому процессу. Теперь шаги создаются независимо, а их взаимосвязь настраивается через специальный регистр сведений. Это делает процессы более модульными и позволяет переиспользовать отдельные шаги в разных конвейерах. Кроме того, в новом релизе добавлен предустановленный алгоритм обработки для изменения таблиц, который позволяет выполнять преобразования данных в полях таблиц и заменяет устаревшие алгоритмы выборки данных.
Генеративный искусственный интеллект как инструмент нормализации
Интеграция генеративного искусственного интеллекта с 1C:MDM представлена через систему интеллектуальных ассистентов. Эти ассистенты настраиваются под специфические задачи нормализации и призваны сократить время работы экспертов по управлению мастер-данными. Традиционно очистка, проверка и сопоставление данных требуют часов работы высокопрофессиональных специалистов. Использование ИИ-ассистентов позволяет минимизировать ручные ошибки и освободить ресурсы команды для более стратегических задач.
Компания 1С двигается к постепенному переходу от написания кода к написанию промптов — инструкций для моделей искусственного интеллекта. Промпты рассматриваются как отдельная форма интеллектуальной собственности, которую можно разрабатывать, передавать клиентам и использовать в качестве основы для реализации различных бизнес-сценариев. Это открывает новые возможности для организаций, которые хотят адаптировать системы управления данными под свои специфические потребности без глубокого погружения в программирование.
Подсистема интеллектуальных ассистентов в 1C:MDM поддерживает подключение практически к любым языковым моделям — как облачным, так и развернутым в локальной среде. В новом релизе добавлена поддержка языковой модели «Алиса AI» от «Яндекс», а также реализованы новые шаблоны промптов. Система предоставляет инструменты RAG (Retrieval Augmented Generation), которые позволяют моделям искусственного интеллекта выполнять поиск по базам знаний и в интернете, даже если модель изначально не имела такой возможности, значительно повышая качество генерируемых ответов и рекомендаций.
Управление изменениями НСИ
Расширение управления изменениями НСИ (нормативно-справочной информации) представляет собой решение для организации совместной работы между различными конфигурациями 1С. Это расширение позволяет подключать базу 1C:MDM к другим решениям фирмы 1С и синхронизировать справочники между системами через механизм заявок на изменение.
В свежем релизе расширение получило поддержку новых сценариев интеграции. Была добавлена функция запрета на изменение справочников во внешних базах, что предотвращает конфликты при синхронизации. Введен режим запрета дублирующих элементов, который обеспечивает целостность данных при работе с несколькими источниками. Архитектурное улучшение заключается в том, что расширение теперь публикует собственный сервис интеграции и не требует публикации систем-подписчиков. Это означает, что достаточно один раз опубликовать сервис MDM, и затем можно подключить к нему любое количество внешних систем.
В качестве транспортного механизма для передачи данных между системами используется 1С:Шина — специализированное решение для асинхронного обмена сообщениями. Оно обеспечивает надежную доставку данных и позволяет системам работать независимо друг от друга, что критично для распределенных архитектур. Также компания SOFROS предлагает собственное решение для интеграции систем-подписчиков через DATAREON Platform.
Практический сценарий: нормализация НСИ с использованием ИИ-ассистентов и сервисов
Практическое применение всех этих инструментов можно продемонстрировать на примере сквозного процесса нормализации элементов справочника «Номенклатура». Сценарий начинается с того, что в «1C:ERP Управление предприятием» находятся элементы справочника номенклатуры, которые содержат неполную или неструктурированную информацию. Через расширения «Управления изменениями НСИ» и «Интеграция с 1С:Шина» (или «Интеграция с DATAREON Platform») эти элементы отправляются в 1C:MDM в виде заявок на изменение. Процесс формирования заявок проходит все стадии специально-настроенного ETL-процесса.
На стороне 1C:MDM запускается бизнес-процесс нормализации, который состоит из нескольких этапов. На первом этапе выполняется первичная обработка данных, включая проверку атрибутов материально-технического ресурса. На этом этапе вызываются интеллектуальные ассистенты, которые анализируют исходные данные и формируют промпты для языковых моделей. Модели искусственного интеллекта обогащают данные, добавляя информацию о производителях, классах товаров, артикулах и технических характеристиках.
Весь процесс от отправки заявки до полной нормализации занимает в среднем две-три минуты, хотя время может варьироваться в зависимости от выбранных моделей искусственного интеллекта, количества характеристик в классе товара и объема обрабатываемых заявок. После завершения нормализации данные могут быть отправлены обратно в 1С:ERP через 1С:Шину или DATAREON Platform, где они автоматически обновляют данные справочника «Номенклатура».
Ключевое преимущество этого подхода состоит в том, что процесс полностью автоматизирован и не требует ручного вмешательства. Специалисты по управлению данными могут сосредоточиться на настройке правил нормализации и промптов для моделей, а не на механическом заполнении полей в справочниках. Результат нормализации может быть также дополнительно провалидирован экспертом НСИ перед окончательным созданием «золотой записи».
SOFROS AI/ML — сервис, расширяющий возможности нормализации данных для 1C:MDM 2.5.13
Компания SOFROS развивает собственный сервис SOFROS AI/ML. SOFROS AI/ML предоставляет специализированные модели машинного обучения и бизнес-процессы для решения задач атрибутивной нормализации, извлечения данных, поиска семантически близких элементов и обогащения данных. Сервис реализован в виде расширения для 1C:MDM и cервера интеграции AI/ML и интегрирован с библиотеками искусственного интеллекта универсальными алгоритмами ETL-процессов и бизнес-процессами.
В основе сервиса лежит интеграционный сервер AI/ML, который реализует микросервисы для моделей машинного обучения и искусственного интеллекта, обеспечивает их оркестрацию и предоставляет API для взаимодействия с моделями.
Одним из инновационных дополнений стала реализация MCP-сервера, который предоставляет инструменты для построения различных бизнес-ассистентов и агентов. Этот сервер обеспечивает доступ к моделям, содержащимся в SOFROS AI/ML, и позволяет настраивать гибридные сценарии для агентских систем, систем аналитики данных и кодовых агентов.
Компания SOFROS также разработала специализированную модель для выделения именованных сущностей на базе локальной большой языковой модели (LLM). LLM позволяет на лету задавать любые типы сущностей и проводить нормализацию без дообучения или с минимальным обучением. Также модель устойчива к различным шумам в данных и точно выделяет специфичные сущности, присущие отраслевым характеристикам.
Кроме того, в сервис добавлена новая модель для агломеративной кластеризации, которая помогает в подготовке обучающих датасетов и разметке неструктурированных данных. Эта модель позволяет находить уникальные примеры, обнаруживать выбросы и шумы в данных, а также используется в различных задачах по очистке и структурированию информации.
От рутины к стратегии
Релиз 1C:MDM 2.5.13 в сочетании с сервисом SOFROS AI/ML представляет собой качественный скачок в подходе к управлению мастер-данными. Вместо того чтобы тратить часы на ручную очистку и нормализацию данных, бизнес теперь может построить автоматизированные конвейеры, которые работают 24/7 и постоянно улучшают качество информации. ИИ-ассистенты и модели машинного обучения берут на себя рутинные операции, позволяя специалистам сосредоточиться на стратегических задачах и исключительных случаях.
Для руководителей ИТ и специалистов по управлению мастер-данными это означает возможность значительно снизить затраты на обслуживание данных, повысить их качество и ускорить время внедрения новых источников информации.
Интересны детали?
Смотрите запись вебинара «Новая функциональность 1C:MDM 2.5.13 и современные подходы в задачах нормализации данных» на наших площадках:
Подпишитесь на нас в социальных сетях Telegram и ВКонтакте, чтобы не пропустить новые полезные материалы, а также специальные акции для участников мероприятий.
Если у вас остались вопросы, вы можете обратиться к менеджерам SOFROS для консультации по телефону +7 (495) 825-16-15 или воспользоваться формой обратной связи на нашем сайте.
