Статьи
9 Ноя 2026

Как использовать искусственный интеллект для автоматизации работы с НСИ в 1С

Автор: Игорь, Технический директор

Качество данных давно перестало быть исключительно ИТ-задачей. Для бизнеса это вопрос управляемости: решения, которые принимаются на основе справочной информации, напрямую зависят от того, насколько корректны номенклатура, контрагенты и характеристики, лежащие в учетных системах. В компании SOFROS мы исходим из того, что ни одна современная организация не работает с единственным источником данных. Справочники живут в десятках систем, подчиняются разным правилам и постепенно расходятся. В результате бизнес получает цифры, которым нельзя полностью доверять.

Игорь Богданов, технический директор SOFROS рассказал, как современные модели машинного обучения и искусственный интеллект помогают наводить порядок в данных, какие задачи они решают и как внедрять такие решения без разрушения привычных процессов.

Откуда берутся проблемы

Технический директор SOFROS проанализировал частые вопросы клиентов и выделил ключевые темы: поиск дублей, выбор моделей, разработка собственных алгоритмов или использование готовых языковых решений, первые шаги и стоимость внедрения. Эти запросы отражают реальные задачи и сложности, с которыми бизнес чаще всего сталкивается на проектах.

Причины известны: параллельные системы, человеческий фактор, слияние компаний, устаревшие ГОСТы, различные обозначения одних и тех же поставщиков и производителей. Часть проблем возникает еще при вводе системы в эксплуатацию, часть накапливается в ходе работы. Простые алгоритмы сравнения строк при этом дают приемлемое качество лишь в 30–40% случаев, и этого недостаточно для промышленной нормализации НСИ.

Чтобы повысить качество данных, нужны инструменты, способные учитывать контекст и специфику номенклатуры. При этом их внедрение не должно требовать замены действующей системы или кардинального изменения привычных процессов. На этом подходе построена работа сервиса SOFROS AI/ML.

Принцип работы SOFROS AI/ML: расширение, а не замена

Сервис SOFROS AI/ML расширяет возможности действующей MDM-системы. Пользователи и эксперты НСИ продолжают работать в привычном интерфейсе, а инструменты искусственного интеллекта встраиваются в бизнес-процессы обработки заявок и изменения карточек.

Сервис выполняет классификацию, выделяет характеристики, обогащает данные, ищет дубли и аналоги. Эксперт проверяет предложенный результат и принимает решение. Его правки используются для дообучения моделей, помогая повышать точность их работы.

Переход к автоматизации проходит через три стадии зрелости. Сначала сервис наблюдает за действиями эксперта и накапливает примеры. Затем начинает предлагать варианты классификации и выделения характеристик, а эксперт проверяет и корректирует их. По мере повышения точности моделей сервис переходит к самостоятельной нормализации данных, оставляя эксперту проверку и утверждение результата.

Полный процесс нормализации включает восемь основных шагов. На пяти из них используется искусственный интеллект: при классификации, выделении характеристик, обогащении данных, поиске дублей и подборе аналогов. При этом ответственность за итоговый результат остается за пользователем, а качество работы сервиса зависит как от исходных данных, так и от обратной связи экспертов.

Модели, которые используются в решении

SOFROS AI/ML включает несколько моделей, каждая из которых решает отдельную задачу нормализации НСИ: от определения класса номенклатуры до обогащения данных и проверки характеристик.

Автоматическая классификация. Модель определяет класс номенклатуры по наименованию из заявки. Например, для записи «преобразователь частоты» она возвращает список подходящих классов, ранжированных по вероятности. Как правило, вероятность быстро снижается от первых вариантов к последующим, поэтому рассматривать весь список не требуется.

Для выбора дальнейшего действия используются пороги уверенности. При высокой уверенности сервис автоматически подставляет класс, при средней — предлагает пользователю несколько вариантов, при низкой — оставляет поле незаполненным.

Классификатор построен на гибридном подходе с использованием нескольких вариантов наивного байесовского алгоритма: мультиномиального, Бернулли, категориального и комплементарного. Их параметры можно настраивать в расширении для 1С. На практике такой подход помогает распределять по единым классам сотни тысяч позиций, накопившихся, например, после слияния компаний.

Извлечение характеристик. Модель выделяет из исходного наименования атрибуты, значимые для выбранного класса. Например, из строки «оперативная память Samsung 16 ГБ для ноутбука» она может извлечь производителя, объем и назначение. Если в наименовании указаны тип памяти, частота или другие характеристики, они также учитываются при разборе.

Номенклатурные наименования содержат множество сокращений, артикулов и единиц измерения, поэтому стандартная токенизация — разбиение текста на отдельные элементы — не всегда подходит. Вместо нее используется специализированная токенизация, учитывающая особенности таких данных. Для выбора наиболее вероятного варианта разбора применяется лучевой поиск, а для работы с объемными классификаторами — кеширование с загрузкой в память только необходимых классов.

Дополнительная модель семантического поиска сопоставляет извлеченные значения с уже существующими в информационной базе. Например, сокращение «алюм.» приводится к принятому значению «алюминиевый». Это помогает унифицировать характеристики и не создавать дубли.

Семантический поиск. Модель находит записи, близкие по смыслу, даже если запрос не совпадает с их точным наименованием. Например, по запросу «ним пять на тридцать пять» пользователь может получить подходящую позицию «Кабель NYM (Севкабель) 5×35». Результаты выводятся только при достижении заданного порога уверенности.

Этот же механизм помогает проверять, нет ли в базе характеристики с аналогичным значением, и выявлять потенциальные дубли еще на этапе подачи заявки.

Контекстный поиск. Этот инструмент выполняет роль интеллектуального справочника. Он обращается к локальной или облачной большой языковой модели, а при необходимости — к веб-поиску, чтобы дополнить данные или найти значения характеристик. Это особенно полезно при создании нового класса, для которого еще недостаточно примеров в базе.

Источниками могут служить внутренние ресурсы, сайты поставщиков, нормативно-справочная или конструкторская документация, в том числе в формате PDF. Результаты поиска объединяются и кешируются, что ускоряет повторные запросы. Выбор между локальной и облачной языковой моделью зависит от возможностей инфраструктуры и требований информационной безопасности.

Контроль весогабаритных характеристик. Для ряда категорий, например автомобильных запчастей, важно проверять размеры и массу по эталонным данным. Если извлеченная из наименования ширина диска расходится с эталоном, система предлагает эксперту проверить значение. При достаточной уверенности и соответствующих настройках она может скорректировать его автоматически.

Как контролировать качество моделей

Качество моделей проверяется по нескольким направлениям. Для проверки применяется перекрестная валидация по принципу leave-one-out: каждый размеченный пример поочередно исключается из обучающей выборки, модель обучается на оставшихся данных и делает предсказание для исключенного примера. Затем результат сравнивается с эталонной разметкой.

При выборе метрик важно учитывать дисбаланс классов: одни категории номенклатуры могут встречаться в тысячи раз чаще других. В таких условиях общая доля правильных ответов — accuracy — способна создавать ложное впечатление о качестве. Модель может хорошо распознавать массовые категории, почти не определять редкие и при этом показывать высокий итоговый результат.

Поэтому для оценки используются точность — precision, полнота — recall и их гармоническое среднее — F1-мера. Основной метрикой служит коэффициент корреляции Мэтьюса (MCC), который учитывает структуру ошибок и помогает оценивать качество на несбалансированных данных. Микроусреднение отражает результат по всем примерам в совокупности, а макроусреднение дает каждому классу одинаковый вес, позволяя лучше учитывать качество распознавания редких категорий.

По умолчанию учет априорных вероятностей классов отключен, чтобы частота встречаемости не давала чрезмерного преимущества массовым категориям.

Матрица ошибок помогает определить, что именно нужно улучшить. На ее диагонали находятся правильные предсказания, а остальные значения показывают, какие классы модель путает между собой. По результатам анализа можно добавить примеры в классы с недостатком данных, уточнить границы между близкими категориями или пересмотреть разметку. Последнее особенно важно, если ошибки связаны с тем, что эксперты по-разному классифицируют одни и те же позиции.

Подготовка обучающих датасетов: агламеративная кластеризация

Качество моделей во многом определяется обучающей выборкой. Размечать десятки тысяч исходных строк вручную трудозатратно, а простая случайная выборка может оказаться несбалансированной. Если в ней преобладают однотипные записи об одном кабеле, модель получит слишком мало примеров других позиций.

Чтобы сделать выборку разнообразнее и сократить объем ручной работы, данные готовят в четыре шага:

  1. Приводят строки к обобщенным шаблонам. Например, из наименования «болт 5 на 120» формируют шаблон без конкретных числовых значений.
  2. Удаляют повторяющиеся шаблоны. Для каждого из них оставляют один пример.
  3. Исключают избыточные вхождения. Удаляют короткие наименования, которые полностью содержатся в более длинных.
  4. Группируют оставшиеся записи по смысловой близости. Для этого используют агламеративную кластеризацию, после чего из каждого кластера выбирают от одного до трех репрезентативных примеров.

Далее начинается интерактивный цикл обучения. Эксперт размечает первые пятьдесят примеров, модель обучается на них и обрабатывает оставшиеся строки. Наиболее неоднозначные результаты передаются эксперту на проверку, а его исправления пополняют обучающую выборку. Так ручная работа сосредотачивается на сложных случаях, а не на последовательной разметке всего массива.

При обработке текста также учитывается значимость отдельных слов и сочетаний. Часто встречающиеся обозначения, например, «напряжение 220V», получают меньший вес, а слова, определяющие класс, — такие как «холодильник» или «подшипник» — больший. Это помогает различать категории с общей технической лексикой.

Маскирование персональных данных

Если для обработки используется внешняя языковая модель, необходимо контролировать состав передаваемых данных. В тексте могут встречаться ФИО, телефоны, адреса электронной почты и паспортные сведения. Их обработка и передача должны соответствовать требованиям Федерального закона № 152-ФЗ «О персональных данных» и внутренним правилам организации.

Для снижения риска раскрытия такой информации перед отправкой текст проходит через отдельную модель, которая выявляет персональные данные и заменяет их условными обозначениями — плейсхолдерами. После получения ответа исходные значения подставляются обратно внутри системы.

При этом маскирование — лишь одна из мер защиты: само по себе оно не гарантирует соблюдения всех требований к обработке персональных данных. Для организаций с повышенными требованиями к безопасности предпочтительным вариантом может быть использование локальных языковых моделей в защищенном контуре.

Как SOFROS AI/ML встраивается в ИТ-ландшафт

Для встраивания перечисленных инструментов в действующие процессы компании SOFROS предоставляет API с документацией Swagger. Через него к сервису SOFROS AI/ML можно подключать различные информационные системы, в том числе те, для которых нет готовой интеграции.

Ядро решения — набор микросервисов, развернутых в Docker-контейнерах. Они обеспечивают работу моделей машинного обучения и взаимодействие с локальными или облачными средствами запуска языковых моделей, включая Ollama, LM Studio и Yandex AI Studio.

Расширение для 1С:MDM получило сертификат совместимости «1С:Совместимо» с платформой «1С:Предприятие». Ведется разработка расширений для «1С:ERP Управление предприятием» и «1С:MDM Управление мастер-данными КОРП». Также планируется создание локального автономного агента для других систем, в том числе решений на базе SAP.

Сервис можно использовать и совместно с DATAREON Platform: описанные модели применяются при внедрении ее компонентов, включая MDM-решения.

При этом SOFROS AI/ML связывает модели с бизнес-процессами, но не подменяет их. Сервис предоставляет методы получения обучающих примеров, обучения моделей и формирования предсказаний, а также позволяет подключать собственные модели, написанные на Python. На основе этих методов реализуются конкретные операции: подготовка данных заявки, классификация, нормализация и другие.

Поддерживается и полностью локальный режим. Модели классификации, семантического поиска и извлечения характеристик могут работать без передачи данных во внешние сервисы. Для контекстного поиска в закрытом контуре может использоваться локальная языковая модель и внутренние источники; обращение к внешним источникам при веб-поиске в таком режиме исключается.

Какую ценность получает бизнес

SOFROS AI/ML помогает сократить объем рутинной обработки НСИ и сосредоточить работу экспертов на сложных и неоднозначных случаях. Единые правила классификации и заполнения характеристик делают данные более согласованными, а поиск дублей на этапе заявки помогает предотвращать появление повторных записей.

При этом компании не требуется заменять действующую MDM-систему: автоматизация внедряется постепенно, в привычные рабочие процессы. Возможность выбирать локальные или облачные модели позволяет учитывать требования инфраструктуры и информационной безопасности.

Практический эффект зависит от исходного качества данных, состава задач и участия экспертов. Поэтому оценивать результат внедрения стоит по конкретным показателям: времени обработки заявки, доле карточек, требующих ручной корректировки, числу выявленных дублей и качеству заполнения характеристик.

С чего начать

Методология атрибутивной нормализации включает пять фаз: аудит, структурирование, обогащение, очистку и нормализацию значений с последующей дедупликацией и формированием «золотой записи». Старт обычно выглядит так: аудит справочника, пилот на одной категории номенклатуры, сбор метрик и последующее масштабирование.

Обязательной частью методологии является культура чистых данных. Она включает регламенты ведения справочников, обучение персонала и мониторинг качества. Борьба с дрейфом данных ведется на всех этапах, поскольку модель постоянно дообучается на правках экспертов.

Стоимость и условия лицензирования определяются индивидуально и зависят от того, будет ли контур локальным или облачным, от числа моделей и объема справочников. Сроки запуска зависят от готовности данных и от категории, выбранной для пилота.

Остались вопросы? Смотрите полную запись вебинара на наших площадках:

Rutube-канале и в VK Видео.

Подпишитесь на нас в социальных сетях Telegram и ВКонтакте, чтобы не пропустить новые полезные материалы, а также специальные акции для участников мероприятий.

Если вы хотите оценить, как такие решения применимы к вашим справочникам, приглашаем записаться на консультацию или демонстрацию через форму обратной связи на сайте SOFROS.

Мы в соцсетях:
Поделиться статьёй:


Мы используем файлы cookie для улучшения работы сайта