- Продукты
- SOFROS AI/ML
- Функциональные возможности
Разработано SOFROS
SOFROS AI/ML
Сервис для атрибутивной нормализации, классификации, выделения характеристик и дообогащения нормативно-справочной информации
Основные функции:
Классификация НСИ
Выделение характеристик и шаблонизация
Дообогащение и нормализация:
o Дедупликация;
o Поиск аналогов;
o Быстрый поиск
по характеристикам;
o Автоматизация ввода
новых данных;
o Валидация;
o Формирование «золотых записей».
Ключевым компонентом сервиса SOFROS AI/ML является его ядро, которое включает в себя:
Расширение для 1С:MDM Управление нормативно-справочной информацией, редакция 2.5. Расширение состоит из API для работы с центром управления процессами AI/ML, SDK для работы с моделями AI/ML, интерфейсов для взаимодействия с пользователем, служебных процедур и функций для интеграции с 1С-библиотекой «Технологии искусственного интеллекта».
Центр управления моделями AI/ML. Центр управления моделями AI/ML обеспечивает управление моделями: регистрацию, обучение, предсказание, сохранение и загрузку обученных моделей, а также интеграцию с расширением для 1С: MDM Управление нормативно-справочной информацией, редакция 2.5.
Менеджеры сервисов. Микросервисы для изолированного выполнения кода моделей: оркестраторы, менеджеры инфраструктуры, менеджеры для интеграции с Центром управления моделями AI/ML.
Модели машинного обучения и искусственного интеллекта, входящие в основную поставку.
• Модель классификации – выполняет автоматическое определение класса номенклатурной позиции на основе её наименования. Реализует гибридный классификатор с использованием наивного байесовского подхода, токенизации (униграммы и n-граммы), нечёткого поиска, кэширования статистики токенов и взвешивания с штрафными коэффициентами для повышения точности классификации. Реализует несколько вариантов решения наивного байеса (комплиментарный, Бернулли и т.д).
• Модель экстракции – решает задачу извлечения именованных сущностей (характеристик) из текстовых описаний. Выполняет обучение собственных моделей классов именованного выделения сущностей, кастомную токенизацию, лучевой поиск и кэширование классов (горячий кэш). Позволяет выделять категориальные и дискретные свойства номенклатуры с контролем качества и возможностью дообучения при появлении новых значений.
• Модель семантического поиска обеспечивает поиск наименований НСИ, похожих по смыслу на заданный запрос. Преобразует тексты в векторы с помощью модели-энкодера, выполняет быстрый поиск по векторной базе и уточняет результаты с помощью модели-реранкера (кросс-энкодер), используя многопоточность и кэширование для высокой производительности.
• Модель контекстного поиска представляет собой «умный справочник» характеристик товаров. Анализирует запрос пользователя, извлекает характеристики, проверяет локальный кэш, при необходимости обращается к большой языковой модели и может вызывать веб-поиск для дообогащения данных, кэшируя полученную информацию для повторного использования.