ГК «Русагро»: ML-дедупликация товаров для аналитики маркетплейсов

Один и тот же товар на разных маркетплейсах описывается по-разному: меняются названия, обозначения бренда, вес и количество единиц в упаковке. Из-за дублей сложно собрать сопоставимый ассортимент и корректно анализировать рынок.

Для аналитических задач ГК «Русагро» разработан ML-подход к поиску одинаковых товаров и объединению карточек в единый справочник. Кейс опирается на проектный опыт основателя Holkins: от подготовки данных и обучения модели до интеграции в аналитическое приложение.

Построили последовательный пайплайн: подготовка и нормализация карточек → разметка пар → поиск кандидатов → оценка совпадения моделью → формирование групп → использование в аналитическом web-приложении.

Сначала сравнили правила и нечёткое сходство названий с нейросетевыми подходами. Эмбеддинги и FAISS сокращают число пар для проверки. Затем дообученный BGE cross-encoder оценивает, относятся ли две карточки к одному базовому товару.

Пороги выбирались на отдельной dev-выборке с учётом цены ошибки и объёма продаж. Ошибочно объединить разные товары для аналитики особенно опасно, поэтому качество оценивалось не только по общей доле правильных ответов. Различия в комплектации и размере упаковки учитываются отдельными правилами после попарного сопоставления.

Разделили данные на train/dev/test, зафиксировали отчётную конфигурацию и сравнили варианты моделей. Выбранный подход встроен в локальное аналитическое web-приложение. Дообученная модель опубликована на Hugging Face; исходный проект — mpstats_etl_ml_dedup.

Стек: Python, pandas, DuckDB/SQL, PyTorch, Sentence Transformers, FAISS, FastAPI и React. На обложке — публичная карточка модели, без внутренних корпоративных данных.

В отчётной конфигурации на отложенном тесте из 165 пар товаров получены precision 100%, recall 79,5% и F1 0,886. Порог выбран на dev-выборке по стоимости ошибок. На этом тесте — 0 ложных объединений и 24 пропущенных совпадения.

Эти показатели относятся к попарному benchmark, а не к качеству всего каталога или готовых групп. Область проверки: данные Ozon, Яндекс Маркета и Wildberries в категориях соусов, кокосового масла и мыла. Для новых категорий необходима проверка и калибровка на целевых данных.

Результат разработки — воспроизводимый ML-пайплайн, интеграция в локальное аналитическое приложение и открытая дообученная модель. Основатель Holkins представил проект на Junior ML Contest 2026 ИТМО / AI Talent Hub и получил диплом победителя.

Кейс демонстрирует полный цикл прикладного ML: от бизнес-ошибки в данных и разметки до выбора метрик, обучения, проверки и интеграции решения.