Требовалось создать систему компьютерного зрения для высоконагруженной платформы (тысячи событий в секунду). Ключевые требования:

• Детектирование и трекинг объектов на игровом поле в реальном времени
• Формирование игрового контекста — даже когда объект временно скрыт из виду
• Высокая точность распознавания в сложных аксонометрических сценах
• Интеграция с высоконагруженной платформой
• Работы велись в рамках NDA — технические детали и название заказчика не раскрываются

Первые несколько месяцев работали с чистыми OpenCV-алгоритмами обработки изображений для детектирования объектов:

• Различные методики фильтрации изображений
• Функции обнаружения контуров и ключевых точек
• Классические методы сегментации и выделения объектов

Вывод: при всей гибкости классических методов они не обеспечивали нужной точности и устойчивости в сложных игровых сценах. Приняли решение двигаться в сторону нейросетей.

Начали с прототипов на Python с использованием YOLO. Отрабатывали детекцию на ограниченных датасетах. Здесь же столкнулись с проблемой аксонометрических сцен — объекты на поле выглядят искажённо, стандартные модели работали неудовлетворительно.

Готовые решения для разметки не подходили под нашу специфику. Пришлось создавать инструментарий с нуля:

• Разработали собственный софт для разметки объектов
• Несколько месяцев выбирали методику разметки в аксонометрических проекциях
• Решили задачу маппинга: соотнесение координат с экрана с реальными координатами на игровом поле

Для продакшен-нагрузок переписали инференс на C++, задействовали всю мощь GPU:

• Инференс на C++ с использованием CUDA
• Экспорт моделей в ONNX и оптимизация под TensorRT
• Добились стабильной работы в реальном времени на серверном GPU

Одна из самых сложных задач — формирование игрового контекста. Глаз не всегда видит объект: заслонение, уход за край поля, слияние с фоном. Но система должна знать, что объект существует, и учитывать его в контексте.

Реализовали механизм контекстного отслеживания — система «помнит» объект даже при временной потере видимости и прогнозирует его положение на основе истории трекинга.

• Система работает в продакшене, обрабатывая видеопотоки в реальном времени
• Достигнута высокая точность детекции даже в сложных аксонометрических сценах
• Реализован контекстный анализ — объекты отслеживаются даже при временной потере видимости
• Пройден путь от классических алгоритмов до оптимизированного нейросетевого инференса
• Создан собственный инструментарий для разметки и работы с данными
• Система интегрирована в высоконагруженную платформу заказчика