Автор: Илья Бакалец Редактура: Иван

Мы продолжаем разбирать лучшие решения с соревнования Kaggle NFL. В нем участникам предстояло детектировать столкновения игроков в американском футболе, анализируя данные видеокамер и датчиков прикрепленных к игрокам.

В продолжение первой статьи мы расскажем:

• какие еще решения придумали участники для детектирования контакта между игроками
• как закодировать трекинг-данные с датчиков в фичемапы
• про методы аугментации видео для задачи классификации.

Введение

Итак, мы продолжаем изучать решения некоторых команд. Первые десять мест получили золото, а первые пять — золото и денежный приз (про них мы и рассказываем в статьях). Результаты последних отличаются только в четвертом знаке после запятой. В этой части статьи мы проанализируем и представим решения команд, не разобранные нами в первой части 🙂

Сначала немного напомним о самом соревновании. Его цель — определить столкновения между игроками в конкретный момент времени в игре для анализа здоровья игрока.

Метрика оценки — корреляционная метрика MCC (Matthews Correlation Coefficient) для оценки качества классификации столкновений. Она учитывает все четыре возможных исхода классификации:

• TP (верно-положительные);
• TN (верно-отрицательные);
• FP (ложно-положительные);
• FN (ложно-отрицательные).

Можно сказать, что суть задачи в бинарной классификации.

Данные

Теперь тезисно вспомним, что там было с данными (подробнее можно почитать в предыдущей статье).

Записи игр идут по 15 секунд, сам игровой эпизод начинается спустя 5 секунд от начала. У видео три ракурса: сбоку (SideLine), спереди (EndZone), поле полностью (All29). Первые два синхронизируются только между собой.

All29, EndZone, SideLine

Еще были даны трекинг данные: у каждого игрока есть датчик, фиксирующий его местоположение и ориентацию на поле. Они помогают анализировать расстояние между игроками. С ним можно избавиться от невозможных меток столкновений. Чем больше расстояние, тем меньше вероятность столкновения. 2 ярда (180 см) — порог, благодаря которому можно отбросить ненужные данные (расстояние в 180 см между игроками еще возможно, это как средний рост человека, но расстояние в 5 метров уже невозможно при метке как столкновение). Получается, столкновение при расстоянии между игроками более 2-х ярдов маловероятно, хотя в данных присутствовали метки между игроками с расстоянием 5 метров.

Кроме того, в предыдущем соревновании NFL Kaggle были добавлены предсказанные ббоксы шлемов игроков — это дает дополнительную информацию о положении игроков на видео и используется в соревновании для получения области со столкнувшимися игроками.

Решение 4

Решение состоит из двух этапов:

1. обучение CNN;