«InsightScout» создается командой с петербургскими корнями, и главные действующие лица должны быть хорошо знакомы постоянным читателям First & Goal — это Фёдор Акимов, Илья Кравцов и Алексей Рожков. Мы поговорили с ними о том, что представляет собой их проект, когда его придумали, как он устроен и каково это — говорить американским тренерам и скаутам, что в России есть люди, которые разбираются и футболе, и в технологиях.

First & Goal: Привет. Для начала расскажите о себе в двух словах для тех, кто не очень пристально следит за российским американским футболом.

Фёдор Акимов: Футбол — заметная часть моей жизни, но он никогда не был и не станет всей моей жизнью. Я уже много лет играю на позиции сейфти, время от времени тренирую кого-то (был опыт и с юниорами и с женской командой), занимаюсь финансами и немного организацией в «Санкт-Петербургских Грифонах». Однако это всего лишь хобби — то, что я делаю для души, переключаясь со своей основной работы коммерческого директор IT-компании «ЛИПТ Софт». Мы делаем программное обеспечение для российских банков и много разных других интересных штук для небанковского сектора.

Илья Кравцов: Я увлечён футболом в разных ипостасях и странах всю свою сознательную жизнь (сейчас Илья координирует защиту «Крагуевац Уайлд Боарс» в Сербии — прим. ред.), но как и многие из нас, занимаюсь много чем ещё. В частности, уже восемь лет продаю на международном рынке российские решения в сфере искусственного интеллекта, распознавания лиц и голоса.

Алексей Рожков: Меня в футбол позвал друг под впечатлением от просмотра «Blue Mountain State», подробно рассказав о том, что нас ожидает согласно сериалу. Мне показалось это любопытным, и вскоре я пришел на первую тренировку в «Грифоны», за которой последовали несколько лет с большими перерывами. Помимо этого работаю как разработчик над задачами компьютерного зрения и искусственного интеллекта, и возможность переключаться между этими очень непохожими видами деятельности позволяет не зацикливаться на чем-то одном.

F&G: Что такое «InsightScout»?

Ф.А.: Ассистент тренера на базе компьютерного зрения. Если совсем грубо — это штука, которая отсматривает видео вместо тренера, снимая все необходимые координатные данные и формируя нужные тренерам статистические отчеты. Один из вариантов развития проекта — полноценная платформа для работы со спортивным видео, «HUDL на стероидах», где стероиды — технологии компьютерного зрения.

И.К.: Как и почти все технологии, которые человечество наизобретало в последние лет триста, наше решение — про оптимизацию ручного труда. А в тренерском деле, крайне неэффективной ручной работы на сегодняшний день ещё огромное количество.

F&G: Когда и как у вас появилась идея такого проекта?

Ф.А.: В мае 2020 года мне позвонил мой давний друг, наставник и партнер Миша Гаврилов — достаточно известный в футбольной «тусовке» человек — и рассказал, что общался с какими-то ребятами у которых есть технология, используемая для отслеживания двигательных паттернов пожилых людей. И говорит: «Слушай, а может мы можем что-то подобное применить для футбола, чтобы трекать игроков?». Я с этой мыслью «переспал» пару ночей, решил «А почему бы и не попробовать?» и пошел с сырой идеей без чего-либо в акселератор «4thly» к Стэнфордскому профессору Брэту Уотерсу, где до середины июля, вместе с другими фаундерами со всего мира, постоянно помогая друг другу, мы проводили проблемные интервью, моделировали, прогнозировали, готовя наши проекты к привлечению первых «внешних» денег.

F&G: Ты начинал один?

Ф.А.: Да, на момент начала акселератора у меня даже не было технического кофаундера, а я сам не разработчик. И, я уже точно не помню, когда именно это случилось, я, через знакомого узнал, что есть в Петербурге офигенный CV-инженер (CV — Computer Vision или «компьютерное зрение» — прим. ред.), который еще и в футболе шарит. Им оказался Лёша Рожков. С ним мы знакомы давно и много вместе играли и тренировались, но я понятия не имел, что он настолько хорош в своей сфере, я даже не знал, что он в принципе этим занимается. Но мы сошлись, и у нас в команде появился, как я его презентую во всех питчах, «the smartest and the most humble linebacker in the world» («самый умный и самый скромный лайнбекер в мире» — прим. ред.). А потом мне понадобилось расширять свой нетворк среди потенциальной целевой аудитории и понимать потребности тренеров еще лучше, и к нам присоединился Илья Ильич Кравцов. Ильич, конечно — офигенный сейлз. Я не понимаю, как он делает то, что делает по своей «основной» работе. Однозначный респект.

F&G: Идея звучит интересно, но кажется, что такое могло прийти в голову очень многим. Неужели за все время у кого-то из конкурентов не появилось ничего похожего?

Ф.А.: Многие пытались, но у большинства ничего не вышло. Сейчас проблему сбора координатных данных решают по-другому — с помощью RFID (Radio Frequency IDentification, радиочастотная идентификация — прим. ред.) или других подобных носимых меток, данные с которых обрабатываются специальными детекторами, установленными около поля. Но проблема у таких решений одна — высокая себестоимость установки и стоимость владения (обслуживание и т.д.). Нам же, по большому счету, кроме видео ничего не нужно.

И.К.: Говоря о конкурентах, нужно ещё понимать, что алгоритмы машинного зрения только-только начинают работать достаточно хорошо, чтобы их можно было автоматически дообучать (а значит, развивать) на произвольных данных, без «ручного» допила алгоритма. То есть, решение наших задач именно при помощи машинного зрения как таковое стало возможным относительно недавно, а решения при помощи других технологий — например, тех же меток — имеют кучу слабых мест. К примеру, данные с меток ты можешь получать только от тех, на ком они физически висят — а через систему видеоаналитики, ты можешь прогнать что угодно: в том числе соперника, который не особо горит желанием делиться своими данными, и в том числе прошлые матчи, на которых меток ни у кого не было.

F&G: Расскажите немного, как все устроено технически. Все это делает искусственный интеллект?

А.Р.: Конечная цель системы — сформировать отчёт с несколькими уровнями детальности: на самом высоком тренеры смогут анализировать тренды в игре команд, затем при необходимости — находить розыгрыши согласно определенным критериям, ну и в конце концов изучать действия отдельных игроков.

Как и любая система на основе машинного обучения на сегодняшний день, наша будет иногда допускать ошибки, но в целом это позволит сильно снизить время на рутину, а также объективно оценивать действия игроков, что в дальнейшем позволит «предугадывать» розыгрыши, которые в той или иной ситуации будет назначать координатор. Это довольно амбициозные планы, и на сегодняшний день реализована только та часть, которая представляет крепкий фундамент, на базе которого будут строиться более высокоуровневый функционал.

F&G: Что вы умеете делать сейчас? 

А.Р.: Сейчас мы умеем детектировать и отслеживать игроков на поле, а также обнаруживать разметку с произвольного (в разумных пределах) ракурса камеры, что позволяет перейти от координат игрока на изображении (в пикселях) к координатам на поле (в ярдах). Также мы детектируем цепочку с даун-маркером чтобы автоматически определять down & distance. Это довольно стандартные задачи компьютерного зрения и существует много разных способов решить их, но в нашем случае есть специфические детали, которые диктуют выбор частей конвейера системы.

Например, типичные проблемы при работе с одной камерой на бровке: дальний гард, квотербек и ранинбек при шотгане, которые заслонены настолько сильно, что без учёта априорной информации о том, что на поле должны быть ровно 11 игроков каждой команды, и о том, какие формации являются легальными или распространенными, нет шансов надёжно их обнаружить. Из-за этого для нас предпочтительнее модели, учитывающие глобальный контекст, т.е «видящие кадр целиком», а не малую его часть. Типичные же системы (например, для подсчёта покупателей в магазине) могут хорошо работать и без учёта подобной информации.

F&G: Но все остальное можно спокойно распознать?

А.Р.: Есть другой пример — моушены или вообще движение игроков после снепа почта всегда сопровождаются сильными заслонениями, которые при «онлайн» трекинге, когда для каждого кадра учитываются только кадры перед ним, представляют серьезные проблемы. Однако если не ставить своей целью работу в режиме прямой трансляции, мы можем отслеживать игроков «оффлайн», т.е учитывать и кадры «из будущего» и, если игрок пропал в одном месте и через несколько кадров появился в другом, мы можем предположить, что в «пропущенных» кадрах он двигался из одной точки в другую, а не пропал вовсе или телепортировался на бровку. Это звучит довольно нелепо, но у текущих моделей машинного обучения нет «здравого смысла», и поэтому приходится закладывать определенные знания о мире явно.

В целом работа над подобным продуктом подразумевает много специфичных нюансов. В рамках каждой подзадачи можно работать над новыми решениями, а не в очередной раз применять стандартные. На мое удивление толковых работ по анализу спортивных игр немного. Лично для меня это является большим плюсом, как, наверное, и для других инженеров, которых привлекает исследовательский аспект работы.

F&G: Вы узнали что-то новое для себя за время, которое работаете над стартапом?

И.К.: Проверка наших гипотез у тренеров разных уровней в США была для нас ужасно интересной. Общаясь с ними как потенциальный вендор, мы очень многое узнали, например, о том, как изнутри работает система скаутинга колледжами потенциальных проспектов из хайскулов. За новостями их рекрутинга я слежу постоянно, но, к примеру, для меня было новостью, что скаутам принципиально важно стать именно первым колледжем, кто предложит какому-нибудь перспективному школьнику стипендию. Дело в том, что как только предложил кто-то один, все конкуренты сразу подумают, что «они что-то знают», и тоже начнут следить за ним пристальнее и что-то предлагать. Сами школьники это понимают, и к тем, кто в них действительно «поверил» изначально, относятся всегда теплее всего.

Вот подобные истории никогда не узнаешь, если наблюдаешь за процессом со стороны. А взглядом изнутри никто с тобой не поделится, если они сами не будут в этом заинтересованы. А с нами — они очень заинтересованы.

F&G: И куда вы в итоге движетесь? Ваша конечная цель — НФЛ?

Ф.А.: Скорее не НФЛ, а колледжи первого и второго дивизионов, профессиональные и полупрофессиональные лиги по всему миру.

И.К.: Ну и не забываем про хайскул и рекрутинг. На этих уровнях, подобный продукт максимально востребован как с точки зрения оптимизации рабочего процесса, так и с точки зрения «откапывания» каких-то данных, инсайтов, которые при ручном отсмотре видео могут ускользнуть от внимания.

Ф.А.: Сейчас наш план следующий: во-первых, заняться прямыми продажами, а для этого, как показала практика, нужно прямо ехать в Штаты и разговаривать с непосредственными выгодоприобретателями нашей разработки. Нужны личные демо. А во-вторых, чисто с технической точки зрения, нужно сделать следующий шаг: учить наше решение работать с данными после снэпа.

F&G: Почему вы думаете, что у вас получится?

Ф.А.: Потому что у нас есть ресурсы и компетенции: мы и в технологиях разбираемся, и знаем, как продавать то, что нужно рынку, и обладаем доменной экспертизой. За счет сочетания этих качеств и победим. Многие тренеры и менеджеры футбольных команд в США и Европе очень сильно удивляются, когда видят русских ребят, которые делают такое решение. Однако все, даже те, кто не удивляется, отмечает, что у нас в стране люди максимально смелые и у нас есть действительно качественные инженеры, чтобы делать такой продукт.

И.К.: Футбол — это классно. Искусственный интеллект — тоже классно. А наша команда на стыке этих двух вещей — так вообще зашибись. Что тут может не получиться?

F&G: И вы все это делаете втроем? Вам хватит ресурсов и сил, чтобы двигаться вперед?

Ф.А.: Втроем, но нам помогали. И упомянутый выше Миша, и бывшие, и нынешние «Грифоны», и «Валькирии», и всем известный Илья Ярощук, который нас представил в свою Alma Mater, «Нью-Хэмпшир Уайлдкэтс», за что ему огромный респект. Работа с их материалом дала проекту огромный буст в техническом плане. И мы всегда готовы принять любую посильную помощь, особенно от технически грамотных людей, которые шарят в футболе. Уверен, в нашем коммьюнити такие есть. Добавляйтесь ко мне в VK и Facebook и пишите в личку. Если вы понимаете футбол хотя бы немного, и у вас есть хотя бы начальные навыки в работе с искусственным интеллектом, машинным обучением или анализом данных — нам точно есть, что обсудить.