Abstract
스포츠 비디오에서 event의 자동적인 감지는 광고나 미디어 회사의 데이터분석을 위해서 중요합니다.
이 논문은 잠재적인 데이터로부터 축구동영상을 실행할때 복잡한 이벤트의 복잡한 범위를 감지하는 접근법 이해를 보여줍니다.
그 event detector는 detects atomic과 complex event와같은 two-tier system으로써 디자인이 됩니다.
Atomic event는 temporal logic(시간 논리)로 감지된 object와 그들의 상대적인 거리의 균형에 기반하여 감지되며
속도, 가속도와 같은 시공간적 특징에 기반하여 감지됩니다.
Complex event는 temporal logic atomic의 균형과 복잡한 event에 정의됩니다. 그리고 이것들은 Interval Temporal Logic(ITL)로써 표현됩니다.
발표된 접근법의 효과성은 복잡한 상황에서의 태클과 다양한 패스를 포함한 16개의 다른 events 들에게서 보여집니다.
정형화된 event들은 ITL원리에 기반하며 이것은 패스와 크로스의 결과로 골을 넣는것을 이해하는 것과같은 reasoning task를 쉽게 수행하는것이 가능합니다.
annotated된 공개 데이터셋의 부족을 상쇄학 위해 저자들은 오픈 소스 축구 시뮬레이션 엔진을 기반으로 합성 SoccER(Soccer Event Recognition, 축구 이벤트 인식)데이터셋을 공개했습니다. 이 데이터셋에는 160만 개 이상의 atomic events와 9,000개의 complex events에 대한 완전한 위치 데이터와 annotation이포함되어 있습니다.
데이터셋과 코드들은 at https://gitlab.com/grains2/slicing-and-dicing-soccer 이 주소로 접근이 가능합니다.
Soccer event detection: a temporal logic approach
디자인된 event detection system인 두가지 모듈인 atomic event detector와 complex event detector을 포함합니다.
첫번째 모듈은 플레이어의 공의 x와 y좌표를 입력으로 받아, feature 추출 및 사전 정의된 규칙의 적용을 통해 atomic(low-level)events들을 인식합니다.
atomic events들은 메모리에 저장되며 이후에는 temporal logic(시간 논리)를 사용하여 low-elvel과 high-level의 complex events를 모델링하고 인식합니다.
제안된 시스템은 전체적으로 5개의 atomic events와 10개의 complex events를 감지할 수 있으며, 여기에는 파울, 페널티, 골을 제외한 실제 상황에서 정의된 모든 이벤트가 포함됩니다. 이러한 이벤트들은 추가정보(심판의 위치와 공의 z좌표)가 필요할 것입니다.
여기서 ID는 이벤트 식별자, seType은 이벤트의 유형 그리고 t는 이벤트가 발생한 시간을 의미합니다.
이벤트는 하나 이상의 객체와 연관되며, 각각은 pi로 식별되고 특정 rolei에 연결되어, 이는 이벤트에서 플레이어가 수행한 기능을 식별하고 규칙이 검증될 때 자동으로 할당됩니다. 이벤트는 만족되어야 할 조건들과 연관될 수 있으며, 예를들면 플레이어와 공 사이의 거리에 기반한 조건일 수 있습니다.
complex events는(temporal complex events)와 logical operators(logical complex event)를 사용하여 다른 단순 이벤트나 complex 이벤트를 집계함으로써 구축됩니다.
모든 경우에서 ID는 event 식별자에 해당하고 ceType은 이벤트 유형을 나타냅니다. (ts, te)는 이벤트가 발생한 시간 간격이며, ei는 하위 이벤트를 식별하는 데 사용됩니다.
저자들은 logical 또는 temporal complex event를 구분하지않습니다. 저자들의 접근방식에서 제안된 방식의 주요 차이점은 저자들은 시간이 순서가 아닌 간격을 사용하여 모델링한다는 것입니다. rule parameters는 유전 알고리즘을 사용하여 최적화되었습니다.
Atomic event detector
feature 추출은 선수와 공의 x 및 y 위치에서 시작하여, 속도, 가속도, 필드에 대한 방향, 공으로부터의 거리, 어떤 선수가 움직이는지, 양 팀의 목표선으로부터의 거리, 목표선에서 예상되는 크로스 위치와 방향 변경에 의해 커버된 각도. 개별 특징들이 계산됩니다.
Rule Atomic event는 rule 집합을 이용하여 감지됩니다.
그들이 단일 시간 순간 ti에 연관되어있더라도, 계산 시간을 줄이고 특징들에 대한 안정된 값을 계산하기 위해 슬라이딩 윈도우 접근 방식이 구현되었습니다. 주어진 시간 순간 ti에 대해서, 이벤트 Ei는 해당 규칙이 구간 (ti + ti + k)에서의 값들에 의해 만족될 때 인식됩니다. 여기서 k는 윈도우 크기와 같습니다. feature extraction과 Rule cheking은 파이썬에서 구현되었습니다.
구체적으로 atomic event는 다음과 같이 정의됩니다.'
1. 공을 차는것
선수에게 가까운 위치에서 시작하여 공은 윈도우 k의 과정을 통해 선수로부터 멀어져야하며 갑작스러운 가속과 최종적으로 증가된 속도를 가져야합니다.
2.공을 제어하고 있는 선수
공의 z좌표가 사용할 수 없기 때문에, 크로스 이벤트 동안 공 소유의 문제를 피하기 위해 공의 속도를 사용했습니다.
3.태클
근처에 상대 팀의 멤버가 있는 이벤트가 발생하는 상황을 가집니다.
4. 선수나 골키퍼가 공을 튕겨내었을때
이 이벤트에서 공은 강한 감속을 겪으며 튕겨낸 선수로부터 멀리 떨어진 지역에 도달합니다.
5. 공이 경기장밖으로 나갔을때
6. 선수가 골을 넣었을때
Complex event detector
이 모듈은 temporal logic에 기반하여 구현되었으며 구체적으로 Temporal Interval Logic with Operators(TILCO)를 사용하였습니다. TILCO는 각 이벤트가 시간 구간에 연관된 itlS(Interval Temporal Ligics)의 한 분류에 속합니다.
TILCO는 여러 가능한 옵션 중에서 선택되었는데, 이는 TILCO가 질적 및 양적 순서를 모두 구현하고 시간에 대한 메트릭을 정의하기 때문입니다.
따라서 저자들은 이벤트의 지속 시간에 대한 제약을 부과하고 그들의 지속 시간에 대한 통계를 수집할 수 있었습니다.
complex event detector는 prolog에 기반한 오픈소스 라이브러리인 ETALIS를 사용하여 구현되었습니다.
complex event detector는 소수의 매개변수로 특정지지며 이들은 훈련세트에서 수동으로 최적화되었습니다.
complex event의 경우 규칙은 다음과 같습니다.
1. 패스(Pass)와 크로스(Cross) 이벤트는 같은 팀의 두 선수 사이에서 공이 전달될 때 발생하며, 이는 두가지 기본 이벤트인 공차기와 공 소유의 연속으로 표현될 수 있습니다.
여기서 패스하는 선수와 받는 선수는 같은 팀에 속합니다. 크로스는 공이 필드의 측면 지역에서 골 지역으로 전달되는 특별한 경우 입니다. 선수들의 위치를 평가하기 위해 패스 감지에 추가적인 조항이 추가되었습니다.
2. FilteringPass는 상대 팀이 조직적인 방어를 가지고 있을 때 골 기회를 만들어낼 수 있게 해줍니다.
UEFA의 정의에 따르면, 상대 팀의 방어 라인을 넘어서는 패스를 의미합니다. 이 저자들의 정의에선 공을 받는 선수는 패스가 시작될 때, 상대팀의 모든 선수들 보다 골대에 더 가까워야합니다.
3. PassThenGoal, CrossThenGoal 그리고 FilteringPassThenGoal은 두 개의 시간적 부분-시퀀스의 연결로 정의됩니다.
Pass/FilteringPass/Cross의 교대로 이루어진 후에 Goal이 이어지는 구조이며, 여기서 패스를 받는 선수가 골을 넣는 선수와 동일합니다.
4. 태클 : complex event로써, 하나 이상의 기본 태클의 연속이며, 이어서 공 소유가 뒤따릅니다.
Wontackle은 상대팀이 공을 획득하는 성공적인 시도로 끝나며, LostTackle은 보완적인 규칙에 의해 얻어집니다.
5.ShotOut, ShotThenGoal, 그리고 SavedShot은 득점 시도의 가능한 결과를 나타냅니다.
SavedShot 이벤트는 골키퍼가 성공적으로 공을 가로채는 경우로, 공 차기(KickingTheBall)이후에 공의 방향을 바꾸거나 (BallDeflection)공을 소유(BallPossession)하는 것으로 정식화되며, 이때 방향을 바꾸는 선수는 골키퍼입니다.
Event recognition from a multi-view camera setup
실제 환경에서는 multiview video stream에서 공간-시간 데이터를 추출하기 위해 다중 객체 탐지 및 추적 시스템을 사용했습니다.(Fig2 참조) 예를 들어, Pettersen et al.은 알프하임 스타디움을 커버하기 위해 세 개의 광각 카메라를 사용했습니다.
Experimental results
이 섹션에서는 제안된 탐지기의 SoccER 데이터셋에 대한 평가 프로토콜과 실험 결과를 보고합니다.
우선, 최적의 매개변수가 다목적 유전 알고리즘을 통해 찾아진 기본 이벤트의 탐지에 초점을 맞춥니다.
기본 이벤트 탐지기의 최적 해결책을 시작으로, complex event detector의 성능을 분석하고 최신 기술과 비교합니다.
댓글