11月23日晚，2024中國(guó)足協(xié)杯決賽在浙江溫州舉行，經(jīng)過激烈較量，最終上海海港隊(duì)以3:1戰(zhàn)勝山東泰山隊(duì)，成功奪得隊(duì)史首座足協(xié)杯冠軍。在這場(chǎng)足壇盛宴，球員們高超的球技及團(tuán)隊(duì)間精彩的對(duì)決無(wú)疑是比賽關(guān)注的焦點(diǎn)，而裁判公平、公正的判罰則是比賽進(jìn)行的關(guān)鍵。

　　為進(jìn)一步增強(qiáng)賽事的公平性及觀賞性，2024中國(guó)足協(xié)杯決賽開創(chuàng)性地引入了半自動(dòng)越位識(shí)別技術(shù)(SAOT，Semi-Automated Offside Technology)，這不僅在國(guó)內(nèi)足壇，在整個(gè)東南亞地區(qū)的足球賽事中也屬新鮮嘗試。高精準(zhǔn)、高實(shí)時(shí)的判罰，讓觀眾們見證了一場(chǎng)別開生面的足球?qū)Q。近日，《影視制作》特別采訪了索尼(中國(guó))有限公司虛擬制作及體育行業(yè)部體育行業(yè)科經(jīng)理鄭昭、副經(jīng)理劉海，從專業(yè)技術(shù)角度剖析索尼半自動(dòng)越位識(shí)別技術(shù)，以期揭開這一創(chuàng)新技術(shù)的神秘面紗。

　　升級(jí)引入SAOT

　　高精準(zhǔn)“秒級(jí)”判罰輕松完成

　　觀望全球，半自動(dòng)越位識(shí)別技術(shù)早已應(yīng)用于卡塔爾世界杯、亞洲杯、歐冠等國(guó)際賽事。與國(guó)際接軌，順應(yīng)技術(shù)應(yīng)用趨勢(shì)，中國(guó)足協(xié)和足協(xié)杯組委會(huì)對(duì)嘗試這項(xiàng)新技術(shù)很早就表現(xiàn)出了極大的興趣。2023年年底，足協(xié)杯組委會(huì)與索尼虛擬制作及體育行業(yè)部(以下簡(jiǎn)稱“索尼體育”)已經(jīng)就“何時(shí)引入半自動(dòng)越位識(shí)別技術(shù)”的問題進(jìn)行了交流。最終，綜合考慮技術(shù)應(yīng)用成本、賽事重要性等因素，組委會(huì)于2024足協(xié)杯決賽前一個(gè)月確定在視頻助理裁判(VAR，Video Assistant Referee)服務(wù)的基礎(chǔ)上，升級(jí)引入半自動(dòng)越位識(shí)別技術(shù)。

2024足協(xié)杯決賽現(xiàn)場(chǎng)視頻助理裁判工作臺(tái)

2024足協(xié)杯決賽現(xiàn)場(chǎng)半自動(dòng)越位工作臺(tái)

　　此次半自動(dòng)越位識(shí)別技術(shù)由10個(gè)攝像頭和1整套AI系統(tǒng)組成。其中，攝像頭負(fù)責(zé)實(shí)時(shí)定位追蹤每位球員身體上共計(jì)29個(gè)數(shù)據(jù)點(diǎn)位。遇到疑似越位或發(fā)生進(jìn)球，VAR操作員可優(yōu)先向裁判展示系統(tǒng)自動(dòng)生成的越位線畫面，并可以回溯進(jìn)球前初始階段到進(jìn)球過程中的細(xì)節(jié)。

攝像頭實(shí)時(shí)定位追蹤球員身體上的29個(gè)數(shù)據(jù)點(diǎn)位

　　半自動(dòng)越位識(shí)別技術(shù)在整場(chǎng)比賽中會(huì)實(shí)時(shí)給出疑似越位(potential offside)、明確越位(clear offside)、明確不越位(clear onsite)的提示，完成高精準(zhǔn)“秒級(jí)”判罰，有效避免判罰爭(zhēng)議。“只有遇到接近越位的情況，才需手動(dòng)查看。此外，某些越位干擾的判定還需依賴裁判的主觀判斷，如球員是否位于越位位置對(duì)進(jìn)攻構(gòu)成干擾等。‘半’自動(dòng)越位的系統(tǒng)名稱由此而來(lái)。”索尼(中國(guó))有限公司虛擬制作及體育行業(yè)部體育行業(yè)科經(jīng)理鄭昭解釋。

　　AI系統(tǒng)的主要功能則是利用專用AI算法將二維平面數(shù)據(jù)轉(zhuǎn)化為三維坐標(biāo)數(shù)據(jù)而后形成三維動(dòng)畫，裁判做出判罰后，轉(zhuǎn)播方可以更直觀地向觀眾展示球員越位的具體位置和整個(gè)越位的過程。鄭昭強(qiáng)調(diào) ：“不少觀眾誤以為三維動(dòng)畫是某一幀畫面生成的，事實(shí)上全場(chǎng)比賽超過90分鐘的所有球員的動(dòng)態(tài)視頻圖像已經(jīng)在我們系統(tǒng)中作為三維數(shù)據(jù)存在，只是我們?cè)诓门写_認(rèn)后，才會(huì)截取和越位相關(guān)的片段發(fā)給轉(zhuǎn)播方。”

　　打好“地基”

　　實(shí)時(shí)穩(wěn)定的圖像數(shù)據(jù)采集

　　綜上所述可以看出，實(shí)時(shí)采集圖像數(shù)據(jù)是整個(gè)工作流程的“地基”，是實(shí)現(xiàn)更快、更精確判罰的關(guān)鍵所在，因此賽前準(zhǔn)備階段的攝像頭安裝與調(diào)試工作顯得尤為重要。

　　索尼(中國(guó))有限公司虛擬制作及體育行業(yè)部體育行業(yè)科副經(jīng)理劉海介紹，比賽場(chǎng)地的實(shí)際情況對(duì)攝像頭的布局影響非常大，此次足協(xié)杯決賽場(chǎng)地不是完整的圓環(huán)看臺(tái)，這導(dǎo)致正前、正后兩個(gè)非常重要的位置無(wú)法架設(shè)機(jī)位?？紤]到位置較低的機(jī)位會(huì)被球迷、球網(wǎng)等遮擋，最終攝像頭選擇安裝在看臺(tái)最高層。但其距離球場(chǎng)非常遠(yuǎn)，這使攝像頭的布局難上加難。

攝像頭安裝在看臺(tái)最高層

　　在初步確定比賽現(xiàn)場(chǎng)的機(jī)位布局后，需要再進(jìn)入軟件“細(xì)調(diào)”。10個(gè)攝像頭布局是協(xié)同調(diào)整的，牽一發(fā)動(dòng)全身。攝像頭調(diào)試軟件分析界面中，黑色、紅色、橙色、綠色和藍(lán)色部分別為 0個(gè)、1個(gè)、2個(gè)、3個(gè)、4個(gè)攝像頭覆蓋的范圍。經(jīng)過長(zhǎng)達(dá)一周的反復(fù)調(diào)試，終于實(shí)現(xiàn)了“全藍(lán)”的理想機(jī)位布局，即球場(chǎng)上任意一點(diǎn)至少有4個(gè)攝像頭覆蓋。

攝像頭調(diào)試軟件分析界面

機(jī)位布置圖

　　賽前熱身環(huán)節(jié)的測(cè)試結(jié)果進(jìn)一步驗(yàn)證了數(shù)據(jù)的穩(wěn)定性和準(zhǔn)確性。現(xiàn)場(chǎng)上百位小朋友，在沒有球員號(hào)碼的情況下，10個(gè)攝像頭可實(shí)時(shí)同步追蹤約50 人，且追蹤圖像數(shù)據(jù)穩(wěn)定、準(zhǔn)確，沒有出現(xiàn)丟幀、掉幀等問題。

賽前熱身環(huán)節(jié)追蹤數(shù)據(jù)穩(wěn)定，無(wú)丟幀、掉幀等問題

　　海量數(shù)據(jù)驅(qū)動(dòng)

　　機(jī)器學(xué)習(xí)實(shí)現(xiàn)量變到質(zhì)變的突破

　　顧名思義，半自動(dòng)越位識(shí)別技術(shù)是針對(duì)“越位”這一犯規(guī)行為在視頻助理裁判系統(tǒng)上進(jìn)行了功能升級(jí)。除了優(yōu)化呈現(xiàn)方式，采用精密虛擬影像有效解決畫面清晰度的問題外，在響應(yīng)速度和精準(zhǔn)度上也實(shí)現(xiàn)了“秒級(jí)判罰”和“毫米級(jí)誤差”的突破。

　　以中超聯(lián)賽中一次越位判罰為例，視頻助理裁判對(duì)越位判罰的工作流程為：逐幀確認(rèn)出球點(diǎn)→確認(rèn)防守隊(duì)員的位置和進(jìn)攻隊(duì)員的位置→根據(jù)采集的畫面數(shù)據(jù)，裁判員確認(rèn)身體部分最靠近底線的位置，然后依次畫出防守和進(jìn)攻隊(duì)員的越位線→最終確認(rèn)根據(jù)系統(tǒng)生成的越位線來(lái)判斷。越位判罰的手動(dòng)3D劃線耗時(shí)長(zhǎng)，國(guó)際足聯(lián)的統(tǒng)計(jì)數(shù)據(jù)顯示大約需要70 秒，且劃線的準(zhǔn)確性也受到質(zhì)疑，“體毛越位”的說法正源于此。在處理連續(xù)越位、出球點(diǎn)有遮擋等復(fù)雜情況時(shí)，劃線準(zhǔn)確度的問題會(huì)更加突出，導(dǎo)致有些判罰會(huì)需要3~4分鐘再反復(fù)確認(rèn)。

　　再看2024足協(xié)杯決賽中連續(xù)兩次疑似越位的判罰，半自動(dòng)越位識(shí)別技術(shù)的工作流程為 ：確認(rèn)出球點(diǎn)→確認(rèn)守方隊(duì)員→確認(rèn)攻方隊(duì)員→按“確認(rèn)”按鈕→系統(tǒng)給出判罰結(jié)果→生成三維動(dòng)畫。系統(tǒng)3秒內(nèi)即可完成分析結(jié)果，之后裁判員再確認(rèn)整個(gè)流程。賽后的數(shù)據(jù)統(tǒng)計(jì)顯示，比賽中的半自動(dòng)越位確認(rèn)時(shí)間為20秒，不僅減少了越位判罰所需的時(shí)間，并且準(zhǔn)確性也有很大提升。

2024足協(xié)杯決賽連續(xù)兩次疑似越位判罰的三維動(dòng)畫　　大部分電視機(jī)前的觀眾可能對(duì)半自動(dòng)越位輸出的效率有微詞，很多是關(guān)于用時(shí)太長(zhǎng)、播放不及時(shí)的。但實(shí)際情況是，轉(zhuǎn)播在收到制作完成的半自動(dòng)越位視頻后，很多時(shí)候已經(jīng)恢復(fù)比賽，需要等待“死球”或比賽暫停時(shí)才能播放視頻，這也就使很多觀眾產(chǎn)生了誤解。以2024足協(xié)杯決賽上半時(shí)結(jié)束之前的進(jìn)球?yàn)槔曨l裁判確認(rèn)進(jìn)球有效，場(chǎng)上裁判很快恢復(fù)比賽，直到半場(chǎng)比賽結(jié)束沒有中斷，所以轉(zhuǎn)播方只能在下半場(chǎng)比賽開始階段，等待“死球”的時(shí)間來(lái)播放上半時(shí)的半自動(dòng)越位動(dòng)畫視頻。

　　從視頻助理裁判系統(tǒng)到半自動(dòng)越位識(shí)別技術(shù)，技術(shù)的增強(qiáng)與優(yōu)化得益于機(jī)器學(xué)習(xí)從量變到質(zhì)變的突破。鄭昭介紹，索尼體育自2018年起就開始投入半自動(dòng)越位識(shí)別技術(shù)的研發(fā)。依托索尼體育服務(wù)的海量體育賽事，索尼半自動(dòng)越位識(shí)別技術(shù)通過機(jī)器學(xué)習(xí)達(dá)到了高精準(zhǔn)度。歷時(shí)三年，于2021年最終制作完成了AI模型算法。鄭昭介紹 ：“索尼體育服務(wù)于全球賽事，量級(jí)可達(dá)年均2萬(wàn)場(chǎng)，海量賽事數(shù)據(jù)的積累，為索尼SAOT提供了更好的機(jī)器學(xué)習(xí)的數(shù)據(jù)條件。”

　　29個(gè)追蹤數(shù)據(jù)點(diǎn)位同樣是經(jīng)過機(jī)器反復(fù)學(xué)習(xí)后最終確定的。這些點(diǎn)位已經(jīng)通過國(guó)際足球聯(lián)合會(huì)的測(cè)試認(rèn)可。目前，索尼提供的半自動(dòng)越位識(shí)別技術(shù)無(wú)需佩戴其他設(shè)備即可實(shí)現(xiàn)精準(zhǔn)定位球員位置及29個(gè)數(shù)據(jù)點(diǎn)位的識(shí)別與追蹤。數(shù)據(jù)點(diǎn)位的準(zhǔn)確性則得益于每場(chǎng)賽事中10+臺(tái)攝像機(jī)實(shí)時(shí)采集的高清圖像數(shù)據(jù)，這為建立虛擬球員、虛擬球場(chǎng)模型提供了數(shù)據(jù)支撐。

追蹤數(shù)據(jù)三維效果圖

　　2024足協(xié)杯決賽賽前準(zhǔn)備期間，劉海特別針對(duì)數(shù)據(jù)準(zhǔn)確性進(jìn)行了測(cè)試。“通過實(shí)際賽場(chǎng)尺寸與虛擬模型中賽場(chǎng)尺寸的比較，測(cè)試結(jié)果顯示，百米范圍內(nèi)的誤差小于5 ㎜。高精準(zhǔn)性正是2024足協(xié)杯決賽最終決定引入半自動(dòng)越位識(shí)別技術(shù)的關(guān)鍵原因之一。”劉海道。

　　索尼體育持續(xù)發(fā)力

　　拓展行業(yè)應(yīng)用新邊界

　　目前，索尼體育業(yè)務(wù)在中國(guó)主要集中在足球賽事領(lǐng)域，提供視頻助理裁判服務(wù)。2018年~2023年，為亞洲杯、亞冠精英聯(lián)賽、世界杯預(yù)選賽、中超聯(lián)賽以及部分中甲賽事、足協(xié)杯、超級(jí)杯等賽事提供了技術(shù)和服務(wù)支持。同時(shí)在2024 年，也已經(jīng)開始在籃球比賽中引入IRS裁判輔助系統(tǒng)，并成功完成了上海久事希望之星籃球賽、成都亞洲女子冠軍聯(lián)賽等賽事。此外，索尼體育還涉足網(wǎng)球、羽毛球賽事，重點(diǎn)服務(wù)WTA、ATP等國(guó)際頂級(jí)賽事，主要負(fù)責(zé)技術(shù)與人員方面的支持。

　　自2021年投入市場(chǎng)以來(lái)，索尼半自動(dòng)越位識(shí)別技術(shù)在越來(lái)越多的重量級(jí)賽事中得到應(yīng)用，2025超級(jí)杯正在考慮引入這一技術(shù)。隨著該技術(shù)的不斷優(yōu)化，對(duì)于數(shù)據(jù)精確度要求非高的國(guó)際頂級(jí)足球賽事將大部分采用這項(xiàng)技術(shù)。此外，索尼數(shù)據(jù)追蹤技術(shù)在網(wǎng)球賽事中能夠準(zhǔn)確追蹤球體運(yùn)動(dòng)軌跡 , 判斷落球點(diǎn)是否出界，并已積累了廣泛的成功案例。

　　除了輔助裁判進(jìn)行判罰，索尼體育也在積極拓展半自動(dòng)越位識(shí)別技術(shù)的新應(yīng)用場(chǎng)景。在引入攝像機(jī)追蹤數(shù)據(jù)的基礎(chǔ)上，現(xiàn)在已經(jīng)能夠?qū)崿F(xiàn)360 度自由觀賽體驗(yàn)。例如，觀眾可以選擇鎖定某位球員的視角，這極大地增強(qiáng)了觀賽的沉浸感。此外，利用追蹤數(shù)據(jù)，轉(zhuǎn)播的視覺效果也可得到提升，包括觀眾和解說員在內(nèi)的用戶，可以實(shí)時(shí)查看球員信息、射門角度、運(yùn)動(dòng)速度、跑動(dòng)距離等詳細(xì)數(shù)據(jù)。目前，索尼體育正與咪咕、百度合作，共同進(jìn)行轉(zhuǎn)播視覺增強(qiáng)技術(shù)的測(cè)試案例。

　　通過半自動(dòng)越位識(shí)別技術(shù)與動(dòng)漫IP結(jié)合，還可面向青少年群體開展體育知識(shí)的普及和教育，增強(qiáng)青少年對(duì)體育項(xiàng)目的興趣和體育賽事的關(guān)注度。例如，在索尼體育宣傳片中，一場(chǎng)真實(shí)比賽經(jīng)過動(dòng)漫IP包裝，賽場(chǎng)被設(shè)計(jì)成卡通動(dòng)物園，球員們也被建模成《辛普森一家》中的角色形象，進(jìn)球還添加了爆炸等特效……使得觀賞過程的娛樂性大大提升?；趧?dòng)漫IP包裝，還可以制作系列動(dòng)畫，通過引人入勝的劇情向小朋友們生動(dòng)解釋足球比賽中的規(guī)則。鄭昭指出，動(dòng)漫IP包裝蘊(yùn)含著巨大的商業(yè)潛力，例如可以根據(jù)贊助商品牌定制虛擬解說員形象或場(chǎng)景。“我們與百度已經(jīng)做了類似的嘗試，但視覺效果仍有很大提升空間，未來(lái)我們考慮與動(dòng)畫公司合作，制作出更優(yōu)質(zhì)的視覺效果。

　　采訪的最后，鄭昭經(jīng)理與劉海副經(jīng)理一致強(qiáng)調(diào)了數(shù)據(jù)的重要性。“基于足夠量級(jí)、穩(wěn)定、精準(zhǔn)的數(shù)據(jù)，可挖掘出無(wú)限應(yīng)用的可能。”劉海提出，這些數(shù)據(jù)首先可以用來(lái)制作專業(yè)的數(shù)據(jù)報(bào)告，供教練、組委會(huì)或解說團(tuán)隊(duì)使用，以便更準(zhǔn)確地評(píng)估隊(duì)員表現(xiàn)、研究對(duì)手，并調(diào)整比賽策略。其次，也將推動(dòng)轉(zhuǎn)播技術(shù)的創(chuàng)新，例如基于半自動(dòng)越位識(shí)別技術(shù)三維動(dòng)畫的生成，開辟元宇宙頻道，觀眾將能夠創(chuàng)建個(gè)性化的三維虛擬形象，真正地融入比賽之中，深切體會(huì)體育競(jìng)技的無(wú)限激情與魅力。