針對(duì)模型推理過(guò)程中的輸入冗余，中科大新研究首次從理論角度進(jìn)行了可過(guò)濾性分析，并提出統(tǒng)一的輸入過(guò)濾框架，讓模型推理的資源效率大幅提升。

隨著移動(dòng)設(shè)備算力的提高和對(duì)感知數(shù)據(jù)進(jìn)行實(shí)時(shí)分析需求的增長(zhǎng)，以移動(dòng)為中心的人工智能應(yīng)用愈發(fā)普遍。據(jù)估計(jì)，2022 年將有超過(guò) 80% 的商用 IoT 項(xiàng)目將包含 AI 應(yīng)用。然而多數(shù)精度最優(yōu)的 AI 模型的計(jì)算量過(guò)大，以至于難以在移動(dòng)設(shè)備上進(jìn)行高吞吐的推理，甚至當(dāng)推理任務(wù)被卸載到邊緣或云端服務(wù)器時(shí)其推理效率也難以滿足應(yīng)用的需求。
冗余的輸入廣泛存在于移動(dòng)為中心的人工智能應(yīng)用中，將其過(guò)濾是一種有效的提高推理效率的方法?，F(xiàn)有工作分別探索過(guò)兩類輸入過(guò)濾機(jī)制：推理跳過(guò)和推理重用。其中推理跳過(guò)方法旨在跳過(guò)那些不會(huì)產(chǎn)生有意義輸出的推理計(jì)算，例如相冊(cè)分類應(yīng)用可能會(huì)在沒有人臉的圖片上運(yùn)行人臉檢測(cè)模型：

智能音箱應(yīng)用可能將不包含指令的語(yǔ)音上傳至云端進(jìn)行語(yǔ)音識(shí)別：

而推理重用方法希望重用已進(jìn)行過(guò)得推理計(jì)算結(jié)果，從而在新的數(shù)據(jù)到來(lái)時(shí)能夠從緩存中更快速地返回結(jié)果，例如智能手環(huán)上的動(dòng)作分類模型可能會(huì)處理產(chǎn)生相同動(dòng)作標(biāo)簽的運(yùn)動(dòng)信號(hào)：

以及基于無(wú)人機(jī)和邊緣服務(wù)器的交通監(jiān)控可能會(huì)在連續(xù)兩個(gè)畫面幀中得到不變的車輛計(jì)數(shù)結(jié)果：

現(xiàn)有工作已針對(duì)很多應(yīng)用設(shè)計(jì)了有效的輸入過(guò)濾方法，然而兩個(gè)重要的問(wèn)題仍未得到解答，并且嚴(yán)重影響著輸入過(guò)濾方法的應(yīng)用：

1. 推理任務(wù)的可過(guò)濾性。盡管輸入過(guò)濾技術(shù)已在很多具體應(yīng)用中顯示出優(yōu)化效果，但往往是由主觀的對(duì)冗余輸入的觀察而啟發(fā)的。如果不能從理論上回答 “哪些推理任務(wù)存在輸入過(guò)濾的優(yōu)化機(jī)會(huì)” 這一問(wèn)題，則輸入過(guò)濾技術(shù)的應(yīng)用難以避免高成本的試錯(cuò)過(guò)程；

2. 魯棒的特征可區(qū)分性。輸入數(shù)據(jù)的特征表達(dá)直接關(guān)系到進(jìn)行推理跳過(guò)和找到可重用推理結(jié)果的精度，因此對(duì)于輸入過(guò)濾的表現(xiàn)有著關(guān)鍵影響?，F(xiàn)有方法多數(shù)依賴手工特征或預(yù)訓(xùn)練深度特征，這些特征在應(yīng)用過(guò)程中沒有魯棒的可區(qū)分性，可能完全失去過(guò)濾效果。

在 MobiCom 2022 上，中國(guó)科學(xué)技術(shù)大學(xué) LINKE 實(shí)驗(yàn)室針對(duì)移動(dòng)為中心的模型推理場(chǎng)景，提出端到端可學(xué)的輸入過(guò)濾框架 InFi (INput FIlter)。該工作首次對(duì)輸入過(guò)濾問(wèn)題進(jìn)行了形式化建模，并基于推理模型和輸入過(guò)濾器的函數(shù)族復(fù)雜性對(duì)比，在理論層面上對(duì)推理任務(wù)的可過(guò)濾性進(jìn)行了分析。InFi 框架涵蓋了現(xiàn)有的 SOTA 方法所使用的推理跳過(guò)和推理重用機(jī)制。基于 InFi 框架，該工作設(shè)計(jì)并實(shí)現(xiàn)了支持六種輸入模態(tài)和三種推理任務(wù)部署方式的輸入過(guò)濾器，在以移動(dòng)為中心的推理場(chǎng)景中有著廣泛的適用性。在 12 個(gè)以移動(dòng)為中心的人工智能應(yīng)用上進(jìn)行的實(shí)驗(yàn)驗(yàn)證了理論分析結(jié)果，并表明 InFi 在適用性、準(zhǔn)確性和資源效率方面均優(yōu)于 SOTA 方法。其中，在一個(gè)移動(dòng)平臺(tái)上的視頻分析應(yīng)用中，相較于原始推理任務(wù)，InFi 實(shí)現(xiàn)了 8.5 倍的推理吞吐率并節(jié)省了 95% 的通信帶寬，同時(shí)保持超過(guò) 90% 的推理精度。

論文地址：https://yuanmu97.github.io/preprint/InFi_MobiCom22.pdf項(xiàng)目地址：https://github.com/yuanmu97/infi
可過(guò)濾性分析
直觀來(lái)說(shuō)，推理任務(wù)的可過(guò)濾性指：相較于原始推理任務(wù)，能否得到一個(gè)低成本、高精度的輸入數(shù)據(jù)冗余性的預(yù)測(cè)器。原始的推理任務(wù)定義為屬于函數(shù)族 H  的模型 h，其將輸入數(shù)據(jù)映射至推理輸出，例如人臉檢測(cè)模型以圖片為輸入，輸出檢測(cè)結(jié)果（人臉位置的檢測(cè)框）。根據(jù)推理模型的輸出結(jié)果，定義冗余性判斷函數(shù) f_h，其輸出冗余性標(biāo)簽，例如當(dāng)人臉位置檢測(cè)框輸出為空時(shí)，將該次推理計(jì)算視為冗余。屬于函數(shù)族 G  的輸入過(guò)濾器  g 定義為從輸入數(shù)據(jù)到冗余標(biāo)簽的映射函數(shù)。

假設(shè)原始推理模型的目標(biāo)函數(shù)（即提供真實(shí)標(biāo)簽的函數(shù)）為 c ，其過(guò)濾器的目標(biāo)函數(shù)為，則可見訓(xùn)練原始的推理模型和訓(xùn)練輸入過(guò)濾器的區(qū)別在于監(jiān)督標(biāo)簽的不同：推理預(yù)測(cè)由原始任務(wù)標(biāo)簽域  Y 監(jiān)督，而過(guò)濾預(yù)測(cè)由冗余標(biāo)簽域 Z  監(jiān)督。那么對(duì)于推理任務(wù)的可過(guò)濾性一個(gè)直觀的想法是，如果學(xué)習(xí)輸入過(guò)濾器比學(xué)習(xí)原始推理模型更簡(jiǎn)單，則有潛力得到有效的輸入過(guò)濾器。
基于此思路，該工作分析了三類常見推理任務(wù)的可過(guò)濾性：

分析過(guò)程的關(guān)鍵在于將輸入過(guò)濾器的目標(biāo)函數(shù)與原始推理模型相關(guān)聯(lián)，從而在兩個(gè)學(xué)習(xí)任務(wù)間建立復(fù)雜度可比較的橋梁。以分類任務(wù)基于置信度進(jìn)行冗余判別為例，輸入過(guò)濾器的目標(biāo)函數(shù)族形式為，依此可證明輸入過(guò)濾器的函數(shù)族的 Rademarcher 復(fù)雜度小于等于原始推理模型，進(jìn)而得到該任務(wù)可過(guò)濾性的分析結(jié)果。
框架設(shè)計(jì)和實(shí)現(xiàn)
以上的可過(guò)濾性分析基于將輸入過(guò)濾視為一個(gè)學(xué)習(xí)任務(wù)得到，因此框架設(shè)計(jì)需要具有端到端可學(xué)性，而不依賴手工特征或預(yù)訓(xùn)練深度特征。同時(shí)，框架設(shè)計(jì)應(yīng)該統(tǒng)一地支持推理跳過(guò)（SKIP）和推理重用（REUSE）機(jī)制。該工作基于一個(gè)簡(jiǎn)潔的思路，即 SKIP 等價(jià)于對(duì)全零輸入的推理結(jié)果的 REUSE，將兩種機(jī)制統(tǒng)一到一個(gè)框架之中。
框架包含訓(xùn)練和推理兩個(gè)階段。訓(xùn)練階段通過(guò)孿生特征網(wǎng)絡(luò)為一對(duì)輸入數(shù)據(jù)抽取特征，計(jì)算特征距離后由一個(gè)分類網(wǎng)絡(luò)得到冗余標(biāo)簽預(yù)測(cè)結(jié)果。

在推理階段，若采用 SKIP 機(jī)制，則將另一個(gè)輸入的特征固定為零，退化為基本的分類器，根據(jù)預(yù)測(cè)的冗余性標(biāo)簽決策是否跳過(guò)當(dāng)前輸入數(shù)據(jù)；若采用 REUSE 機(jī)制，則需要維護(hù)一個(gè) “輸入特征 - 推理輸出” 表作為緩存，通過(guò)計(jì)算當(dāng)前輸入特征與緩存的輸入特征之間的距離，采用 K - 近鄰方法決策是否重用緩存的推理結(jié)果。

該工作提出了 “模態(tài)相關(guān)的特征網(wǎng)絡(luò) + 任務(wù)無(wú)關(guān)的分類網(wǎng)絡(luò)” 的設(shè)計(jì)，為文本、圖像、視頻、音頻、感知信號(hào)、中間層特征設(shè)計(jì)了特征抽取網(wǎng)絡(luò)，并能夠很容易地?cái)U(kuò)展至更多數(shù)據(jù)模態(tài)，分類器網(wǎng)絡(luò)則設(shè)計(jì)為多層感知機(jī)模型。對(duì)輸入模態(tài)的靈活支持為 InFi 在不同的任務(wù)部署方式上的適用性提供了基礎(chǔ)，包括三種典型的以移動(dòng)為中心的推理任務(wù)部署方式：端上推理、卸載至邊緣推理、端 - 邊模型切分推理。
InFi 使用 Python 實(shí)現(xiàn)，深度學(xué)習(xí)模塊基于 TensorFlow 2.4，目前代碼已開源。
驗(yàn)證實(shí)驗(yàn)
InFi 在 5 個(gè)數(shù)據(jù)集上的 12 種人工智能推理任務(wù)上進(jìn)行了驗(yàn)證實(shí)驗(yàn)，涵蓋圖片、視頻、文本、音頻、運(yùn)動(dòng)信號(hào)、中間層特征六種輸入模態(tài)。與三個(gè)基線方法的對(duì)比實(shí)驗(yàn)表明，InFi 具有更廣泛的適用性，并且在準(zhǔn)確性和效率上都更優(yōu)。

以在城市道路監(jiān)控視頻中進(jìn)行車輛計(jì)數(shù)的任務(wù)為例，在端上推理時(shí)，相較于原始的工作流，采用 SKIP 和 REUSE 機(jī)制的 InFi 方法分別能夠?qū)⑼评硗掏绿嵘?1.9 和 7.5 倍，同時(shí)皆保持超過(guò) 90% 的推理精度；在進(jìn)行端 - 邊模型切分推理時(shí)，兩種機(jī)制下的 InFi 分別能夠節(jié)省 70.7% 和 95.0% 的通信帶寬。

InFi 的訓(xùn)練成本也很低。在一個(gè)基于運(yùn)動(dòng)信號(hào)的動(dòng)作識(shí)別應(yīng)用中，僅使用 10% 的訓(xùn)練數(shù)據(jù)集即可得到過(guò)濾表現(xiàn)接近最優(yōu)的 SKIP 和 REUSE 結(jié)果。InFi 可在保持超過(guò) 95% 推理精度的情況下，節(jié)省 80% 的推理運(yùn)算。

結(jié)論與未來(lái)展望
該工作首次給出了可過(guò)濾性的理論分析，提出了統(tǒng)一的端到端可學(xué)的輸入過(guò)濾框架，并在廣泛的人工智能推理任務(wù)中驗(yàn)證了其設(shè)計(jì)和實(shí)現(xiàn)的優(yōu)越性，對(duì)于實(shí)現(xiàn)以移動(dòng)為中心的資源高效的推理有著重要的意義。InFi 框架的一大優(yōu)點(diǎn)在于無(wú)需人工標(biāo)注，未來(lái)可能會(huì)形成新的人工智能模型部署的最佳實(shí)踐，即在每個(gè)模型的推理服務(wù)期間，自監(jiān)督地訓(xùn)練輸入過(guò)濾器，實(shí)現(xiàn)精度 - 資源權(quán)衡的模型推理。
論文引用：
Mu Yuan, Lan Zhang, Fengxiang He, Xueting Tong, and Xiang-Yang Li. 2022. InFi: End-to-end Learnable Input Filter for Resource-efficient Mobilecentric Inference. In The 28th Annual International Conference On Mobile Computing And Networking (ACM MobiCom ’22), October 24–28, 2022, Sydney, NSW, Australia. ACM, New York, NY, USA, 14 pages. https://doi.org/10.1145/ 3495243.3517016