YOLOS：通過目標檢測重新思考Transformer（附源代碼）
加入技術交流群
最近我看了一些之前的檢測框架，發(fā)現(xiàn)有兩個很有意思，不錯的框架，接下來我給大家簡單分析下，希望給大家?guī)韯?chuàng)新的啟示！
論文地址：https://arxiv.org/pdf/2106.00666.pdf源代碼地址：https://github.com/hustvl/YOLOS
1
前言Transformer能否從純序列到序列的角度執(zhí)行2D目標級識別，而對2D空間結構知之甚少？為了回答這個問題，今天就展示了“You Only Look at One Sequence” (YOLOS)，這是一系列基于樸素視覺變換器的目標檢測模型，具有盡可能少的修改和inductive biases。
我們發(fā)現(xiàn)僅在中等大小的ImageNet-1k數(shù)據(jù)集上預訓練的YOLOS已經(jīng)可以在COCO上實現(xiàn)具有競爭力的目標檢測性能，例如直接從BERT-Base中采用的YOLOS-Base可以實現(xiàn)42.0 box AP。研究者還通過目標檢測討論了當前預訓練方案和模型縮放策略對Transformer在視覺中的影響和局限性。
2
背景Transformer為遷移而生。在自然語言處理 (NLP) 中，主要方法是首先在大型通用語料庫上預訓練Transformer以進行通用語言表示學習，然后針對特定目標任務對模型進行微調(diào)。最近，Vision Transformer(ViT)表明，直接從NLP繼承的典型Transformer編碼器架構可以使用現(xiàn)代視覺遷移學習配方在大規(guī)模圖像識別上表現(xiàn)出奇的好。將圖像補丁嵌入序列作為輸入，ViT可以從純序列到序列的角度成功地將預訓練的通用視覺表示從足夠的規(guī)模轉移到更具體的圖像分類任務，數(shù)據(jù)點更少。
ViT-FRCNN是第一個使用預訓練的ViT作為R-CNN目標檢測器的主干。然而，這種設計無法擺脫對卷積神經(jīng)網(wǎng)絡(CNN)和強2D歸納偏差的依賴，因為ViT-FRCNN將ViT的輸出序列重新解釋為2D空間特征圖，并依賴于區(qū)域池化操作（即RoIPool或RoIAlign）以及基于區(qū)域的CNN架構來解碼ViT特征以實現(xiàn)目標級感知。受現(xiàn)代CNN設計的啟發(fā)，最近的一些工作將金字塔特征層次結構和局部性引入Vision Transformer設計，這在很大程度上提高了包括目標檢測在內(nèi)的密集預測任務的性能。然而，這些架構是面向性能的。另一系列工作，DEtection TRansformer(DETR)系列，使用隨機初始化的Transformer對CNN特征進行編碼和解碼，這并未揭示預訓練Transformer在目標檢測中的可遷移性。
ViT-FRCNN
為了解決上面涉及的問題，有研究者展示了You Only Look at One Sequence (YOLOS)，這是一系列基于規(guī)范ViT架構的目標檢測模型，具有盡可能少的修改以及注入的歸納偏置。從ViT到YOLOS檢測器的變化很簡單：
YOLOS在ViT中刪除[CLS]標記，并將一百個可學習的[DET]標記附加到輸入序列以進行目標檢測；
YOLOS將ViT中的圖像分類損失替換為bipartite matching loss，以遵循Carion等人【End-to-end object detection with transformers】的一套預測方式進行目標檢測。這可以避免將ViT的輸出序列重新解釋為2D特征圖，并防止在標簽分配期間手動注入啟發(fā)式和對象2D空間結構的先驗知識。
3
新框架
YOLOS刪除用于圖像分類的[CLS]標記，并將一百個隨機初始化的檢測標記（[DET] 標記）附加到輸入補丁嵌入序列以進行目標檢測。
在訓練過程中，YOLOS將ViT中的圖像分類損失替換為bipartite matching loss，這里重點介紹YOLOS的設計方法論。
Fine-tuning at Higher Resolution在COCO上進行微調(diào)時，除用于分類和邊界框回歸的MLP頭以及隨機初始化的100個[DET]標記外，所有參數(shù)均從ImageNet-1k預訓練權重初始化。分類和邊界框回歸頭均由MLP實現(xiàn)，具有兩個使用單獨參數(shù)的隱藏層。 在微調(diào)期間，圖像具有比預訓練高得多的分辨率，為了保持補丁大小相同（16 × 16），這導致更大的有效序列長度。雖然ViT可以處理任意序列長度，但位置嵌入需要適應更長的輸入序列。我們以相同的方式對預訓練的位置嵌入進行2D插值。
4
實驗分析及可視化
YOLOS的不同版本的結果
與訓練的效果
不同尺度模型的預訓練和遷移學習性能
與一些小型CNN檢測器的比較
Self-attention Maps of YOLOS檢驗與YOLOS-S最后一層頭部預測相關的[DET]tokens的自注意力。可視化pipeline遵循【 Emerging properties in self-supervised vision transformers】?？梢暬Y果如下圖所示。
對于給定的YOLOS模型，不同的自注意力頭關注不同的模式和不同的位置。一些可視化是可解釋的，而另一些則不是。
我們研究了兩個YOLOS模型的注意力圖差異，即200 epochs ImageNet-1k預訓練YOLOS-S和300 epochs ImageNet-1k預訓練YOLOS-S。注意這兩個模型的AP是一樣的（AP=36.1）。從可視化中，我們得出結論，對于給定的預測對象，相應的[DET]標記以及注意力圖模式通常對于不同的模型是不同的。
*博客內(nèi)容為網(wǎng)友個人發(fā)布，僅代表博主個人觀點，如有侵權請聯(lián)系工作人員刪除。
