TimeSuite是上海AI Lab推出的新型框架，能提升多模態大型語言模型（MLLMs）在長視頻理解任務中的表現。基于引入高效的長視頻處理框架、高質量的視頻數據集TimePro用在定位調整，及名為Temporal Grounded Caption的指令調諧任務，明確地將定位監督納入傳統問答格式中。TimeSuite能增強模型對視頻內容的時間感知能力，減少幻覺風險，且在長視頻問答和時間定位任務上取得顯著的性能提升。用視頻令牌壓縮和時間自適應位置編碼等技術手段，TimeSuite讓MLLMs能更準確地理解和定位視頻中的事件，解鎖MLLMs在長視頻理解領域的潛力。
TimeSuite的主要功能長視頻處理框架：提供簡單而高效的框架處理長視頻序列，用壓縮視覺令牌和增強時間意識適應長視頻理解。高質量視頻數據集TimePro：包含多個任務和大量高質量接地注釋，用在MLLMs的定位調整，增強模型的時間感知能力。Temporal Grounded Caption任務：設計新的指令調諧任務，要求模型生成詳細視頻描述、預測對應時間戳，減少幻覺風險并提升時間定位的準確性。視頻理解能力提升：基于上述功能，TimeSuite顯著提高MLLMs在長視頻問答和時間定位任務上的性能。TimeSuite的技術原理視頻令牌壓縮（Token Shuffle）：基于合并相鄰的視覺令牌減少長視頻中的視覺令牌數量，降低計算復雜度，且保持時間一致性。時間自適應位置編碼（TAPE）：引入適配器為視覺令牌添加時間位置信息，增強模型對視頻內容時間順序的理解。U-Net結構：在TAPE中用類似U-Net的結構，基于一維深度可分離卷積逐步下采樣和上采樣時間特征序列，用編碼和恢復視頻令牌的相對時間位置。殘差連接：在上采樣過程中用殘差連接，保留不同尺度的時間特征，增強模型的時間敏感性。多樣化任務訓練：基于TimePro數據集中的多樣化任務進行訓練，提升模型在不同場景下的時間定位和視頻理解能力。指令調諧：基于Temporal Grounded Caption任務，模型學習在生成描述時正確關注視頻內容，提高時間定位的準確性。TimeSuite的項目地址arXiv技術論文：https://arxiv.org/pdf/2410.19702TimeSuite的應用場景視頻內容創作者：視頻博主、電影制作人和視頻編輯，分析和編輯長視頻內容，提取關鍵片段，提高創作效率。在線教育提供者：教師和教育機構，定位教育視頻中的關鍵教學點，提升遠程教學的互動性和效果。社交媒體經理：負責內容營銷和品牌推廣的社交媒體經理，提取和創建吸引用戶注意的視頻摘要和高光時刻。安全監控分析師：安全人員和監控中心操作員，定位監控視頻中的異常事件，提高響應速度。視頻平臺運營商：視頻分享和流媒體平臺，提升視頻搜索和推薦系統的準確性，增強用戶體驗。 
