論文成果是阿里云與華東師范大學、浙江大學、南京大學等高校共同研發(fā)，涉及時間序列與智能運維結合的多個應用場景。包括基于Pathways架構的自適應多尺度時間序列預測模型Pathformer；基于擾動技術的時間序列解釋框架ContraLSP；多正常模式感知的頻域異常檢測算法MACE；輕量數(shù)據依賴的異常檢測重訓練方法LARA。此次，時間序列相關模型等多篇論文的入選，表明阿里云在大數(shù)據基礎技術領域的研究得到了國際學術界的認可，不僅展示了阿里云的技術競爭力，也創(chuàng)造了更多國際合作交流的可能性。

• ICLR（International Conference on Learning Representations）會議是機器學習和深度學習領域的頂級國際會議，與NeurIPS、ICML并稱為機器學習三大頂級會議，在谷歌的全領域學術指標排行榜中位列前十，以展示人工智能、統(tǒng)計學和數(shù)據科學領域的深度學習各個方面的前沿研究以及機器視覺、計算生物學、語音識別、文本理解、游戲和機器人等重要應用領域而聞名全球。

• ICDE（IEEE International Conference on Data Engineering） 是數(shù)據庫研究領域歷史悠久的國際會議，與SIGMOD、VLDB并稱為數(shù)據庫三大頂級會議，會議聚焦于設計，構建，管理和評估高級數(shù)據密集型系統(tǒng)和應用等前沿研究問題。

• WWW（The Web Conference）是為交叉，新興，綜合領域的頂級會議，CCF-A類，會議關注萬維網的未來發(fā)展，匯聚全世界相關的科研工作者、從業(yè)者和領域專家，共同討論互聯(lián)網的發(fā)展、相關技術的標準化以及這些技術對社會和文化的影響。

Pathformer：基于Pathways架構的自適應多尺度時間序列預測模型

現(xiàn)實場景中的時間序列在不同的時間尺度展現(xiàn)出不同的變化，如云計算場景中的CPU，GPU，內存等資源需求呈現(xiàn)出日、月、季節(jié)等獨特尺度的時間模式。這為時間序列預測帶來一定的困難。一個好的時間序列預測模型需要考慮完備的時序多尺度建模能力以及進一步自適應選擇多尺度的能力。

基于Transformer模型的多尺度建模，主要有兩個挑戰(zhàn)。一：不完備的多尺度建模。只是針對時間分辨率不能有效地捕捉不同范圍的時間依賴關系，相反，考慮時間距離雖然能提取不同范圍的時間依賴，但全局和局部間隔受到數(shù)據劃分的影響，單一的時間分辨率并不完備。二：固定地多尺度建模過程。對所有時序采用固定的多尺度建模阻礙了每個時序的重要特征捕捉，然而為每個數(shù)據集或每個時序手動調整最佳尺度非常耗時且難以處理。

針對這些問題，我們提出了一個基于Pathways架構的自適應多尺度Transformer模型 Pathformer，它整合了時間分辨率和時間距離提出了一個多尺度Transfomer模塊，使用雙重注意力機制建模局部和全局的時間依賴關系，使模型具備完備的多尺度建模能力。其次，我們提出自適應pathways，激活Transformer的多尺度間建模能力。它基于輸入時序逐層地路由和聚合多尺度特征形成了自適應pathways的多尺度建模，可以提升模型的預測效果和泛化性。

ContraLSP：基于對比稀疏擾動技術的時間序列解釋框架

在智能運維等領域，為機器學習模型所做的預測提供可靠的解釋具有極高的重要性?，F(xiàn)有的解釋方法涉及使用顯著性方法，這些方法的解釋區(qū)分取決于它們與任意模型的交互方式。一些工作建立了顯著圖，例如，結合梯度或構造注意力機制，以更好地處理時間序列特征，而它們難以發(fā)現(xiàn)時間序列模式。其他替代方法，包括Shapley值或LIME，通過加權線性回歸在局部近似模型預測，為我們提供解釋。這些方法主要提供實例級別的顯著圖，但特征間的互相關常常導致顯著的泛化誤差。在時間序列中最常見的基于擾動的方法通常通過基線、生成模型或使數(shù)據無信息的特征來修改數(shù)據，但這些擾動的非顯著區(qū)域并不總是無意義的并且存在不在數(shù)據分布內的樣本，導致解釋模型存在偏差。

基于此，本文提出了ContraLSP框架，該框架如圖所示。這是一個局部稀疏解釋模型，它通過引入反事實樣本來構建無信息擾動同時保持樣本分布。此外，我們融入了特定于樣本的稀疏門控機制來生成更傾向于二值化且平滑的掩碼，這有助于簡潔地整合時間趨勢并精選顯著特征。在保證標簽的一致性條件下，其整體優(yōu)化目標為：

論文在白盒時序預測，黑盒時序分類等仿真數(shù)據，和真實時序數(shù)據集分類任務中進行了實驗，ContraLSP在解釋性能上超越了SOTA模型，顯著提升了時間序列數(shù)據解釋的質量。

MACE：多正常模式感知的頻域異常檢測算法

異常檢測是智能運維領域的重要研究方向。近來，基于重構類方法的異常檢測模型獨占鰲頭，在無監(jiān)督異常檢測中達到了很高的準確度，涌現(xiàn)了大量優(yōu)秀的神經網絡模型，例如：基于RNN類的神經網絡OmniAnomaly, MSCRED; 基于transformer類的神經網絡AnomalyTransformer, DCdetector等，但這類方法一個模型只能較好地捕捉一種或少數(shù)幾種正常模式。因此，涌現(xiàn)出了一批以元學習為輔助，快速適應不同正常模式的異常檢測模型，例如PUAD, TranAD等。但這些方法依然要求對不同的正常模式定制不同的模型，當存在十萬級不同正常模式的服務時，很難維護這么多神經網絡模型。

與其他神經網絡直接從數(shù)據樣本中判斷當前樣本是否為異常不同，MACE從數(shù)據樣本與該數(shù)據樣本對應的正常模式的關系中提取異常。在MACE中，我們首先提出使用頻域表征機制提取出正常模式的頻域子空間，并使用頻域表征技術把當前數(shù)據樣本映射到該頻域子空間中。若該數(shù)據樣本離這個正常模式的頻域子空間越遠則在映射后，映射點與原始樣本距離越遠，重構誤差越大。若該數(shù)據樣本離這個頻域子空間的頻域子空間越近，則在映射后，映射點與原始樣本距離越近，重構誤差越小。因此，我們可以根據當前數(shù)據樣本與其對應的正常模式頻域子空間的關系，令對于當前正常模式而言的正常數(shù)據重構誤差遠小于異常數(shù)據的重構誤差，以此檢測異常。更進一步，我們提出上下文感知的傅里葉變換和反變換機制，有效利用頻域的稀疏性提升計算效率，在頻域上不存在時序依賴，可以對該模型進行細粒度的高并發(fā)實現(xiàn)，進一步減少異常檢測的時間開銷。另外，我們提出Peak Convolution與Valley Convolution機制對短期異常進行增強使其更容易被檢測到。

LARA：輕量數(shù)據依賴的異常檢測重訓練方法

在云服務的監(jiān)控場景中，經常出現(xiàn)正常模式隨時間不斷變化，且在變化初期觀測數(shù)據數(shù)量不足以支撐模型訓練的問題。目前，可以解決正常模式更替變化的方法主要有遷移學習、元學習、基于信號處理的方法。但同時他們也存在一些弊端，并不完全適配當前問題。例如遷移學習未考慮本問題中多個歷史正常模式之間存在的時序關系。元學習同樣未考慮歷史正常模式之間的時序關系，同時，需要存儲大量的歷史數(shù)據?；谛盘柼幚淼姆椒ǎ@類方法推理階段時間開銷太大，無法在流量峰值處進行實時異常檢測。

因此，我們提出方法LARA解決上述問題。為了解決重訓練新觀測數(shù)據不足的問題，我們提出反芻模塊，該模塊使用老模型恢復歷史分布中與新觀測數(shù)據相似的數(shù)據，并使用歷史數(shù)據與新觀測數(shù)據一起估計每一個新觀測數(shù)據的隱藏狀態(tài)z。為了解決重訓練計算開銷大的問題，我們使用映射函數(shù)M_z和M_x分別把老模型輸出的隱藏狀態(tài)和重構數(shù)據映射為當前分布的隱藏狀態(tài)估計值與新觀測數(shù)據，并數(shù)學證明了映射函數(shù)令映射誤差最小的最優(yōu)形式為線性，極大降低了重訓練開銷。更進一步，我們根據M_z 與M_x的形式，提出一種相應的損失函數(shù)設計范式，可以保證重訓練問題是一個凸問題，具有唯一全局最優(yōu)解，從而保證較快的收斂速率，降低重訓練計算開銷，避免陷入過擬合。

論文鏈接

1、論文標題：Pathformer: Multi-Scale Transformers With Adaptive Pathways For Time Series Forecasting

• 論文作者： 陳鵬， 張穎瑩， 程云爻， 樹揚， 王益杭， 文青松， 楊彬， 郭晨娟

• 論文鏈接：https://openreview.net/pdf?id=lJkOCMP2aW

• 代碼鏈接：https://github.com/alibaba/sreworks-ext/tree/main/aiops/Pathformer_ICLR2024

2、論文標題：Explaining Time Series via Contrastive and Locally Sparse Perturbations

• 論文作者： 劉子川，張穎瑩，王天純，王澤凡，駱東升，杜夢楠，吳敏，王毅，陳春林，范倫挺，文青松

• 論文鏈接：https://openreview.net/pdf?id=qDdSRaOiyb

• 代碼鏈接：https://github.com/alibaba/sreworks-ext/tree/main/aiops/ContraLSP

3、論文標題：Learning Multi-Pattern Normalities in the Frequency Domain for Efficient Time Series Anomaly Detection

• 論文作者： 陳飛佚，張穎瑩，秦臻，范倫挺，姜仁河，梁宇軒，文青松，鄧水光

• 論文鏈接：https://arxiv.org/abs/2311.16191

4、論文標題： LARA: ALight and Anti-overfitting Retraining Approach for Unsupervised Time Series Anomaly Detection

• 論文作者： 陳飛佚，秦臻，周孟初，張穎瑩

• 論文鏈接：https://arxiv.org/abs/2310.05668