大數(shù)據(jù)基礎(chǔ)工程技術(shù)團(tuán)隊(duì)4篇論文入選ICLR，ICDE，WWW

論文成果是阿里云與華東師范大學(xué)、浙江大學(xué)、南京大學(xué)等高校共同研發(fā)，涉及時(shí)間序列與智能運(yùn)維結(jié)合的多個(gè)應(yīng)用場(chǎng)景。包括基于Pathways架構(gòu)的自適應(yīng)多尺度時(shí)間序列預(yù)測(cè)模型Pathformer；基于擾動(dòng)技術(shù)的時(shí)間序列解釋框架ContraLSP；多正常模式感知的頻域異常檢測(cè)算法MACE；輕量數(shù)據(jù)依賴的異常檢測(cè)重訓(xùn)練方法LARA。此次，時(shí)間序列相關(guān)模型等多篇論文的入選，表明阿里云在大數(shù)據(jù)基礎(chǔ)技術(shù)領(lǐng)域的研究得到了國(guó)際學(xué)術(shù)界的認(rèn)可，不僅展示了阿里云的技術(shù)競(jìng)爭(zhēng)力，也創(chuàng)造了更多國(guó)際合作交流的可能性。

• ICLR（International Conference on Learning Representations）會(huì)議是機(jī)器學(xué)習(xí)和深度學(xué)習(xí)領(lǐng)域的頂級(jí)國(guó)際會(huì)議，與NeurIPS、ICML并稱為機(jī)器學(xué)習(xí)三大頂級(jí)會(huì)議，在谷歌的全領(lǐng)域?qū)W術(shù)指標(biāo)排行榜中位列前十，以展示人工智能、統(tǒng)計(jì)學(xué)和數(shù)據(jù)科學(xué)領(lǐng)域的深度學(xué)習(xí)各個(gè)方面的前沿研究以及機(jī)器視覺(jué)、計(jì)算生物學(xué)、語(yǔ)音識(shí)別、文本理解、游戲和機(jī)器人等重要應(yīng)用領(lǐng)域而聞名全球。

• ICDE（IEEE International Conference on Data Engineering） 是數(shù)據(jù)庫(kù)研究領(lǐng)域歷史悠久的國(guó)際會(huì)議，與SIGMOD、VLDB并稱為數(shù)據(jù)庫(kù)三大頂級(jí)會(huì)議，會(huì)議聚焦于設(shè)計(jì)，構(gòu)建，管理和評(píng)估高級(jí)數(shù)據(jù)密集型系統(tǒng)和應(yīng)用等前沿研究問(wèn)題。

• WWW（The Web Conference）是為交叉，新興，綜合領(lǐng)域的頂級(jí)會(huì)議，CCF-A類，會(huì)議關(guān)注萬(wàn)維網(wǎng)的未來(lái)發(fā)展，匯聚全世界相關(guān)的科研工作者、從業(yè)者和領(lǐng)域?qū)＜遥餐懻摶ヂ?lián)網(wǎng)的發(fā)展、相關(guān)技術(shù)的標(biāo)準(zhǔn)化以及這些技術(shù)對(duì)社會(huì)和文化的影響。

Pathformer：基于Pathways架構(gòu)的自適應(yīng)多尺度時(shí)間序列預(yù)測(cè)模型

現(xiàn)實(shí)場(chǎng)景中的時(shí)間序列在不同的時(shí)間尺度展現(xiàn)出不同的變化，如云計(jì)算場(chǎng)景中的CPU，GPU，內(nèi)存等資源需求呈現(xiàn)出日、月、季節(jié)等獨(dú)特尺度的時(shí)間模式。這為時(shí)間序列預(yù)測(cè)帶來(lái)一定的困難。一個(gè)好的時(shí)間序列預(yù)測(cè)模型需要考慮完備的時(shí)序多尺度建模能力以及進(jìn)一步自適應(yīng)選擇多尺度的能力。

基于Transformer模型的多尺度建模，主要有兩個(gè)挑戰(zhàn)。一：不完備的多尺度建模。只是針對(duì)時(shí)間分辨率不能有效地捕捉不同范圍的時(shí)間依賴關(guān)系，相反，考慮時(shí)間距離雖然能提取不同范圍的時(shí)間依賴，但全局和局部間隔受到數(shù)據(jù)劃分的影響，單一的時(shí)間分辨率并不完備。二：固定地多尺度建模過(guò)程。對(duì)所有時(shí)序采用固定的多尺度建模阻礙了每個(gè)時(shí)序的重要特征捕捉，然而為每個(gè)數(shù)據(jù)集或每個(gè)時(shí)序手動(dòng)調(diào)整最佳尺度非常耗時(shí)且難以處理。

針對(duì)這些問(wèn)題，我們提出了一個(gè)基于Pathways架構(gòu)的自適應(yīng)多尺度Transformer模型 Pathformer，它整合了時(shí)間分辨率和時(shí)間距離提出了一個(gè)多尺度Transfomer模塊，使用雙重注意力機(jī)制建模局部和全局的時(shí)間依賴關(guān)系，使模型具備完備的多尺度建模能力。其次，我們提出自適應(yīng)pathways，激活Transformer的多尺度間建模能力。它基于輸入時(shí)序逐層地路由和聚合多尺度特征形成了自適應(yīng)pathways的多尺度建模，可以提升模型的預(yù)測(cè)效果和泛化性。

ContraLSP：基于對(duì)比稀疏擾動(dòng)技術(shù)的時(shí)間序列解釋框架

在智能運(yùn)維等領(lǐng)域，為機(jī)器學(xué)習(xí)模型所做的預(yù)測(cè)提供可靠的解釋具有極高的重要性?，F(xiàn)有的解釋方法涉及使用顯著性方法，這些方法的解釋區(qū)分取決于它們與任意模型的交互方式。一些工作建立了顯著圖，例如，結(jié)合梯度或構(gòu)造注意力機(jī)制，以更好地處理時(shí)間序列特征，而它們難以發(fā)現(xiàn)時(shí)間序列模式。其他替代方法，包括Shapley值或LIME，通過(guò)加權(quán)線性回歸在局部近似模型預(yù)測(cè)，為我們提供解釋。這些方法主要提供實(shí)例級(jí)別的顯著圖，但特征間的互相關(guān)常常導(dǎo)致顯著的泛化誤差。在時(shí)間序列中最常見(jiàn)的基于擾動(dòng)的方法通常通過(guò)基線、生成模型或使數(shù)據(jù)無(wú)信息的特征來(lái)修改數(shù)據(jù)，但這些擾動(dòng)的非顯著區(qū)域并不總是無(wú)意義的并且存在不在數(shù)據(jù)分布內(nèi)的樣本，導(dǎo)致解釋模型存在偏差。

基于此，本文提出了ContraLSP框架，該框架如圖所示。這是一個(gè)局部稀疏解釋模型，它通過(guò)引入反事實(shí)樣本來(lái)構(gòu)建無(wú)信息擾動(dòng)同時(shí)保持樣本分布。此外，我們?nèi)谌肓颂囟ㄓ跇颖镜南∈栝T控機(jī)制來(lái)生成更傾向于二值化且平滑的掩碼，這有助于簡(jiǎn)潔地整合時(shí)間趨勢(shì)并精選顯著特征。在保證標(biāo)簽的一致性條件下，其整體優(yōu)化目標(biāo)為：

論文在白盒時(shí)序預(yù)測(cè)，黑盒時(shí)序分類等仿真數(shù)據(jù)，和真實(shí)時(shí)序數(shù)據(jù)集分類任務(wù)中進(jìn)行了實(shí)驗(yàn)，ContraLSP在解釋性能上超越了SOTA模型，顯著提升了時(shí)間序列數(shù)據(jù)解釋的質(zhì)量。

MACE：多正常模式感知的頻域異常檢測(cè)算法

異常檢測(cè)是智能運(yùn)維領(lǐng)域的重要研究方向。近來(lái)，基于重構(gòu)類方法的異常檢測(cè)模型獨(dú)占鰲頭，在無(wú)監(jiān)督異常檢測(cè)中達(dá)到了很高的準(zhǔn)確度，涌現(xiàn)了大量?jī)?yōu)秀的神經(jīng)網(wǎng)絡(luò)模型，例如：基于RNN類的神經(jīng)網(wǎng)絡(luò)OmniAnomaly, MSCRED; 基于transformer類的神經(jīng)網(wǎng)絡(luò)AnomalyTransformer, DCdetector等，但這類方法一個(gè)模型只能較好地捕捉一種或少數(shù)幾種正常模式。因此，涌現(xiàn)出了一批以元學(xué)習(xí)為輔助，快速適應(yīng)不同正常模式的異常檢測(cè)模型，例如PUAD, TranAD等。但這些方法依然要求對(duì)不同的正常模式定制不同的模型，當(dāng)存在十萬(wàn)級(jí)不同正常模式的服務(wù)時(shí)，很難維護(hù)這么多神經(jīng)網(wǎng)絡(luò)模型。

與其他神經(jīng)網(wǎng)絡(luò)直接從數(shù)據(jù)樣本中判斷當(dāng)前樣本是否為異常不同，MACE從數(shù)據(jù)樣本與該數(shù)據(jù)樣本對(duì)應(yīng)的正常模式的關(guān)系中提取異常。在MACE中，我們首先提出使用頻域表征機(jī)制提取出正常模式的頻域子空間，并使用頻域表征技術(shù)把當(dāng)前數(shù)據(jù)樣本映射到該頻域子空間中。若該數(shù)據(jù)樣本離這個(gè)正常模式的頻域子空間越遠(yuǎn)則在映射后，映射點(diǎn)與原始樣本距離越遠(yuǎn)，重構(gòu)誤差越大。若該數(shù)據(jù)樣本離這個(gè)頻域子空間的頻域子空間越近，則在映射后，映射點(diǎn)與原始樣本距離越近，重構(gòu)誤差越小。因此，我們可以根據(jù)當(dāng)前數(shù)據(jù)樣本與其對(duì)應(yīng)的正常模式頻域子空間的關(guān)系，令對(duì)于當(dāng)前正常模式而言的正常數(shù)據(jù)重構(gòu)誤差遠(yuǎn)小于異常數(shù)據(jù)的重構(gòu)誤差，以此檢測(cè)異常。更進(jìn)一步，我們提出上下文感知的傅里葉變換和反變換機(jī)制，有效利用頻域的稀疏性提升計(jì)算效率，在頻域上不存在時(shí)序依賴，可以對(duì)該模型進(jìn)行細(xì)粒度的高并發(fā)實(shí)現(xiàn)，進(jìn)一步減少異常檢測(cè)的時(shí)間開(kāi)銷。另外，我們提出Peak Convolution與Valley Convolution機(jī)制對(duì)短期異常進(jìn)行增強(qiáng)使其更容易被檢測(cè)到。

LARA：輕量數(shù)據(jù)依賴的異常檢測(cè)重訓(xùn)練方法

在云服務(wù)的監(jiān)控場(chǎng)景中，經(jīng)常出現(xiàn)正常模式隨時(shí)間不斷變化，且在變化初期觀測(cè)數(shù)據(jù)數(shù)量不足以支撐模型訓(xùn)練的問(wèn)題。目前，可以解決正常模式更替變化的方法主要有遷移學(xué)習(xí)、元學(xué)習(xí)、基于信號(hào)處理的方法。但同時(shí)他們也存在一些弊端，并不完全適配當(dāng)前問(wèn)題。例如遷移學(xué)習(xí)未考慮本問(wèn)題中多個(gè)歷史正常模式之間存在的時(shí)序關(guān)系。元學(xué)習(xí)同樣未考慮歷史正常模式之間的時(shí)序關(guān)系，同時(shí)，需要存儲(chǔ)大量的歷史數(shù)據(jù)?；谛盘?hào)處理的方法，這類方法推理階段時(shí)間開(kāi)銷太大，無(wú)法在流量峰值處進(jìn)行實(shí)時(shí)異常檢測(cè)。

因此，我們提出方法LARA解決上述問(wèn)題。為了解決重訓(xùn)練新觀測(cè)數(shù)據(jù)不足的問(wèn)題，我們提出反芻模塊，該模塊使用老模型恢復(fù)歷史分布中與新觀測(cè)數(shù)據(jù)相似的數(shù)據(jù)，并使用歷史數(shù)據(jù)與新觀測(cè)數(shù)據(jù)一起估計(jì)每一個(gè)新觀測(cè)數(shù)據(jù)的隱藏狀態(tài)z。為了解決重訓(xùn)練計(jì)算開(kāi)銷大的問(wèn)題，我們使用映射函數(shù)M_z和M_x分別把老模型輸出的隱藏狀態(tài)和重構(gòu)數(shù)據(jù)映射為當(dāng)前分布的隱藏狀態(tài)估計(jì)值與新觀測(cè)數(shù)據(jù)，并數(shù)學(xué)證明了映射函數(shù)令映射誤差最小的最優(yōu)形式為線性，極大降低了重訓(xùn)練開(kāi)銷。更進(jìn)一步，我們根據(jù)M_z 與M_x的形式，提出一種相應(yīng)的損失函數(shù)設(shè)計(jì)范式，可以保證重訓(xùn)練問(wèn)題是一個(gè)凸問(wèn)題，具有唯一全局最優(yōu)解，從而保證較快的收斂速率，降低重訓(xùn)練計(jì)算開(kāi)銷，避免陷入過(guò)擬合。

論文鏈接

1、論文標(biāo)題：Pathformer: Multi-Scale Transformers With Adaptive Pathways For Time Series Forecasting

• 論文作者： 陳鵬， 張穎瑩， 程云爻， 樹(shù)揚(yáng)， 王益杭， 文青松， 楊彬， 郭晨娟

• 論文鏈接：https://openreview.net/pdf?id=lJkOCMP2aW

• 代碼鏈接：https://github.com/alibaba/sreworks-ext/tree/main/aiops/Pathformer_ICLR2024

2、論文標(biāo)題：Explaining Time Series via Contrastive and Locally Sparse Perturbations

• 論文作者： 劉子川，張穎瑩，王天純，王澤凡，駱東升，杜夢(mèng)楠，吳敏，王毅，陳春林，范倫挺，文青松

• 論文鏈接：https://openreview.net/pdf?id=qDdSRaOiyb

• 代碼鏈接：https://github.com/alibaba/sreworks-ext/tree/main/aiops/ContraLSP

3、論文標(biāo)題：Learning Multi-Pattern Normalities in the Frequency Domain for Efficient Time Series Anomaly Detection

• 論文作者： 陳飛佚，張穎瑩，秦臻，范倫挺，姜仁河，梁宇軒，文青松，鄧水光

• 論文鏈接：https://arxiv.org/abs/2311.16191

4、論文標(biāo)題： LARA: ALight and Anti-overfitting Retraining Approach for Unsupervised Time Series Anomaly Detection

• 論文作者： 陳飛佚，秦臻，周孟初，張穎瑩

• 論文鏈接：https://arxiv.org/abs/2310.05668