智能分析平臺之「AI預測引擎」

　 阿里云優(yōu)惠券 先領券再下單

觀遠數(shù)據(jù)已經(jīng)幫助聯(lián)合利華、百威英博等多家500強客戶實施需求預測，有大量的零售領域數(shù)據(jù)預測經(jīng)驗。我們看到，500強企業(yè)之所以愿意花上百萬，甚至大幾百萬來做AI預測項目，是基于其龐大的業(yè)務體量來評估ROI后作出的選擇：

一方面，高質量的數(shù)據(jù)預測確實需要專業(yè)的數(shù)據(jù)科學家和分析人員深入了解業(yè)務場景，不斷迭代優(yōu)化預測模型，經(jīng)過長時間的錘煉才能獲得；

另一方面，業(yè)務規(guī)模足夠大時，一點點的預測準確度的提升都能給企業(yè)帶來巨額的利潤回報。

但同時，我們也意識到，不是任何企業(yè)都有這個資金實力去做此類高質量的數(shù)據(jù)預測的，并且在業(yè)務需求上也可能僅僅是想做一些初步預測來為決策提供參考。那么如何滿足這類客戶的預測需求，同時又能給他們提供比一般方法更優(yōu)秀的預測結果呢？

這一篇我們就給大家講講觀遠數(shù)據(jù)為入門級數(shù)據(jù)分析人員準備的零售數(shù)據(jù)「AI預測引擎」。

AI預測引擎概述

了解過觀遠產(chǎn)品的朋友們都知道，觀遠數(shù)據(jù)在BI平臺里面內置了Smart ETL智能數(shù)據(jù)處理模塊。該模塊基于Spark大數(shù)據(jù)計算引擎開發(fā)，提供拖拽式、圖形化的數(shù)據(jù)流開發(fā)方式，使得一般業(yè)務人員也能做專業(yè)的數(shù)據(jù)分析處理。一般的ETL過程整理主要做的是數(shù)據(jù)的清洗、轉換、關聯(lián)、加載等操作，那觀遠的Smart ETL何以稱之為智能呢？這是因為Smart ETL中除了支持Spark本身自帶的函數(shù)之外，還支持自定義的UDF、UDAF函數(shù)開發(fā)，具有非常強大的智能算子 擴展能力。

舉個例子，如果你想挖掘商品間的潛在聯(lián)系，開拓更多銷售機會，你就可以使用Smart ETL內置的“關聯(lián)性挖掘”這個智能算子來快速實現(xiàn)商品銷售關聯(lián)分析。

而「AI預測引擎」則是另一個重要的智能算子。你可以用它來做各種級別的銷售預測，大到門店，小到品類，甚至SKU。有了可靠的銷售預測的數(shù)據(jù)，商品層面，對于鮮食類商品，可以做更為客觀的訂貨量評估，降低報廢風險的同時把握更多銷售機會；對于大眾消費商品，可以提供更為精準的動銷天數(shù)估算，指導商品訂貨、補貨、配貨。另一方面，銷售預測也可以用來指導人員排班，以及提供更為合理的銷售進度評估。

「AI預測引擎」智能算子

在觀遠Smart ETL中，用戶僅需要拖入一個「AI預測引擎」算子，接入事先預處理好的歷史數(shù)據(jù)，然后簡單配置日期字段、預測指標，以及指標聚合維度（日/周/月/季度/年）和預測周期數(shù)，便可開始預測。預測結果可以輸出到數(shù)據(jù)集進行下一步的展示分析與決策支持。

「AI預測引擎」節(jié)點配置

觀遠數(shù)據(jù)的「AI預測引擎」主要適用于零售企業(yè)的銷售預測或需求預測。上圖所示只是一個極簡模式的預測算子，但即便配置如此簡單，對零售行業(yè)門店級別（以超市數(shù)據(jù)為例）的日商預測平均準確度達到83%（MAPE≈17.65%），個別門店接近90%；而細化到單門店單品類（鮮肉類）的日商預測，準確度達到84%。而在這個基礎上，我們還能提供更多配置項，添加諸如天氣情況、促銷活動、品類級別的日期特征等外部信息，進一步提升數(shù)據(jù)預測的準確度；同時也可以提供多門店、多品類的批量預測。

架構解密

為什么如此簡單的操作，便能實現(xiàn)還不錯的銷售數(shù)據(jù)預測呢？

這是因為架構層面觀遠數(shù)據(jù)將預測算法封裝成Spark UDF函數(shù)，有機地融合進Smart ETL，成為一個可點選配置的智能算子；算法層則采用了先進的算法，并將觀遠數(shù)據(jù)多年沉淀的零售行業(yè)預測經(jīng)驗轉化為相應日期特征優(yōu)化配置后預置進算法包里。

如此一來，看似簡單的時序預測，其實已經(jīng)包含影響零售行業(yè)銷售數(shù)據(jù)的周期性特征、節(jié)假日特征以及節(jié)前節(jié)后特征，這樣的預測自然是要比一般時序預測方法準確度提升不少了。

未來，我們還會根據(jù)不同品類的消費特征，分別給予不同的品類特征日歷，進一步提升品類甚至SKU級別的預測準確度。同時，還可以增加天氣作為額外特征，這樣對于一些極端天氣情況下的銷售預測也會進一步提升準確度了。

算法解密

具體到算法層面，為什么觀遠的AI智能預測算法能夠比市面上通用的預測算法在預測準確度上再提升一個層級呢？

首先我們來看一般時序預測工具中常用的ARIMA模型(Autoregressive Integrated Moving Average Model）。它是一種結合自回歸與移動平均方法進行預測的模型，要求時序數(shù)據(jù)是穩(wěn)定的，或者通過差分化后是穩(wěn)定的，一般來說很難符合現(xiàn)實數(shù)據(jù)的情況。與之類似的還有GARCH模型等傳統(tǒng)時序方法，大都只能進行單變量的建模，局限性較大。

近年來涌現(xiàn)出更多復雜時序模型，以便解決實際業(yè)務中的復雜情況。例如比較有代表性的TBATS的預測模型，結合了Box-Cox轉換，趨勢擬合，ARMA建模，周期性分析等復雜技術手段來進行建模預測。它實際上是一種狀態(tài)空間模型（State Space Model）的算法實現(xiàn)，類似的還有隱馬爾可夫模型，RNN等也都屬于此類。這類模型主要限制是參數(shù)繁多，計算量大，在大規(guī)模時序預測時往往需要花費很大的計算成本實現(xiàn)。

那零售行業(yè)現(xiàn)實狀況是怎樣的呢？我們不妨先來看看零售數(shù)據(jù)本身具有的一些特征：

趨勢特征： 一般銷售數(shù)據(jù)在一個比較長期的時間范圍內，具有整體增長或下滑的趨勢特征。

周期特征： 銷售數(shù)據(jù)具有明顯的周期性和季節(jié)性。

非規(guī)律性的節(jié)假日特征： 節(jié)假日及節(jié)假日前后對銷售數(shù)據(jù)有顯著影響。

各類外部因素影響： 促銷活動、天氣、搜索指數(shù)、銷售指標等因素也會顯著影響銷售數(shù)據(jù)。

數(shù)據(jù)稀疏性： 一般零售行業(yè)的SKU，門店等維度的組合會非常巨大，但每個組合中的時序數(shù)據(jù)數(shù)量往往比較有限。

基于直觀的理解，我們就可以發(fā)現(xiàn)簡單的ARIMA模型與復雜的狀態(tài)空間模型對于零售數(shù)據(jù)的預測都有一定的局限之處。而觀遠數(shù)據(jù)則是根據(jù)具體的業(yè)務數(shù)據(jù)情況，結合使用高效的廣義累加模型和狀態(tài)空間模型，統(tǒng)籌考慮零售時序數(shù)據(jù)的趨勢性、周期性，并加入對節(jié)假日及促銷、天氣等可預測波動因素的分析，給出綜合預測結果，可以說這是一個專門為零售預測而生的算法模型！

預測結果呈現(xiàn)

觀遠數(shù)據(jù)對預測數(shù)據(jù)呈現(xiàn)做了定向優(yōu)化，對實際數(shù)據(jù)與預測數(shù)據(jù)進行了顏色和線型的區(qū)分，并添加了預測數(shù)據(jù)的置信區(qū)間，提供時間軸的縮略展示。

「AI預測引擎」數(shù)據(jù)展示

小結

本文給大家介紹了集成在觀遠BI平臺內的「AI預測引擎」功能的架構設計與算法實現(xiàn)方案。事實上，觀遠數(shù)據(jù)提供的「AI預測引擎」解決方案不僅僅是引入了先進的AI預測算法，更是將多年沉淀的、符合本土日歷特征的零售數(shù)據(jù)預測經(jīng)驗預置進了算法模型里面，同時結合BI平臺，給出了數(shù)據(jù)接入、整理、預測到展現(xiàn)的端到端整體解決方案。有興趣了解更多的朋友趕快聯(lián)系我們試用哦！

下一篇我們將給大家介紹更多觀遠數(shù)據(jù)在AI領域的落地案例與應用效果，歡迎持續(xù)關注！

申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！