2018年7月27日星期五

數據分析師需要掌握哪方面的電腦技能?——從基礎到進階

最近,在網路上看到一個問題:「數據分析師需要注重哪方面的電腦技能培養?」
問題的背景是這樣的:
某高校通信專業出身,畢業後在運營商工作了7年多,先後從事通信網路運維、規劃工作,近兩年負責運營商數據分析(網路部門,偏向業務分析)。
由於職業發展瓶頸,從去年11月計劃跳槽,花了半年時間學習統計學基礎、SQL、Python等。
近期跳槽到互聯網產品部門,從事互聯網產品(APP)的數據分析師,支撐產品部門的數據分析(偏向業務分析,不負責數據倉庫、ETL等偏向IT工作)。工作內容差異較大,包括分析的顆粒度、工作方式(例如自己寫shell腳本跑數)、工作內容,因此緊急提升linux(shell編程)、SQL等技能,且加快對業務的熟悉,但仍感覺亞歷山大。
個人想繼續往數據分析方向發展,也深知數據分析包括電腦科學、統計學、業務等三個部分內容,目前比較欠缺的應該是電腦科學,請問對於想往數據分析師(數據科學)方向發展,電腦科學方面的技能能否給些提升建議?
數據分析師需要掌握哪方面的電腦技能?
今天也是想借這個問題,系統回答下「數據分析師」的職業發展,也是最近在思考的。
根據我近10年的工作經驗,包括在甲方IT部任職商業智慧BI專案經理和運營部任職業務分析經理,乙方Data Analytics專案(EDW/BI/Big Data/AI Machine Learning)諮詢和專案實施經驗,按照由易到難的進階步驟,我覺得應該掌握這些技能:

基礎篇

1、首先是Excel

貌似這個很簡單,其實未必。Excel不僅能夠做簡單二維表、複雜嵌套表,能畫折線圖/Column chart/Bar chart/Area chart/餅圖/雷達圖/Combo char/散點圖/Win Loss圖等,而且能實現更高級的功能,包括透視表(類似於商業智慧BI的多維分析模型Cube),以及Vlookup等複雜函數,處理100萬條以內的數據沒有大問題。最後,很多更高級的工具都有Excel插件,例如一些AI Machine Learning的開發工具。
數據分析師需要掌握哪方面的電腦技能?

2、掌握SQL Server或者Oracle的SQL語句

雖然你是業務分析師,但如果取數據能少依賴於IT資訊人員和IT工具(比如BI的多維分析模型,有時候並不能獲取你想要的數據),對於做業務分析,無疑是如虎添翼,我曾經見過華為的會計能寫七層嵌套的SQL語句,很吃驚。包括join, group by, order by, distinct, sum, count, average, 各種統計函數等。

3、掌握可視化工具

比如商業智慧BI,如Cognos/Tableau/FineBI等,具體看企業用什麼工具。這些工具做可視化非常方便,特別是分析報告能含這些圖,一定會吸引高層領導的眼球,一目了然了解,洞察業務的本質。另外,作為專業的分析師,用多維分析模型Cube能夠方便地自定義報表,效率大大提升。
數據分析師需要掌握哪方面的電腦技能?
FineBI
總結:至此,掌握以上技能的80%,可以算是一個合格的分析師了。這個階段的數據分析師,需要既懂得如何利用工具處理數據,也要懂得業務場景,能分析解決基本的問題。這裡還是要強調一點,數據分析師最重要的是熟悉業務,最好是懂。懂業務,分析邏輯就會清晰一般,而且也能排除大部分無用的嘗試。長期以往對於了解的業務,比對一下數據就知道問題出在哪裡了。
之後,如果是要深鑽技術,甚至往數據科學家方向上發展。

進階篇

1、系統的學好統計學

純粹的機器學習講究演算法預測能力和實現,但是統計一直就強調「可解釋性」。比如說,針對今天微博股票發行就上升20%,你把你的兩個預測股票上漲還是下跌的model套在新浪的例子上,然後給你的上司看。統計學就是這樣的作用。
數據探勘相關的統計方法(多元Logistic回歸分析、非線性回歸分析、判別分析等)
定量方法(時間軸分析、概率模型、優化)
決策分析(多目的決策分析、決策樹、影響圖、敏感性分析)
樹立競爭優勢的分析(通過項目和成功案例學習基本的分析理念)
資料庫入門(數據模型、資料庫設計)
預測分析(時間軸分析、主成分分析、非參數回歸、統計流程控制)
數據管理(ETL(Extract、Transform、Load)、數據治理、管理責任、元數據)
優化與啟發(整數計劃法、非線性計劃法、局部探索法、超啟發(模擬退火、遺傳演算法))
大數據分析(非結構化數據概念的學習、MapReduce技術、大數據分析方法)
數據探勘(聚類(k-means法、分割法)、關聯性規則、因子分析、存活時間分析)
其他,以下任選兩門(社交網路、文本分析、Web分析、財務分析、服務業中的分析、能源、健康醫療、供應鏈管理、綜合營銷溝通中的概率模型)
風險分析與運營分析的電腦模擬
軟體層面的分析學(組織層面的分析課題、IT與業務用戶、變革管理、數據課題、結果的展現與傳達方法)

2、掌握AI Machine Learning演算法,會用工具(比如Python/R)進行建模。

傳統的商業智慧BI分析能回答過去發生了什麼?現在正在發生什麼?但對於未來會發生什麼?必須靠演算法。雖然像Tableau、FineBI等自助式BI已經內置了一部分分析模型,但是分析師想要更全面更深度的探索,需要像Python/R的數據探勘工具。另外大數據之間隱藏的關係,靠傳統工具人工分析是不可能做到的,這時候交由演算法去實現,無疑會有更多的驚喜。
其中,面向統計分析的開源編程語言及其運行環境「R」備受矚目。R的強項不僅在於其包含了豐富的統計分析庫,而且具備將結果進行可視化的高品質圖表生成功能,並可以通過簡單的命令來運行。此外,它還具備稱為CRAN(The Comprehensive R Archive Network)的包擴展機制,通過導入擴展包就可以使用標準狀態下所不支持的函數和數據集。R語言雖然功能強大,但是學習曲線較為陡峭,個人建議從python入手,擁有豐富的statistical libraries,NumPy ,SciPy.org ,Python Data Analysis Library,matplotlib: python plotting。
數據分析師需要掌握哪方面的電腦技能?
最後,怎麼說呢,無論何時業務分析、數據分析還是數據科學教,他的價值體現還是在於商業價值。數據人才到最後的發展也一定是要往企業運營VP、戰略參謀者身居。比如,數據戰略家可以使用IT知識和經驗來制定商業決策,數據科學家可以結合對專業知識的深入理解使用IT技術開發複雜的模型和演算法,分析顧問可以結合實際的業務知識與分析經驗聚焦下一個行業爆點。
所以需要你具備溝通、組織、管理能力和商業思維,這就不只局限於某個崗位了,需要你站在更高位的角度思考,為企業謀福利。同時也要思考,拿著「數據分析」這張牌,如何在公司發揮價值,用數據驅動企業運營,這是要思考的。

2018年7月20日星期五

我們用一個APP管理100+餐飲店,服務9000+員工!

都說服務的溫度,是台灣餐飲業的軟實力,但硬實力的影響更不容忽視。
餐飲消費市場的擴大、數位科技的興起和普及、連鎖餐飲集團的規模化效應以及餐飲業在資本市場的活躍,都讓當前的餐飲企業面臨著巨大的機遇和挑戰。如何把握消費者的特點、圍繞消費者做好餐飲店管理是每個餐飲企業努力的目標。今天和大家分享一個曾經做過的餐飲數位化管理的經驗——眉州東坡餐飲集團。
1996年眉州東坡酒樓開業,經過20多年的發展,現公司旗下共有眉州東坡酒樓、眉州小吃、王家渡火鍋、玉磐傳家菜、蔬實·茶空間、嶽麓山屋六大品牌,從酒店到小吃快餐。除去品牌之外,還有一條產業鏈,主要目標就是川菜的標準化、產業化,主要涉及源頭採購、生產加工以及最後的物流配送。共有130家店,有9438名員工,三千萬人次註冊會員。
餐飲業數位轉型:一個APP管理100+門店,服務9000+員工!

一個數據分析故事,開啟數位轉型之路

一家新餐廳的開設,前廳和後廚的面積應該是怎樣一個比例?
餐廳內二人桌、四人桌、八人桌以及包間該怎麼搭配擺設?
公司管理層比較熱衷於開大店,但是到底適不適用,誰能說得清楚和確定?
所以這些在過去都是憑藉經驗去決定。
而現在,我們通過數據分析去判斷。比如大店好還是小店好的問題,我們通過對以往餐廳數據的統計和分析,針對門店分析每平方米可獲得多少營收,得到一個數據參考。最終發現小型門店所獲得的效益要比大型門店高。因此針對這種情況,公司在戰略上做出了調整,降低部分大型門店的數量,增加小型門店。
這個事情,讓集團的數據分析工作首次得到高層認可,並開啟了數據驅動決策的商業智慧改革之路。

從現有資訊化建設入手,分階段數位轉型

2013年以前,眉州東坡的資訊化建設處於初始階段,每個系統之間都是孤立的,在特定平台上的。
第二個階段,逐步開始引入企業範圍的數據責任人體系,數據標準,數據管理規範,數據檢查工具,數據管理流程等,公司還引入了新的倉儲物流系統,這時期導入了帆軟FineReport報表,將各系統的應用數據做整合,通過數據分析了解企業經營狀況、顧客資料等。還建立了資料庫,從原始的資料庫裡面提取一些指標性的東西,然後進行單獨存放。
第三階段,數據集成有了一定的基礎,在這個基礎上公司做了一些更深刻的開發。在2014年,公司建立了自己的電商平台,包括現在的百度、美團等餐品外送平台,都是和公司的電商平台的對接。最終系統進行集成,通過數據決策平台展現出來。
餐飲業數位轉型:一個APP管理100+門店,服務9000+員工!

用一個APP管理100多家門店,服務9000多名員工

眉州東坡有一百多家門店,為了能夠實時了解餐廳的經營狀態,滿足中基層管理人員常在餐廳走動很少坐在PC前的特性,公司著重開發手機報表。IT資訊部從2015年中開始,公司利用帆軟FineReport報表來開發自主的手機App,現在App用戶已經涵蓋公司高層、中層、基層的所有管理人員以及普通員工。

高管管理的行動戰情室

下面是高管層使用的2張報表頁面。高管層首先看到的是下面的第一張。匯總了每月經營收入、當日不同集團不同業態收入,以及各個門店的增長情況排名。為什麼分析的是這些內容?因為高層關注的核心就是企業資產增值,對於餐飲、酒樓等業態來說,核心經營指標便是企業收入。這樣一張匯總表,之前是怎麼做的呢?上數據分析平台前,財務部分通過手工匯總,需要將近1周的時間,來完成財務月報,根本無力完成日收入分析。
只要一個匯總表是不是就夠了?不夠的,高層查看到收入匯總情況,有時會十分關注不同區域、不同業態的收入情況,這就需要提供明細鑽取的功能。技術不難實現,但對於眉州東坡,卻需要高速彙集分散在不同地點的數據,甚至是一些只存在門店本機的經營數據。解決了這個核心問題,就相對容易製作出了下面的明細APP報表。
餐飲業數位轉型:一個APP管理100+門店,服務9000+員工!
報表製作從設計到最終制定只花了三個月,報表中的每個模塊都可進行鏈接,總共鏈接出的報表有30多個。基本涵蓋了所有常見的業務。每個模塊設有微信分享鏈接,可以微信形式發給總裁。

門市管理者的方便工具

門市管理報表主要的使用群體為各個門店的經理與廚師長,實現其在手機上能夠隨時隨地實時查看經營數據以及對菜品的數據分析
1)排名的功能,店長能直觀的了解該門店在所有門店中的排名。
2)通過動態參數實現時間維度的動態選擇;並且在不同的時間維度上業務數據中超鏈的內容也不一致:
日粒度數據中點擊銷售額會跳轉分時段的銷售統計分析,周以上粒度數據點擊會跳轉與上周(月、年)粒度的經營數據對比分析。
餐飲業數位轉型:一個APP管理100+門店,服務9000+員工!
用於對集團層面以及各個門店層面的菜品銷售情況進行分析,讓門店經理和廚師長清楚的了解所屬門店的明星菜品與銷量、明星菜品對總體銷售額的貢獻等數據,從而可以定期優化門店的推薦菜單。
餐飲業數位轉型:一個APP管理100+門店,服務9000+員工!

基層員工優化餐廳細節的渠道

這是一個可以讓基層員工對公司的流程、制度、管理等提出優化建議的模塊。
員工填寫自己的建議,填報提交後會流轉到上級審批。審批流程中需要填寫評分結果,是否推廣(繼續向上級審批),直到區域經理、總裁、集團。每層審批通過都會對該次建議進行積分,積分越多獎勵越豐厚。
餐飲業數位轉型:一個APP管理100+門店,服務9000+員工!

全員學習的資料庫

這是眉州東坡行動APP的一個客製化功能。公司的發展20多年,積累了很多的檔案資料,包括公司的管理規章制度、訓練課程等,需要全員學習和查閱。於是在APP上實現了PDF檔案展示功能,將這些資料通過超鏈接掛載到APP報表模板中,點擊後打開PDF展示。
餐飲業數位轉型:一個APP管理100+門店,服務9000+員工!

倉庫物流系統順勢升級

2016年餐飲企業的稅務發生了變化,但眉州東坡所使用物流的系統不具備記錄稅率等相關資料的功能,這怎麼辦?
老辦法是找系統開發商進行二次開發,但高額的費用讓企業決定自己開發系統,這一任務落在了IT資訊部身上。從了解物流系統資料庫開始,自建資料庫用於相關資料的存放,最後部署數據模板。
下面就是使用帆軟報表做的倉儲物流系統升級補丁。首先可以看到左側的幾個目錄,是有單據列印、報表,還有系統設定等等。單據列印下面有一張入庫單,這個錄入單是讀取我們倉儲物流系統裡面的資料,然後做的一個集中體現。
餐飲業數位轉型:一個APP管理100+門店,服務9000+員工!
沒有錄入或者沒有列印的話,它都會顯示紅色的字體,提示未完成未列印。工作人員操作是需要稅率和含稅價的,但每次手動進行錄入效率太低,所以我們設定為自動從系統檢索後自動填進去的。工作人員只需要核對一下資料有無錯誤,無錯誤可以通過。
餐飲業數位轉型:一個APP管理100+門店,服務9000+員工!
點擊列印憑證,會自動把這些數據提交到資料庫里。提交之後會生成一張入庫驗收單,這是系統列印,之後列印的時候會列印到這樣紙製版的驗收單,然後確認。
餐飲業數位轉型:一個APP管理100+門店,服務9000+員工!
從企業高層決策者、中層門店管理者到基層員工,每一位都被納入到APP使用之中。從企業的經營決策、門店的實時數據到管理服務的優化,每一個業務環節都展示在APP之中。通過這樣的數據化管理,緊跟需求不斷變化的消費者,直面競爭對手的挑戰,讓未來的路走的更加確定。