易聯云 張海俊 徐海洋 劉苗

來源：《煤氣與熱力》2019年2月刊

摘要： 分析公用事業行業大數據挖掘應用存在的主要問題，介紹軟件服務化(Software as a Service, SaaS) 云平臺的價值，及大數據平臺架構及功能特點,探討行業大數據在客戶端增值服務、智能客服、服務渠道優化，及生產運行中異常監控、用量預測、輸差管理等多方位的應用場景，幫助企業更好的服務于客戶，更智能的進行設備運行管理。

關鍵詞：大數據應用  公用事業行業  SaaS云服務

Industry big data mining application based on SaaS cloud service mode

Abstract:Analysis of major problems in the application of big data mining in public utilities,introduces the value of SaaS cloud service platform, and the structure and function features of big data platform，Explore the optimization of industry big data in value-added services, intelligent customer service and service channels. And the application scene of abnormal monitoring, dosage forecasting and transmission error management in production operation. To help enterprises better serve customers, intelligent operation of equipment management.

Key word：Big data application；Public utility industry；SaaS cloud services 

1. 公用事業行業大數據挖掘應用中的問題

“互聯網+”時代，公用事業行業面臨全新的競爭挑戰，企業需要把自身的特點和“互聯網+”相結合。通過“大數據”技術，可以不斷提升企業工作效率并優化業務運作模式，提供更高質量的服務、創造新的增值價值增長點。公用事業企業擁有龐大的用戶數據資源，可以由這些數據獲得極富價值的洞見。但目前公用事業行業的大數據仍處在數據采集、存儲的起步階段，大數據價值挖掘分析只有少數嘗試。

完成可行的大數據應用要建立在大量的數據累積基礎上，公用事業企業大數據應用不足，除了對大數據技術的缺乏外，企業自身的信息化基礎較為薄弱。

(1)  缺乏統一的客戶信息平臺。目前公眾事業行業的客戶信息平臺收集信息有限，數據質量不高，數據不可靠，無法為用戶的行為分析提供有效的基礎信息數據累計。

(2)  企業內部信息系統彼此割裂，業務數據有待融合。信息化建設往往立足在各項業務自身的管理系統而忽略了系統和數據的集成，忽略了可能的關聯性和融合性。

(3)  缺乏統一的數據標準和服務流程。數據平臺的建設標準和規范不統一，內部服務流程不統一，不能保證數據的可靠性和可用性以及各類信息系統之間的跨平臺融合。

2. SaaS云平臺模式下的行業大數據挖掘

2.1.  SaaS云服務平臺價值

作為公用事業行業信息化服務提供商，金卡智能旗下易聯云計算（杭州）有限責任公司(以下簡成易聯云)，通過建立行業端到端一體化SaaS云服務平臺，將企業各系統遷移到云上，基于統一規范的服務平臺，對外聯接客戶、員工、在線設備及合作伙伴，對內形成企業大數據。最終通過企業統一、真實、有效的數據信息，進行多方位的數據價值轉化。

在大數據平臺下，完成各系統和數據的集成，保障各系統間的關聯性和融合性，讓所有業務數據可以歸結到統一的大數據業務分析中；數據平臺的建設標準和規范一致，從管網的設計、實施鋪設到巡檢維護操作、到終端用戶設備安裝和收計費服務，都在企業內部各單位各部門推行統一的操作流程、規范的數據標準，確保了數據的可靠性、可用性以及各類信息系統之間的跨平臺融合；統一云服務平臺中，有效采集匯總用戶基礎信息數據，并在此基礎上實現用戶數據分析，為用戶的行為分析提供有效基礎信息數據累計。

2.2.  易聯云大數據平臺架構

2.2.1.   大數據平臺架構圖

易聯云大數據平臺以華為基礎服務為支撐，基于分布式計算、存儲框架，面向公共事業不同價值的數據源，通過集成、存儲、建模、分析、挖掘等大數據技術，在保障公共事業數據安全前提下，進行整體的大數據技術整合，如圖1所示，為易聯云大數據架構圖

圖1  易聯云大數據架構圖

平臺提供全面的數據集成能力、海量數據存儲能力、全面數據批量及實時計算分析能力、并且通過多種途徑、多種方式對外提供數據服務，實現數據的可利用化、價值化從而達到數據服務于公共事業的每一個場景。

①   數據集成：

集成能力支持與多種數據源數據集成、支持實時、增量式的集成、支持海量結構化或非結構化的數據集成。

實時數據接入提供云服務外的數據實時傳輸到云服務內的能力，使用華為實時流接入（Data Ingestion Service，DIS）及開源消息隊列Kafka對接第三方的采集工具，通過API接口把生產者產生的數據實時添加到消息隊列通道中，并讓消費者應用程序獲取并進行實時分析，從而在數分鐘內從數據中獲得重要見解，而無需數小時或數天時間，數據接入服務支持多種數據源格式，如物聯網表采集數據、日志和定位追蹤事件、網站點擊流、社交媒體源等。

離線數據遷移（Cloud Data Migration，CDM）提供同構/異構數據源之間批量數據遷移服務能力，可將線下第三方系統、云平臺及其它數據源的數據全量遷移或增量同步至易聯云大數據平臺，利用大數據平臺對海量數據分析處理，將結果數據回流到本地業務系統，實現數據價值的挖掘，數據遷移服務支持近20種常用數據源，滿足數據在云上和云下的不同的遷移場景，讓數據自動流動。

②   數據存儲：

提供分布式存儲能力，實現PB級別（petabyte,較高級的存儲單位）結構化和非結構化數據存儲，并提供列式數據庫存儲，根據不同的應用場景，采取合理、安全、有效的方式將不同熱度的數據存儲不同存儲空間，當并能保證有效的訪問，易聯云大數據平臺數據存儲包括如下：

HBase數據庫是一個分布式的、面向列的開源數據庫，是一個高可靠性、高性能、面向列、可伸縮的分布式儲存系統，公共事業可將大量的終端采集數據儲存在HBase中，以支持PB級別的數據存儲和毫秒級的數據詳單查詢，實現實時的交互式查詢。

對象存儲服務（Object Store Service，OBS），華為基于對象的海量存儲服務，提供超大存儲容量的能力，適合存放任意類型的文件，適合普通用戶、網站、企業和開發者使用，OBS提供三種存儲類型（標準、低頻訪問、歸檔），依據數據不同冷熱程度，提供極致成本控制，易聯云大數據平臺選用OBS存儲，能夠大幅降低企業成本，并根據需求調整規模和提高創新速度幫助企業簡單便捷的管理大數據。

③   數據分析：

大數據分析是指對規模巨大的數據進行分析計算的過程，包括對流式數據實時分析，歷史數據的批量分析及相關的機器學習算法模型等。

實時流分析（Cloud Stream Service, CS），是運行在公有云上的實時流式大數據分析服務，支持大規模集群計算，集群彈性伸縮，具有高吞吐低時延特點。提供數據實時分析的能力，可在線SQL編平臺編寫Stream SQL，定義數據流入、數據處理、數據流出，快速便捷實現業務邏輯。

歷史數據統計，通過MRS服務（MapReduce Service，MRS）提供的Spark、及MapReduce組件對海量數據進行分析計算，MRS是一個用于海量數據的管理和分析的虛擬化服務，其集開源的Hadoop、Spark、Hive等大數據組件，可以在集群內進行MapReduce、Spark和Hive作業，對數據進行分析和處理，數據處理完成后，采用SSL加密傳輸數據至對象存儲服務，保證數據的完整性和機密性。

機器學習服務(Machine Learning Service，MLS)，是一數據挖掘分析服務，通過機器學習技術發現已有數據中的規律，從而創建機器學習模型，并基于機器學習模型處理新的數據，為業務應用生成預測結果。

④   數據接口：

通過統一標準的應用程序編程接口（Application Programming Interface，API），對外部系統提供數據接口服務，如：根據分析結果實現動態調整人力、物力、財力之間的配置，實現移峰填谷、智能維護運營，方便公用行業決策層從漏損率控制、產銷差管理、安全性預防等方面對整個企業的運行進行動態調控等。

2.2.2.   大數據基礎環境

易聯云大數據平臺選用華為基礎服務及開源的大數據組件搭建而成，數據分析處理能力強，信息的可靠和安全，相關組件及產品清單如下：

3. SaaS云平臺模式下的行業大數據應用

易聯云基于SaaS云服務模式的公用事業行業大數據應用主要包含客戶端大數據應用及運行端大數據應用。

3.1.  客戶端大數據應用

3.1.1.   增值服務

公用事業企業在向用戶提供天然氣、自來水、電等基礎服務過程中，積累的大量的業務數據，包含用戶名、用戶性質、地址、電話、家庭人數、購買燃氣產品類型等用戶基本數據；包含用戶用氣使用量、使用規律、付費關系等用戶行為數據；以及用戶服務申報、安檢、投訴、建議等客戶服務數據等。

這些數據往往有一些局限，但這些數據可以結合企業外部的數據，如用戶微博信息、社交信息、商城訪問信息等，可獲取用戶風險信息、財務信息，進而判斷用戶信用等級、用戶利潤、貢獻度等，可進一步挖潛數據背后的巨大價值。

用戶畫像，又稱人群畫像，是根據客戶人口統計學信息、社交關系、偏好習慣和消費行為等信息而抽象出來的標簽化畫像，用戶畫像旨在通過一系列算法或規則挖掘，把用戶分成彼此相同或不同的人群或個體，進而區別化提供服務進行觀察分析，如性別比例、品牌偏好、崗位分布、社交偏好、活躍度、大客戶、新裝戶、空房戶、采暖戶、設備類型、設備數量等。

基于用戶畫像標簽實現精準營銷及服務推送，傳統服務和增值模式，采用一對多方式，無法區分用戶年齡段、日常使用喜好及個人需求，在針對群體執行個性化服務、針對性的營銷中，成本高、準確性差。引入大數據可以根據用戶當前生命周期的重要事件，實現個性化的智慧服務和增值服務。如：通過數據發現某客戶的灶具快到期了，在用戶畫像中了解到客戶家庭收入較高，我們就可以針對性推送灶具到期更換提醒，并順便推介高檔次灶具，對企業來說，既可以增加營收，還可以降低用氣事故風險，另外還可以針對這部分用戶推出個性化的增值服務，包括滾動式安檢、設備維護保養、專人預約上門等。

3.1.2.   智能客服

在傳統的客服系統中，人力成本大、客服績效考核困難、客戶需求無法及時響應、客服中心工作簡單重復且同質化嚴重等等。而依靠大數據分析和人工智能的智能客服系統，全方位打通了客服的溝通渠道，將客服從簡單同質化問題中解放出來，降低了80%的人力成本、提高60%的團隊溝通效率。

大數據可以訓練和優化人工智能，一般的客服機器人只能回答最直白的問題，但大數據可訓練和優化人工智能知識庫，除了常規的自然語言理解啟動問答引擎外，通過內部數據和互聯網數據，進行行業知識挖掘以及常見問題模型訓練，可以在一定程度上讓機器猜到用戶的問題，學會如何應對用戶各式各樣的問題，從而建立基于知識庫的問答、基于知識圖譜的問答以及開放式聊天。

智能客服能夠24小時不間斷的為客戶進行服務，隨時隨地都可進行接待，填補了人工客服在休息、假日期間的空缺，工作量更高；對于客戶的信息掌握的更加精準，可以根據提供的訪客基礎信息以及訪問信息進行預判，為客戶提供更加貼心的服務；同時，可以分析訪客所提出的問題，迅速讀取資料庫，完成共性問題的解答，最大限度的縮短了回復的時間。

3.1.3.   渠道優化

通過大數據搜集各個客戶接觸渠道的客戶行為信息，結合客戶關系管理（Customer Relationship Management，CRM）客戶屬性和分類，對各渠道業務運行狀況和客戶服務消費偏好、熱點進行深入分析挖掘，以改善渠道用戶體驗，提升運營效率。

通過分析客戶接觸渠道的客戶行為，有效安排營業廳、微信、支付寶、APP掌廳、網廳等不同渠道的業務形式，如用戶通過微信、支付寶可完成90%的繳費業務，營業廳便可減少現場繳費窗口，節省線下成本。

對于信息化發展相對落后，用戶對于網上繳費的意識還不夠，公用行業大多采用增加線下的第三方代收的模式，通過大數據技術，通過分析代日常業務、人流量、人口分布，對是否需要設置第三方代收繳費網點、在何處設立第三方代收繳費網點、增加多少個繳費網點進行科學決策。

3.2.  運行端大數據應用

大數據應用，幫助企業監測用量異常、用量預測、輸差管理等，提升運行安全、運行效率與周期。

3.2.1.   異常監控與用量預測

通過有效利用數據采集與監視控制系統數據(Supervisory Control And Data Acquisition，SCADA)和已經建設完成的用戶關系管理系統(Customer relationship management, CRM)、GIS地理信息系統 (geographic information system,GIS)等信息系統，利用云計算和大數據分析技術打通系統之間的屏障，實現數據共享和業務系統集成。

對安全相關設備的狀態、用量趨勢進行監測，對異常行為進行告警，表具一般都標有最大的工作流量，通過實時監控分析，可監測是否存在超負荷使用情況，用量曲線突然降低，是否存在生產過程設備故障的情況、用氣曲線突然增高，是否存在表后設備漏氣的情況。

對階段歷史用量數據，基于機器學習和預測模型進行分析，預測未來一段時間內，用戶的用量趨勢，預測未來一段時間內用戶的用量，保證重點服務用戶的燃氣供應，同時，當未來一段時間發生后，可以用實際用量和預測用量進行對比，逐步修正預測結果。

如圖2，為某燃氣公司工商戶用氣監控及預測信息展示效果，整個圖分三個功能區域，左側列表展示管轄區域下流量計最近十分鐘瞬時流量排行，上側區域直觀呈現各流量計當前流量、溫度、壓力值，下側區域則以曲線形式展現用氣量趨勢及預測情況，通過實時監控對比歷史數據在線分析，及時監測篩選激增、陡減、跳躍等異常行為，進而協助業務分析是設備故障還是非法用氣，同時還展示每天及每月生產高峰，保證重點服務用戶的燃氣供應。

圖2  某燃氣公司工商戶用氣監控及預測信息

3.2.2.   輸差管理與氣源調度

通過對上游門站進行抄表，對氣源采購量進行登記，實現氣源采購管理，通過手抄表、移動抄表（普表抄表和卡表抄表），輔以必要的用氣量估算，實現用氣量管理。通過輸差相關數據提供部門對輸差氣量的填報，實現系統自動出具輸差統計報表完善營銷管理系統，輔助客戶管理。最終實現加強企業管理，規范輸差整治，降低燃氣漏損，提高經濟效益。

通過管網運行狀況數據監控分析及調整、氣源協調、緊急情況的應急指揮，使整個輸配系統保持平穩狀態。從而為用戶提供高質量的供氣服務，減少輸配過程中的損失，最大限度延長管網的使用壽命，保障輸配系統安全運行，最終提高企業的運營效益。如：通過對同一管網支路上的工商戶生產用氣數據分析，分析多個工商戶用量在生產過程中，不同生產用氣峰值是否存在重疊。如果多個工商戶生產峰值重疊，可能造成氣量不足，對工商戶造成生產效益較低或產品質量出現問題。通過實時監控或歷史數據分析，調節工商戶投料時間，避開峰值，從而為工商戶生產提供足夠的用氣量。

4. 小結

    公用事業行業大數據挖掘應處于初步階段，基于SaaS云服務平臺的公用事業行業大數據應用，能夠統一、真實、有效的挖掘行業大數據，易聯云SaaS云平臺通過客戶端大數據分析應用，為用戶提供精準的增值服務、高效的在線客戶服務以及改善用戶在各渠道的服務體驗，為節省企業服務成本，創新企業增值業務模式，為用戶和企業帶來雙向價值；通過運行端大數據分析應用，為企業運行日常監測管理帶來便利，保障了運行安全、運行效率與周期，為企業節省了人力物力成本。

公用事業企業大數據對于提升行業信息化管理水平，拓展新的服務模式有重要作用。目前國內公用事業企業大數據應用尚在起步階段，數據的分析與挖掘還未有效利用，需要公用事業行業內部及擁有先進技術的互聯網企業共同努力，真正發揮公用事業行業大數據價值。