智慧服務


大數據分析服務簡介
開發基於 Spark 的大數據分析解決方案, 研發豐富的數據分析工具指令集,提供使用者於大數據分析各階段(資料整備→模型預測)自助選擇及操作, 以利完成資料分析。整合WebUI與精簡指令提供多種資料格式導入與批次/串流分析。

大數據分析流程說明

步驟一、註冊會員 and 點選大數據分析服務
想要使用中華電信 IOT 巨量資料服務,您必須透過一個 CHT 會員中心帳號 ,才可以於自己的帳號之下,新增專案,並存取相關的數據(Data)。 在透過CHT 會員中心帳號登入之後,請點選 IoT 平臺網站上方應用服務底下的大數據分析。
步驟二、選擇資料並進入分析環境
進入IoT智慧聯網大平台中大數據分析的網頁後,左邊綠色和橘色的圖示分別是大數據分析環境的進入點和IoT智慧聯網大平台資料導入的操作介面。此頁面右邊的我的模型會顯示目前使用者已佈署的模型名稱。
點選橘色圖示會如下圖所示,使用者可以選擇哪個專案哪個設備底下的哪個感測器資料,並選擇資料日期範圍和設定資料傳送到大數據分析環境後的檔案名稱。 選擇並傳送資料後點選綠色圖示及會導到大數據分析服務環境。
步驟三、Create new note
進入大數據分析環境後,左側note處代表使用者目前可以使用或者可以觀看的note,我們會提供一些分析範例在此處供使用者參考,點選即可進入觀看。 若要建立新的note則點選左側Create new note後,在Note Name處輸入名稱,Default interpreter選擇run(若要撰寫python或spark程式可以在進入note後用%python或%spark指定。)
步驟四、查看指令
可以透過help指令查看目前提供的資料整備及演算法。
可以用"?"+指令名稱查看指令如何使用,以下是查看'logreg'指令的範例。
步驟五、資料轉換與資料整備
選定要採用的資料後,分析的第一步是先將資料轉換成spark使用的格式(若資料由IoT智慧聯網大平台傳送過來已轉換過,可忽略此步驟),透過'cast'指令轉換 資料整備的部分,目前是提供使用者以sql的方式處理,此部分還在精進中。
步驟六、訓練模型
在處理好資料後,選擇要採用的模型(ex. linreg)且分割(split)好欲用來訓練的資料,只要透過一兩行指令就可以完成訓練。
在訓練好模型後,可以使用'testing'指令測試模型效果,或使用'apply'將資料輸入模型得到結果。
步驟七、圖型化
除了查看評估結果來判斷模型好壞之外,針對演算法類型有提供相關圖表指令可以產生圖型化結果,詳細內容請使用'help'指令查看。
佈署模型
訓練完成模型後,可直接在分析環境上進行佈署,供後續應用程式呼叫使用。 成功部屬後可以在IoT智慧聯網大平台大數據網頁的右側,"我的模型"處看到已佈署的模型名稱。