• <Intel.com 還有更多

巨量資料分析案例: 消費者能源管理

Pecan Street 使用資料密集分析,讓消費者掌握能源管理

Bert Haskell, Technology Director, Pecan Street Inc.

 

Pecan Street Inc. 是由多所大學、科技公司以及公用事業體組合而成的非營利團體,旨在針對智慧型電網技術進行測試、實驗和商業化的協同合作。「智慧型電網 (Smart Grid)」一詞,係用於形容公用事業欲現代化電網系統的目標,在過程中採用進階計量系統、家庭能源管理系統 (Home Energy Management System,HEMS)、感應器、太陽能光伏 (Photovoltaic,PV) 系統、智慧型家電、電力車輛,以及網際網路服務,旨在讓消費者實現更佳的能源使用效率。如今,Pecan Street 藉由在美國德州奧斯丁 Mueller 社區的 200 多個家中安裝感應系統,已蒐集將近兩年的能源使用資料。

Pecan Street 的主要目標之一,就是要推動與消費者能源管理相關的新產品、服務和商機。我們的研究可以讓人們瞭解能源的使用狀況,並提供工具讓他們管理和降低能源消耗量,以及讓居家環境更舒適。此外,公用事業也可以利用這些資料來加強電網的管理,以及進行相關基礎架構現代化的投資。

Pecan Street 的研究採用裝置對雲端的架構,這會從多重來源擷取資料並加以儲存,以進行分析和視覺化。我們會從各系統蒐集電力資料,這些系統每六秒就會測量六到八個電路的電流量。我們也會使用無線網路閘道,從公用事業的計量表,蒐集瓦斯和自來水的使用資料。此外,社區有個舊機場塔台,其中的無線電接收器會從 Landis+Gyr* 進階智慧型計量表,串流資料至 University of Texas 的超級電腦機房,透過高度可靠的公用事業網路,將資料傳送到我們的資料庫中。

我們會記錄消費者的各項動作,例如他們對居家環境控制項所做的改變,或是能源資訊檢視方式的調整。我們也計劃要針對下列各項蒐集資料:進階溫度計、居家自動化系統、居家保全系統、移動偵測器,以及嶄新能源技術 (例如太陽能板和電力車輛充電站)。

我們必須瞭解消費者與我們所蒐集資料的互動關係。因此,在我們的研究過程中,某些參與者將可透過入口網站或智慧型電話應用程式 (App),來存取他們的資料。

在過去的兩年中,我們已經蒐集了大量的資料 (已經有超過 80 GB 的資訊量),而且我們預期整個計劃所蒐集的資料將高達 TB 的規模。雖然 1 TB 的資料好像也不是很多,但是從個別資料點來看,其實已經是巨量。每一個資料點都代表一項獨特事件,所以此資料的處理極度複雜。其中的巨量資料難題,就是要將大量來自多重且分散來源的非結構化資料流,彙總並回傳到 University of Texas,以進行分析和視覺化。

我們的資料庫架構已經是第三版,因為我們一直在嘗試針對這麼大量的資料,找出最佳的儲存與分析方法。剛開始進行的一個月後,我們就發現使用 MySQL* 無法因應複雜的查詢,例如:「在 24 小時的期間,冰箱的彙總用量是多少,而且是否應該針對這項需求進行調整,或是能否讓公用事業設法緩和尖峰用量?」 後來,我們就移轉到其他的資料庫架構,目前正在評估 EMC Greenplum* 巨量資料解決方案。Greenplum 所提供的整合式巨量資料分析系統具備大規模平行處理 (Massively Parallel Processing,MPP) 架構,其中沒有專屬硬體的複雜性和限制;此外,還有 Hadoop* 分散式架構,這可以協助我們運用模組化的解決方案,來處理和分析結構化和非結構化的資料。

除了要尋找最合適的巨量資料分析方法,我們所面臨的最大難題之一,就是所蒐集資料的完整性。資料系統中若有無法運作的通道,或是家中的寬頻網路中斷,所蒐集到的資料就會因為不完整而變得不可靠。為了解決此問題,我們使用已知良好的資料,來產生合格的資料集。這些資料集會標記為超高品質的資料,且會指引研究人員僅採用這些資料集。

組成 Pecan Street 團體的各個組織,包括 Intel,都在運用智慧型電網專案作為新產品概念的開發平台,亦即這是促進創新的測試平台。藉由巨量資料分析,我們就能夠進一步瞭解人們如何使用能源,以及他們想要的能源管理方式。此外,我們還能夠為公用事業提供深入剖析資訊,以協助他們以睿智的投資,來現代化整個能源網。

 

Pecan Street Inc. 運用 Intel 技術: 觀賞影片 >

Bert Haskell

 Bert Haskell

 

「Pecan Street 的研究採用裝置對雲端的架構,這會從多重來源擷取資料並加以儲存,以進行分析和視覺化。」