Kamiwaza 大幅提升各領域的天氣應變整備

首席氣象學家 Kamiwaza 與 GAI 運用 Intel® Xeon® 6 和 Intel® Gaudi® 3,強化天氣事件應變整備。

概覽:

  • 聯邦首席氣象學家 Sunny Wescott 希望在氣壓研究中,參考公開的歷史天氣資料,然而這些資料卻埋藏於龐大難解的資料集。

  • Sunny Wescott、系統整合商 GAI、AI 公司 Kamiwaza 與 Intel 並肩合作,加速了仰賴人力需耗時數年才能完成的研究。GenAI 解決方案包含多個大型語言模型(LLM),在 Intel® Gaudi® 3 加速器與 Intel® Xeon® 6 CPU 執行,推理效能和能源效率俱佳。

author-image

作者

挑戰

美國各地自動化感應器所蒐集的歷史氣象記錄,是預報模式、風險分析和預警系統的核心基礎。這些記錄不完整或不可靠時,會縮短緊急應變管理人員的預警前置時間、降低影響預報準確度,進而導致更嚴重的生命與財產損失。若應用完善的歷史檔案庫與分析機制,結果便能大幅改善。以颶風哈維為例,參考過往水災模式所制定計畫,成功縮短了 40% 的平均疏散時間。1

1930 年來的極端天氣趨勢顯示,氣壓出現低壓更低且高壓時間更長的劇烈震盪,導致惡劣天氣的頻率與強度皆雙雙增加。如果建置預警系統和實務缺乏相關歷史資料,緊急應變管理人員可能難以為當地的天氣影響做好充分準備。

聯邦首席氣象學家 Sunny Wescott 專精於全國極端天氣危害及其對公私部門關鍵資源的影響,以並致力於研究關鍵基礎設施所面臨的連鎖威脅。她目前正在美國海軍研究院(Naval Postgraduate School)主持研究專案,聚焦於氣壓變化與國土安全勤務之間的關聯。壓力劇烈波動可能影響人類行為,不僅會影響勤務需求頻率,還會影響員工的身心健康,導致他們在亟需人力的時刻難以全力以赴。

Wescott 希望存取愛荷華州立大學(Iowa State University)的公開資料集,調查全美數百個特定地點的大氣高壓與低壓,掌握過去 90 年天氣演變的全貌。然而,儘管這個資料集蘊藏特定地點豐富的氣候資料,但採用的卻是稱為 GEMPAK 的過時格式,現今能夠存取的科學家少之又少。

解決方案

為了尋求解開 GEMPAK 資料集的方法,Wescott 聯絡曾多次合作的系統整合商 Government Acquisitions, Inc. (GAI)。GAI 的資料科學家 Emma White 對解方了然於胸:將舊有的資料格式轉換為 Parquet;這種普及的開源欄位式資料儲存格式,已針對分析查詢與資料處理最佳化。然而,對小部分資料集進行轉換測試後,White 意識到她還需要更多協助。她和 Wescott 聯絡了專精於 GenAI 解決方案的公司 Kamiwaza AI。Kamiwaza 工程師運用 AI 掃描 GEMPAK 檔案格式,先為 AI 代理提供描述 GEMPAK 格式的單一背景檔案,然後再著手處理資料。

Kamiwaza AI 執行長 Luke Norris 表示:「我們認識的人都不懂 GEMPAK 格式。此外,資料集的規模遠超乎單憑人力所能檢視及理解的極限。如果沒有現今的 AI 技術,我認為我們應該難以處理這些資料。」

團隊運用 AI 代理,僅耗時一週多,便成功將 GEMPAK 的資料轉換為 Parquet,共計 13 億個資料列與近 1 兆個資料點。清理資料、訓練 AI 代理,以及生成逾 200 張圖,又額外耗費了幾週的時間。相較之下,若以人力方式執行,則需要 5-10 名資料工程師一年多的時間才能完成這項專案。2

資料轉換為 Parquet 後,White 指導 Kamiwaza 開發的 AI 代理分析這些資料。她指示代理搜尋特定資料,將資料提取至容器進行清理。過程包括剔除空值或明顯不準確的氣壓值。代理充分理解團隊的需求,並採取行動補強資料,例如建立輔助圖或提出後續問題。

團隊面對規模如此龐大的資料集,加上大量分析資料、報告和圖表,需要有充足的算力才能因應。這個 AI 代理執行多個大型語言模型,需要 VRAM 容量近 1 TB 的系統。Wescott 與協作對象部署了執行 Intel® Xeon® 6 CPU 與八個 Intel® Gaudi® 加速器的系統。Kamiwaza 執行長 Luke Norris 表示,這種配置讓團隊「在數秒內獲得深入解析,無須耗時數天或數週。」2

Norris 認為,為了在 Intel Gaudi 加速器執行,將 Kamiwaza AI 引擎最佳化時,公司多虧有 Intel Liftoff Program 會員資格,整個轉型過程才能輕鬆快速。該計畫提供開發資源,協助重寫並驗證 Kamiwaza 的部分程式碼。

推理效能固然重要,但 Wescott 同樣重視硬體系統與託管環境的能源效率。相較於競爭產品,Intel Gaudi 3 加速器在推理方面的功耗效率高出 40%。3

「AI Liftoff Program 為 Kamiwaza 提供了極致價值。它協助我們取得需要的資源。我認為這是我們經歷過最輕鬆的一次轉型。」—Kamiwaza 執行長 Luke Norris

GAI 表示,這項專案與 Intel 合作的另一個優勢,正是 Intel 穩健且極為安全的供應鏈。White 表示:「對於確保這類軟硬體供應無虞,以及公部門極為重視的安全性環節來說,這點都很重要。」

成效

這個平台除了強化她針對氣壓長期演變趨勢的研究論文,還協助緊急應變管理人員和其他人更深入瞭解當地的天氣事件並做好準備。舉例而言,新的緊急應變管理人員可能不知道,風速每小時 65 英里是正常還是破紀錄的預報。管理人員可使用自然語言查詢,要求 Kamiwaza 與 GAI 開發的 AI 代理,找出該地點發生過該性質強風的所有實例,並總結歸納其影響。如果圖僅顯示三個實例,而且頭條新聞報導的內容是電線掉落或樹木倒塌,管理人員便能據此做好相應的準備。

「綠能永續是 [與 Kamiwaza] 洽談的重要環節。我希望能夠向團隊證明,運用 AI 是明智的選擇。」—聯邦首席氣象學家 Sunny Wescott

或者,如果這種情況已經發生過 2,000 次,該地區可能已經針對這類強風採取強化措施,因此管理人員便可將這個天氣事件視為家常便飯。

協作團隊打造的 AI 平台,其影響力遠遠超過讓 Wescott 存取論文所需的資料。這個平台易於使用,無需任何編碼經驗即可進一步探索資料。Kamiwaza 以愛荷華州立大學 Wescott 專案獲得的關鍵經驗為基礎,已經準備好協助其他公私部門的專案關係人,將大量的即時與歷史資料庫轉化為可據以行動的深入解析。

「這個平台非常彈性靈活、設計精美,而且使用方式容易。」—GAI 資料科學家 Emma White

舉例而言,美國國家資料浮標中心(NDBC)營運的國家浮標系統,是一套涵蓋錨定浮標、漂流浮標及沿海觀測站的龐大網路。對於海洋天氣預報、氣候監測與緊急應變規劃而言,這些浮標是關鍵的即時資料來源。Kamiwaza 與 GAI 開發的 AI 平台可挖掘這些資料,協助改善船舶、海上鑽井與沿海作業的海上安全。

另一個例子則是,公用事業公司運用各種水文與環境感測器監測河川狀況,將水力發電運作最佳化、確保水壩安全,並符合環境法規。這些資料以多種格式儲存,包括專有的二進位格式、時間序列資料、關係資料庫、文字、JSON 與 XML。資料量龐大且格式多元,Kamiwaza 的 AI 代理可大幅加速資料分析,並獲得全新的深入解析,提升水力發電營運效率。

下載 PDF ›