AI at the Edge 的角色
無論最終目標是自動化醫學影像工作流程以加速診斷，還是提升金屬製造廠的營運效率，AI 在邊緣的角色都是一樣的，那就是利用資料更快地採取行動。在 AI 領域，這是透過名為推論的任務而實現。
在推論過程中，即時輸入資料會輸入至先前經過訓練的 AI 模型，以執行決策、傳送警示、提供深入解析或完成影像排序等任務。
邊緣 AI 經常使用物聯網（IoT）裝置（包括相機、資料來源與感應器），收集並分析現實世界的資料。假設一家能源或公用事業公司希望確保塔樓、管道或電網免遭不良行為者破害。安全影片與感應器資料可在邊緣處理，自動近乎即時地向操作人員提醒威脅。邊緣 AI 可近乎即時地收集及處理資料，大幅擴展組織功能，實現一系列以 AI 為基礎的應用和體驗。從銀行資訊亭運行的聊天機器人，到具備自動化車道輔助與防撞功能的汽車，乃至於針對城市街道或廠區安全隱患或事故近乎即時的警示，邊緣 AI 跨產業的使用案例非常廣泛。
邊緣 AI 對比傳統 AI
傳統上，AI 主要基於雲端，資料會傳送到資料中心，在那裡處理並傳回分析後的資料。此類以雲端為中心的運算基礎架構模型，並不適合時間敏感的企業流程與營運。
許多企業推論使用案例受益於高速資料分析的能力。它們通常需要即時資料處理，且對延遲性要求嚴苛。通常它們需要在連線能力較差的地點實施，因此容易受到延遲與雲端往返傳輸期間資料封包遺失、造成錯誤的影響。
為了應對這些需求與挑戰，邊緣 AI 在資料來源（例如廠房、醫院或店面）執行資料分析。於現場部署演算法，在中央或直接於內建處理器的邊緣裝置進行資料處理。
混合式邊緣 AI
邊緣 AI 與雲端 AI 這兩種方法並非相互排斥。隨著邊緣 AI 的發展，在邊緣與雲端之間分配推論工作負載的混合式邊緣方法，預計將獲得廣泛採用。這個想法是，邊緣的輕量級、近乎即時的見解，可透過雲端更深層的情境支援。
混合式邊緣結合邊緣的速度與效率，以及可擴充的雲端資源，為具有各種部署環境與效能需求的尖端應用提供支援。混合式方法也可讓企業將多個模型的輸入整合至流程中。
雖然邊緣 AI 通常與電腦視覺相關，但邊緣 AI 環境正迅速擴張，涵蓋涉及生成式 AI（GenAI）、自然語言（文字轉語音、聊天機器人）與機器人技術的多模型應用。這些新興使用案例預計將徹底顛覆產業。在製造業，生成式 AI 驅動軟體可促進靈活且動態的供應鏈，而自動駕駛車輛與智慧基礎架構可協助智慧城市減少環境壓力，並最佳化交通流量。
邊緣 AI 的優勢
邊緣 AI 可協助企業應對各種複雜挑戰，解決現實問題。將 AI 帶到邊緣的部分優勢包括：
- 營運速度與效率：邊緣 AI 自動化技術實現近乎即時的自主營運，消除與雲端處理相關的延遲，對創新技術至關重要。延遲與網路瓶頸可降至最低，提升資料傳輸速率。
- 成本效益：感應器與裝置的資料量不斷成長，讓邊緣運算比將資料傳回雲端更具成本效益。耗用的頻寬較少，所需的雲端資源也較少，有助於降低營運支出。
- 節能：節能邊緣 AI 裝置專為促進低功率運算而設計，且效率遠高於雲端處理。同時，路由器與交換器等網路硬體的耗電量較低，這是因為往返資料中心的流量降至最低。
- 安全與資料主權：將敏感資料保留在邊緣，有助於確保本機控制台、自主權與法規遵循，降低安全與隱私權風險。
邊緣 AI 注意事項
與在公用或私人雲端執行 AI 相比，將 AI 引進邊緣環境而帶來新挑戰包括：
- 將 AI 加入現有投資：許多邊緣環境採用舊式、固定功能的基礎架構，以及各種專有設備與軟體。格式不相容的專有技術與邊緣解決方案整合時，可能會帶來技術挑戰。
- 訓練與微調模型：邊緣 AI 模型獨特，必須針對特定產業或使用案例進行調整。在這些案例中，人類領域知識通常至關重要。企業需要簡單的工具，協助非資料科學家專家將專業知識轉化為 AI 功能。
- 因應硬體多樣性：邊緣原生應用程式可能會橫跨眾多節點、作業系統、連線通訊協定、運算與儲存需求，同時也需面對能源與成本限制，以及法規遵循等挑戰。開發者需要方法來應對這種複雜性，並支援分散式異質運算環境。
- 保護及管理分散式應用程式：企業尋求支援 AI at the Edge 時，面臨了新的挑戰。管理能力是大規模應用 AI 的關鍵，而安全機制也是實現過程中每一步的必要條件。
- 為惡劣或受限的環境進行規劃：邊緣環境為 AI 硬體帶來不同壓力，例如熱量、濕度或振動。適用於交通監控或品質保證等使用案例的邊緣 AI 解決方案，通常需要放置在實體空間較小的區域。實現低電源使用，對於控制成本和促進永續發展也十分重要。
邊緣 AI 解決方案
如何利用邊緣 AI 技術將業務營運現代化，是一個深入且多面向的議題。部分組織（例如製造業與工業組織）會尋求將邊緣技術和「智慧」增加至舊有營運設備，以演化為利用近乎即時的資料來實現價值的數位企業。其他產業（例如金融與醫療保健產業）擁有資料導向的大型營運，但這些營運規模太大或各不相同，無法進行人力監控和分析。這些組織正邁向資料流程數位化和自動化，以更快發掘模式和深入見解，並提升效率、法規遵循和資料安全。
無論組織試圖應對哪些挑戰，建議分階段處理 AI 支援。雖然最先進且最廣泛的使用案例需要邊緣至雲端技術的 AI 技術堆積，但無需重大基礎架構投資即可開始使用邊緣 AI。目前具備邊緣環境的企業，可能已準備好立即開始使用 AI。現有的邊緣運算資源，例如銷售點（POS）系統、工業電腦，與醫療機構中的本機伺服器，可支援包括電腦視覺在內的許多 AI 工作負載。
整合注意事項
實施邊緣 AI 解決方案的主要挑戰，在於克服其固有的複雜性：需協調構成整體系統的各個元件，包括運算基礎架構、物聯網裝置以及舊有設備等。整合性的技術平台有助於降低複雜性，並促進多個 AI 環境之間的互通性，以及異質基礎架構的標準化，打造從邊緣到雲端的統一架構。
硬體考量
無論是在雲端訓練模型、微調模型，還是在邊緣部署模型，選擇合適的 AI 硬體，都能協助企業調整投資規模，並支援效能需求。
AI 處理器支援整個 AI 管道，從大規模複雜的模型訓練到較簡單的 AI 需求，包括將 AI 整合至終端使用者裝置。
- 內建加速器引擎的中央處理器（CPU）可協助驅動許多進階邊緣 AI 工作負載，且無需專用硬體。
- GPU 解決方案可協助驅動資料中心、邊緣或終端使用者裝置中最嚴苛的工作負載。
- FPGA 通常用作 AI 加速器與 AI 處理器，協助實現從邊緣到雲端的 AI 工作負載。相較於 CPU 與 GPU，FPGA 的功能更豐富，可重新配置以適應各種使用案例。FPGA 結合了速度、可程式化能力與靈活性，以提供效能而無需開發自訂晶片的成本與複雜性。
選取採用方法
希望將 AI 應用程式延伸至邊緣的組織一般可分為三類：希望購買特定用途的 AI 解決方案或應用程式、希望建置自己的 AI 應用程式，以及希望透過兩種方法的某種組合實現 AI 目標的組織。
建置 AI 解決方案：對於尋求從頭開始建置自己邊緣 AI 解決方案的企業，與不受廠商限制、邊緣原生軟體平台可協助建置、部署及迭代 AI 工作流程，並具備最廣泛的互通性與通訊協定支援。部署後邊緣原生平台也讓管理及更新所有分散式邊緣環境的 AI 軟體變得更輕鬆。
在評估平台時，重要的是要尋找：
- 支援通常出現在邊緣的異質運算環境
- 採用開放式標準，為 AI 發展奠定長遠基礎
- 專業和低程式碼的開發選項
- 匯入現有應用程式的能力
- 整合式遙測儀表板，協助調整硬體規模並最佳化應用程式
- 整合式安全功能
- 類雲端自動擴充與容器化功能
購買現成的 AI 解決方案：企業組織亦可向解決方案供應商或系統整合商購買 AI 解決方案。這些供應商提供整合式軟硬體系統，專為特定產業使用案例和需求量身打造。選擇市場就緒的解決方案非常重要，該解決方案應具備可互通的 AI 功能，並擁有成功部署於特定產業與領域的良好記錄。
採取綜合方法：許多組織發現，將自己的開發工作與預先建構的元件結合，可能是實現 AI 成功的最有效方式。提供一系列展示邊緣 AI 使用案例的教學課程與資源，有助於加速價值實現並簡化開發。此外，軟體資源豐富多樣，可協助簡化開發流程，包括框架、工具組、產業特定的開發工具、參考架構，以及參考實作。