使用 SigOpt 使預先訓練好的 AI 轉換器的推斷時間比基線效能提高多達 63%。1
LTIMindtree 是一家印度跨國服務供應商，擁有數十年的深厚工程經驗，專門提供使用新型人工智慧（AI）技術的敏捷且全面的企業解決方案。LTIMindtree 人工智慧產品套件中的基礎產品之一是其由人工智慧驅動的呼叫摘要生成器，它可以輔助呼叫中心代理總結已完成的客戶呼叫，這是一項複雜的任務，需要人工智慧模型既保持最新狀態又始終在粒度級別得到改進。LTIMindtree 致力於持續改善人工智慧模型的性能和回應時間，以確保客戶擁有更優質的產品。在這種情況下，目標是利用人工智慧工具實現更快、更準確的呼叫摘要。
對於LTIMindtree 來說，改進呼叫摘要意味著要對人工智慧模型進行細緻的微調，以用於個別客戶。然而，為每個客戶手動微調人工智慧模型是很耗時的，並給這個過程帶來了操作瓶頸。LTIMindtree 團隊尋求一種工具來克服這些挑戰，最終決定使用 SigOpt 來實現整個微調工作流程的自動化。
「對 SigOpt 智慧實驗平臺的投資絕對值得 LTIMindtree 取得的成果。」-- LTIMindtree 計畫架構師 Bhanu Prakash Aladahallinanjappa2
透過使用 SigOpt 這一世界級的人工智慧模型生成營運解決方案，Mindtree 不僅看到了營運成本的降低，而且在準確性和推理時間方面都有了明顯的性能提升。與預先訓練好的 HuggingFace 轉換器 BART 的性能相比，這種支援 SigOpt 的工作流程最終將推理時間減少了63%。1 更重要的是，這種模式的性能收益轉化為更好、更有成效的客戶體驗。
LTIMindtree 專注於使用符合客戶需求與資料的前衛人工智慧模型，提供營運效率。在這種情況下，LTIMindtree 的專業知識旨在應用於電信行業，在該行業中，人工智慧的聊天機器人可以幫助減少客戶的自願流失，提高每使用者的平均收入，並提供具有成本效益的客戶便利。當客戶與聊天機器人互動時，它需要積極、高效、準確的體驗，以長期留住客戶，並最大限度地減少人工協助需求。3
聊天機器人有助於透過快速解決提供更好的客戶體驗，同時提高員工效率和生產力。速度、回應性和準確性是提高客戶服務的關鍵。在電信領域，以及大多數其他客戶服務環境中，呼叫準確度是以面向召回的排序評估 (Understudy for Gisting Evaluation，ROUGE) 分數來衡量的。
將SigOpt與其他方法進行比較
傳統的超參數調整方法，如網格搜尋和隨機搜尋，都很繁瑣和耗時。LTIMindtree 在微調超參數以提高聊天機器人在呼叫回應和摘要中的表現時，遇到了這個挑戰。具體來說，他們想選擇正確的深度學習架構，讓聊天機器人的交流在性能上有可衡量的改善。透過以下實驗，LTIMindtree 試圖確定 SigOpt 智慧實驗平台是否是促進超參數微調的正確工具。
SigOpt 智慧實驗平台不是手動解釋和最佳化其人工智慧模型，也不是在 LTIMindtree 現有的基礎設施內結合多種工具，而是透過一個基於模型的雲端解決方案讓 LTIMindtree 一步步清晰起來。
圖 1。LTIMindtree 使用 SAMSum 資料集微調人工智慧模型的工作流程。
SigOpt 透過結合貝葉斯演算法和其他全域優化演算法來最佳化人工智慧模型，以提高模型性能，同時降低成本和節省時間。有了 SigOpt，LTIMindtree 的專家們利用 LTIMindtree 現有的環境和工具，只需幾行程式碼就能實現他們的模型優化實驗。SigOpt 將資料管理、最佳化、分析、透明度和可擴充性結合在一起，因此建模者可以透過專門為智慧實驗設計的整合儀錶板追蹤運行、可視化訓練曲線並最佳化超參數。LTIMindtree 可以很容易地看到在他們的實驗中哪些是有效的，哪些是無效的，以及已經做過的歷史和不同模型的表現。
「模型定製和準確性的提高是我們的客戶所堅持的，而不是在聯絡中心領域使用現有的雲端解決方案。我們將使用 SigOpt 智慧實驗平台推薦或提供我們的定製服務。」— LTIMindtree 計畫架構師 Bhanu Prakash Aladahallinanjappa
在處理該專案之前，LTIMindtree 選擇透過將 SigOpt 最佳化演算法與其他標準的超參數最佳化方法進行比較來熟悉 SigOpt。
「LTIMindtree 的認知聯絡中心解決方案現在為客戶提供了前所未有的摘要模型的準確性和性能，這得益於 SigOpt 智慧實驗平台的功能」-- Lakshmi Ranganathan，英特爾印度技術諮詢工程負責人
為了進行比較，LTIMindtree 使用了網格搜尋、隨機搜尋和 SciPy 最佳化資料庫，並對 eggholder 函數進行了性能比較。eggholder函數被認為是最佳化文獻中的一個經典函數。由此得出的比較結果使人們迅速瞭解到，與其他方法相比，SigOpt 是如何在較少的反覆運算中找到最佳值的。
圖 2。LTIMindtree 團隊嘗試了傳統的調整方法，如網格搜尋和隨機搜尋。這張圖片顯示了與 SigOpt 的比較結果。1
為了進行額外的驗證，LTIMindtree 在 MNIST 資料集上嘗試了圖像分類。使用一個多層感知器模型。
整體來說，運行這兩個測試案例使 LTIMindtree 有信心在這個專案中繼續使用 SigOpt。
選擇正確的深度學習架構，與建模和業務目標保持一致
構建深度學習模型時的挑戰之一是選擇正確的架構。選擇正確的架構意味著找到不僅能確保最佳模型性能，而且能滿足投入生產之要求的架構。一旦 LTIMindtree 驗證了 SigOpt 的有效性，LTIMindtree 利用該平台説明建立一個案例，以確定為他們的客戶使用哪種人工智慧轉換器模型架構。
為了選擇合適的轉換器模型架構，LTIMindtree 使用支援 GPU 的機器進行了實驗。為了確定候選模型，LTIMindtree 測試了一個 Pegasus 模型和一個 BART 模型，兩者都來自 Hugging Face。他們還選擇了 SAMSum 語料庫的資料集進行抽象概括。
LTIMindtree 的目標是對預訓練的模型進行微調 -- 最佳化批量大小和學習速度 -- 以瞭解 SigOpt 智慧實驗平台是否可以選擇新的、更好的超參數值並改進轉壓器模型。
最初，LTIMindtree 試圖透過最小化評估損失來最佳化 Pegasus 模型。看到早期的結果，LTIMindtree 團隊有信心排除 Pegasus 模型作為一個潛在的模型候選。
人工智慧轉換器模型是一種常用於自然語言處理任務的深度學習模型，它採用自我關注的機制來衡量輸入資料的各個部分。
在排除了 Pegasus 模型之後，LTIMindtree 將注意力轉移到 BART 模型上。他們還從看評估損失改為看 ROUGE 得分指標，以更好地比較預訓練的基線模型。ROUGE 分數有三種不同的形式：
- ROUGE 1 - 句子中匹配的非字元數／句子中非字元總數
- ROUGE 2 - 句子中匹配的大詞數量／句子中大詞總數
- ROUGE L - 最長的共同子序列的長度／句子中的總字數
這些指標衡量的是真實的句子和生成的句子之間的差異 - 在這種情況下，用於總結。LTIMindtree 以預先訓練好的 BART 模型作為基線，獲得了 54.39 的 ROUGE 1 評分。這也是該團隊決定用於微調的權重初始化的模型。
圖 3。LTIMindtree的解決方塊圖。
運作人工智慧模型的生產以最佳化最終客戶體驗
為了對通話對話進行總結，我們使用了預先訓練好的 Facebook/BART-large-XSum 模型作為基礎模型。該模型在 SAMSum 語料庫資料集上進行了微調，SAMSum 語料庫是一個用於抽象概括的人類註釋的對話資料集。使用 SigOpt 進行了超參數最佳化，以 ROUGE 得分作為性能指標。
為了實現 ROUGE 得分最大化和推理時間最小化的雙重目標，LTIMindtree 使用 SigOpt 的多聚體最佳化進階功能，將可能的設計方案可視化。使用 SigOpt 的網路應用程式，LTIMindTree 就能夠直覺地看到這兩個相互競爭的指標在運行多個實驗後的表現，並建立了一個 Pareto Frontier，將每個指標組合的最佳結果可視化。從這裡，LTIMindtree 能夠為他們的模型選擇最佳配置，以投入生產。
圖 4。SigOpt 的可視化工具所提供的 Pareto Frontier。
由於使用了 SigOpt，LTIMindtree 最佳化了其人工智慧模型，透過聯絡中心的機器人實現了 63% 的回應速度和更好的呼叫摘要。這些模型不僅使呼叫後摘要的任務自動化，而且還提供一致和準確的文字摘要，從而提高生產力和績效。以下是基線模型的摘要和使用 SigOpt 微調後的模型摘要。
圖 5。來自微調模型的摘要更加簡明有效。1
提高模型精度並實現顯著的 CPU 性能優勢，將推理能力提高到 63%
獲得更簡明的客戶約定的參考報告是任何抽象化的摘要模式的關鍵成功標準。平均而言，LTIMindtree 發現，手動提取摘要需要 5 至 10 分鐘，這取決於呼叫的長度，並且有可能出現人為錯誤。此外，透過效率提高的速度有助於代理人從一個電話切換到下一個電話。由於與 SigOpt 合作，聊天機器人的回應能力和參與度摘要現在都有很大的提高。
SigOpt 能夠找到表現良好且推斷時間較短的模型，儘管行業趨勢是出現相反的情況。請記住，這裏顯示的推斷改進是與硬體性能改進是相乘的。這意味著更有高效率的處理器將進一步加快這些成果。如需參考，使用的 Intel 硬體組態 LTIMindtree 是第3代 Intel® Xeon® 處理器。4下面的結果顯示了這種推斷時間的減少。5
由於使用了 SigOpt，LTIMindtree 現在有了一個框架，使他們能夠將知識從一個項目轉移到下一個專案。
| 以摘要記錄檔案 | 推斷時間，以秒為單位 | 型號名稱 |
|---|---|---|
| 客戶很生氣，因為他幾乎有一個星期不能存取他的電子郵件。Rocket Speed Internet 會用同一個號碼給他回電話，但他需要檢查他的數據機上哪些燈是亮的。客戶桌子後面的 DSL 線路有問題。這是在數據機後面部分的灰色電話線。代理商告诉客户把它插上，就可以解决问题了。 | 16.75044 | 擁抱臉部的最新模型；在沒有 SigOpt 説明下建立的模型 |
| 客戶幾乎有一個星期無法存取他的電子郵件。代理商會按照之前的號碼給他回電話。客戶的 DSL 數據機出了問題。問題出在數據機後面部分的灰色電話線上，它在他的桌子後面。代理商在電話中幫助他解決了這個問題。 | 6.86279 |
在 SigOpt 的幫助下建立的模型 |
圖 6.以摘要範例記錄檔案。
「我們打算使用 SigOpt 智慧實驗平台來改進模型的精確度（ROUGE 評分），但我們也獲得了顯著的 CPU 效能優勢。」— LTIMindtree 程式設計師 Bhanu Prakash Aladahallinanjappa
摘要：SigOpt 的智慧實驗對 LTIMindtree 未來使用案例的價值
- 取樣效率：構建深度學習模型的一個關鍵組成部分是對性能進行最佳化。當使用諸如網格搜尋和其他樣本效率較低的最佳化方法時，挑戰之一往往成為縮小搜尋空間以避免應用無限的計算資源。另一方面，SigOpt 提供了一套貝葉斯演算法和其他全域最佳化演算法，這些演算法是專門為盡可能提高樣本效率和減少最佳化模型所需的計算資源而設計。
- 進階的實驗功能：SigOpt 提供各種進階實驗功能，説明建模者將其建模目標與業務目標相結合，達到更一致。這些功能之一是多指標最佳化，它允許建模者同時最佳化多個競爭指標。
- 易用性：SigOpt 提供了一個易於使用的用戶端資料庫，使建模者能夠輕鬆地將 SigOpt 整合到他們目前正在做的事情中。此外，直覺的網路儀錶板體驗可讓使用者儲存工件，可視化結果，並與建模團隊的其他成員和其他關鍵利益相關者密切合作。
- 標準化的建模工作流程：同樣重要的是，SigOpt 使建模工作流程標準化，這導致了更好的整體模型性能，因為它可讓建模者專注於將領域知識應用於問題，而不是投資於開發建模實驗流程。
透過使用 SigOpt 智慧實驗平台，聊天機器人的反應推斷時間從 16.75 秒減少到 6.86 秒。5
LTIMindtree 的電信專案目標是透過最佳化他們的呼叫中心自動呼叫回應和摘要系統來減少呼叫代理時間。我們的目標是提高聊天機器人的能力，以提供更快、更順暢、更自然的回應，並更簡潔地總結每一次接觸。
SigOpt 智慧實驗平台説明 LTIMindtree 實現了聊天機器人的性能改進，透過有組織的觀點與自動最佳化，輕鬆找到產生最佳定製結果的實驗。LTIMindtree 能夠輕鬆地追蹤他們所選擇的指標，並直覺地看到哪些最佳化最能實現這些指標。這個實驗説明 LTIMindtree 選擇了最合適的深度學習模型架構，以提高聊天機器人在回覆和參與摘要方面的性能，使用定製的模型和指標。
在與 SigOpt 合作之前，聊天機器人總結客戶來電的推斷時間為 16.75 秒；透過使用 SigOpt，推斷時間減少到 6.86秒。5 這一改進減少了聊天機器人的回應時間，意味著對電信客戶的回應速度更快，人類代理在常規任務上的時間減少了 50% 以上，產生了更多人類代理時間來支援客戶通話。透過減少字數和平滑措辭來有效地記錄客戶的參與情況，預定摘要也得到了顯著的改善。
此外，LTIMindtree 不僅在提高聊天機器人的性能方面取得了成果，而且在 SigOpt 的支援下，還經歷了一個意想不到的好處，即 CPU 性能的顯著提升。
最後，由於對準確性和推斷時間的改進所產生的測量影響，LTIMindtree 現在將為呼叫中心提供人工智慧模型最佳化服務，作為其營銷目錄中的一個產品，供當前和未來的客戶使用。