圖像和文字模型的負責任AI支援 | 第一部分

圖像和文字模型的負責任AI支援 | 第一部分

Table of Contents

1. 負責任的AI概述
2. 負責任AI支援的意義
3. 文字模型的負責任AI支援
   • 3.1. 誤差分析
   • 3.2. 模型總覽
   • 3.3. 混淆矩陣
   • 3.4. 數據分析
   • 3.5. 特徵重要性
4. 文字負責任AI儀表板的生成方法
5. 未來發展方向
6. 結論

負責任的AI支援圖像和文字模型

在這一期的「The AI Show」中，我們將討論關於負責任AI支援圖像和文字模型的相關內容，這將是一個兩部曲的節目。我們有幸邀請到了我的朋友Wenxin作為嘉賓出席。

您好，Wenxin，請自我介紹一下吧！

嗨，大家好，很高興能在這個節目中與大家見面。我是Wenxin，非常榮幸能夠和大家一起討論負責任AI支援圖像和文字模型的話題。

負責任AI儀表板的概述

負責任AI儀表板是一個結合了各種開源工具的單一介面，包括誤差分析、模型解釋和公平性評估等。過去，我們一直使用負責任AI儀表板來分析表格數據，用於分類或回歸模型，而現在我們正在擴展這些支援，以應用於圖像和文字數據的模型，例如圖像分類、目標檢測和文本分類等場景。

該如何使用負責任AI儀表板？

首先，您需要從Python SDK或CLI生成負責任AI儀表板。您可以將自然語言處理模型在Azure Machine Learning中註冊，然後添加負責任AI文字洞察組件來生成儀表板。舉個例子，我們使用ESG文本分類模型來進行演示，該模型將ESG報告分為環境、社會和治理三個主題。這個示例中，我們將在儀表板中看到不同的组件。

誤差分析

在誤差分析組件中，我們可以找出模型最常犯錯誤的地方，以及基於特徵和元數據的盲點。例如，在某些段落中，當段落長度並不長，且正面詞語較少時，錯誤率可能高達33％。我們可以將這些錯誤的段落保存為一個cohrt，以供進一步調查。

模型總覽

在模型總覽組件中，我們可以快速了解模型的性能。模型對於環境主題（如氣候變化或自然資本）的準確率約為90％，而對於非ESG標籤的準確率僅有50％。此外，我們還觀察到，環境主題佔了大多數例子，而非ESG數據的樣本量較小。

混淆矩陣

在混淆矩陣中，我們可以看到大部分的錯分是模型將非ESG數據錯誤地預測為ESG類別。我們可以通過更詳細的分析來找出出現這種錯誤的原因。

數據分析

數據分析組件提供了表格視圖和圖表視圖，用於查看數據的模式和分佈。根據誤差分析，我們知道模型在正面詞語較少和句子長度較短的情況下表現較差，我們可以使用散點圖來進一步研究其中的原因。

特徵重要性

特徵重要性組件展示了在整個數據集中將文本分類為特定主題的前k個重要詞語。大多數的詞語與氣候變化或自然資源有關，這與環境主題佔大多數例子的事實保持一致。我們還可以查看單個例子的特徵重要性，以確認我們的直觀想法或排除錯誤。

未來的發展方向

我們將在未來繼續提供更多的支援場景，例如問答和大型語言模型。我們也將繼續改進生成模型的負責任AI支援，敬請期待。

結論

負責任AI支援圖像和文字模型是一個重要的工具，可以幫助我們測量和診斷模型的錯誤並提高模型的性能。通過誤差分析、模型總覽、混淆矩陣、數據分析和特徵重要性等各個組件的結合使用，我們可以選擇有針對性的改進計劃，提升模型的可靠性和效能。

【文末FAQ Q&A】

Q：負責任AI支援圖像和文字模型有什麼優勢？ A：負責任AI支援圖像和文字模型能夠幫助我們更好地理解和改進模型的性能。它提供了多種組件，包括誤差分析、模型總覽、混淆矩陣、數據分析和特徵重要性等，以幫助我們找出模型的弱點和改進方向。

Q：如何使用負責任AI儀表板生成文本模型的負責任AI支援？ A：您可以使用Python SDK或CLI生成負責任AI儀表板。首先，將自然語言處理模型註冊到 Azure Machine Learning 中，然後添加負責任AI文字洞察組件，並將其生成。生成完成後，您可以在模型頁面上找到負責任AI儀表板。

Q：負責任AI支援圖像和文字模型對於改進模型性能有什麼作用？ A：負責任AI支援圖像和文字模型能夠幫助我們更好地定位和修正模型的錯誤。通過誤差分析、模型總覽、混淆矩陣、數據分析和特徵重要性等組件，我們可以深入了解模型的性能和決策過程，從而針對性地改進模型的弱點。

【資源】

• Microsoft Docs: Text RAI Dashboard