如何建立值得信賴的AI？

上期IT周刊介紹了歐盟出臺的《可信賴人工智能道德準則》。準則中提出，實現可信賴人工智能需要滿足人的能動性和監督，技術強大性和安全性，隱私和數據治理，透明度，多樣性、非歧視性、公平性，社會和環境福祉，問責制7大要素。

在這7大要素的基礎上，準則中還列出具體但非詳盡的評估列表實施要求，供利益相關方在開發、部署或使用AI時采用，目前該評估表為試點版本。歐盟邀請開發、部署或使用的利益相關方，在實踐中使用這份評估列表，并就其可實施性、完整性以及特定AI應用或領域的相關性等做出相應反饋，歐盟將在2020年初提出可信賴的人工智能評估清單的修訂版。

如何建立值得信賴的AI？

可信賴的人工智能評估清單（試點版）摘編

人的能動性和監督

基本權利：

1：您是否在AI對人類基本權利產生負面影響的情況下進行過影響評估？是否確定并記錄了權利之間的潛在平衡？

2：AI是否與終端用戶（即人類）在采取某些行動或某項決策時有相互作用（或一致或排斥）？

（1）AI是否會通過以一種無意識的方式干擾終端用戶決策的自主權？

（2）您是否考慮過AI系統應該與終端用戶溝通某些行動或某項決策的內容，并通過AI算法給出建議？

（3）使用聊天機器人或其他智能會話系統的終端用戶是否會意識到，他們正在與非人類的代替工具互動？

人類的代理：

1：AI系統是否被使用于人類工作或者勞作中。如果是，那么您是否考慮過AI系統與人類之間的任務分配是在有意義互動并且在人類的監督和控制下進行的？

（1）AI系統被使用于人類工作或者勞作時，AI系統本身工作能力是否得到增強？人類的能力是否得到增強？

（2）您是否采取了保護措施來防止人類同AI系統協作時對工作流程過度自信或過度依賴AI系統？

人為疏忽：

1：你是否考慮過針對特定的AI系統或領域，建立適當的人為控制機制且控制級別可調控？

（1）您可否描述目前您參與的AI系統開發、部署、使用中，人類對AI系統的控制是何種程度？

（2）您認為，人類干預AI系統的時刻是什么？采用的方式是什么？

（3）您是否已經制定了確保人為控制或監督AI系統的機制和措施？

（4）您是否擁有任何措施用以啟動審計解決和管理有自主性的AI系統？

2：您目前是否已經使用存在自主性或可自學的AI系統？如果是，您的具體控制、監督機制分別是什么？

（1）哪些檢測和反應機制可以用來評估出現問題的AI系統？

（2）在確保AI系統以安全狀態運行的同時，您是否在操作中使用過“停止按鈕”或啟動“停止程序”？“停止”這一步驟是完全終止了運行過程，還是將部分的控制委托給人類？

技術強大性和安全性

抵御攻擊和安全的能力：

1：您是否評估過AI系統容易受到攻擊的潛在形式有哪些？

（1）您是否考慮過不同類型或性質的漏洞，例如數據污染對AI系統網絡攻擊的影響？

2：您是否建立了一些系統或制定一些措施可確保AI系統抵御潛在的攻擊？

3：您是否了解AI系統在意外情況中會出現哪些行為方式？

4：您是否考慮過您的AI系統在多大程度上可以兼用？

后備計劃和普遍安全性：

1：AI系統如果遭遇對抗性攻擊或其他意外情況（例如：切換程序或運行過程中對操作人員忽然提出要求），您是否確保系統繼續運行有充足的后備計劃？

2：您是否考慮過AI系統在特定領域或使用中引發風險？

（1）您是否制定了相關程序來衡量和評估風險性與安全性？

（2）如果AI系統存在人身安全風險，您是否向終端用戶提供相關的信息？

（3）您是否考慮過使用保險政策處理AI系統可能造成的損害？

（4）您是否發現了其他可預見的技術用于排除AI系統潛在的安全風險？是否有計劃來減輕或管理AI系統潛在的安全風險？

3：您是否評估過AI系統對用戶或第三方造成損害或傷害的可能性？您是否評估了傷害潛在的影響和嚴重程度？

（1）您是否考慮過明確AI系統的責任和其對消費者的保護規則？

（2）您是否考慮過AI系統對環境或動物的潛在影響以及安全風險？

（3）您對AI系統的風險分析是否包括網絡安全相關性的問題，也就是說，分析由于人工智能系統的無意行為可能帶來的安全風險或損害？

4：您是否估計過，當AI系統提供了錯誤、不可用或存在歧視性、偏見性的決策時，可能會對您造成影響？

（1）您是否定義對一些結果或行為準則提出了區間值？是否已將治理程序置于警戒狀態？或開啟后備狀態？

（2）您是否定義并測試了一些后備的計劃？

準確性：

1：您是否評估AI系統精確度、所需的準確度級別以及使用的案例？

（1）您是否對衡量和保證AI系統準確度這一機制進行過評估？

（2）您是否采取措施確保衡量AI系統準確度的數據是全面的且最新的？

（3）您是否制定了相應的措施，例如用額外的數據、案例提高評估的準確性？

2：如果AI系統做出不準確的預測，您是否驗證了會造成什么危害？

3：您是否采用了各種方法來衡量AI系統能夠不接受不準確預測？

4：您是否采取了一系列措施來提高AI系統的準確性？

可靠性和可重復性：

1：您是否制定了監控和測試AI系統的程序來了解其能否符合目標和預期應用？

（1）您是否測試過AI系統需要考慮特定的環境或特定條件實現它的可重復性能力？

（2）您是否采用驗證方法來衡量和確保AI系統在不同方面的可靠性和可重復性？

（3）您是否制定了某種程序用來描述AI系統在某些情況下無法設置？

（4）您是否清楚地記錄并操作這些程序對AI系統的可靠性進行測試和驗證？

（5）您是否建立了通信機制，以確保終端用戶可靠地使用系統？

隱私和數據治理

尊重隱私和數據保護：

1：根據AI系統使用情況，您是否建立了一種機制，允許其他人在AI系統的數據收集和數據處理過程中標記與隱私或數據保護相關的問題？

2：您是否評估了數據集當中數據的類型和范圍（例如：它們是否包含個人數據）？

3：您是否考慮過開發在沒有或極少使用潛在敏感或個人數據的情況下AI系統的訓練模式？

4：實踐中，依據個人數據建立通知和控制機制，如同意或撤銷數據的可能性？

5：您是否采取措施保障AI系統的隱私，例如通過加密或匿名等方式？

6：如果存在數據保護官(DPO)，您是否讓其參與程序建立的早期階段？

數據的質量和完整性：

1：您是否將AI系統與相關標準，如ISO、IEEE等保持一致性的管理？

2：您是否建立了數據收集、存儲、處理和使用的監督機制？

3：您是否評估過您所控制、使用的外部數據源質量如何？

4：您是否采用程序確保您所使用數據的質量和完整性？您是否進行過驗證，您的數據集是否遭受過入侵？

訪問數據：

1：您遵循哪些協議、流程和程序進行數據治理？

（1）對于誰可以訪問用戶的數據，您是否對此進行了評估？

（2）您是否能夠確認那些可以訪問用戶數據的人員具備了解數據保護政策的必要能力？

（3）您是否確保采用監督機制來記錄何時、何地、如何、由誰以及為何訪問目標數據？

透明度

可追溯性：

1：針對AI系統透明度，您是否制定了可追溯性措施？這可能需要用到以下方法：

——用于設計和開發算法系統的方法：

基于規則的AI系統所使用的編程方法或模型的構建方式;

基于學習的AI系統所使用的訓練算法。

——用于測試和驗證算法系統的方法：

基于規則的AI系統用于測試和驗證的場景或案例;

基于學習的模型AI系統用于測試和驗證數據的信息。

基于算法的結果產生的其他潛在決策。

解釋能力：

1：您是否評估過：

（1）可以在多大程度上理解AI系統所做出的決策和結果？

（2）AI系統決策在多大程度上影響人類組織的決策過程？

（3）為什么在特定區域部署某特定AI系統？

（4）系統的業務模式（例如：它如何為項目組創造價值）？

2：您是否可以解釋，AI系統是如何做到讓用戶理解AI系統的決策？

3：您從一開始就考慮過設計人工智能系統的可解釋性嗎？

（1）您是否研究并嘗試使用最簡單的模型解釋有問題的申請？

（2）您是否可以分析您的訓練模式和測試數據？隨著時間的推移這些內容都是可以更新的嗎？

（3）您是否評估過在模型訓練后能否檢查其可解釋性？

交流：

1：您是否通過免責聲明或任何其他方式與終端用戶溝通，告知他們正在與AI系統進行交互，而不是與其他人進行交互？您是否將AI系統進行標記？

2：您是否建立了通知終端用戶的機制？告訴其AI系統做出決策的原因以及標準。

（1）您是否清晰地向目標受眾傳達了這一信息？

（2）您是否建立了用戶反饋的流程并使用它來調整系統？

（3）您是否就潛在風險（例如偏見性）與用戶進行溝通？

（4）通過實踐，您是否考慮與終端用戶以外的第三方進行溝通？

3：您是否闡明從AI系統中受益的人群以及AI的用途、產品、服務？

（1）您是否明確了AI產品的使用方案，并清楚地把方案傳達給目標受眾？

（2）根據實踐，您是否考慮過人類心理和潛在的局限性，如混淆、偏見或認知疲勞等風險？

4：您是否清楚地傳達了AI系統的特性、限制和潛在的缺點？

（1）如果系統正在開發：誰將其部署到產品或服務中？

（2）如果系統正在部署：是對終端用戶還是消費者？

多樣性非歧視性公平性

避免不公平的偏見：

1：您是否制定了一系列策略或程序避免AI系統產生不公平的偏見，包括輸入數據的使用以及算法設計？

（1）您是否評估并承認所使用數據集可能會帶來某些方面的限制？

（2）您是否考慮過數據中用戶的多樣性和代表性？您是否測試了特定人群或有問題的案例？

（3）您是否研究并使用可用的技術工具來提高您對數據、模型和性能的理解？

（4）您是否在系統的開發、部署和使用階段安裝了測試和監控潛在偏差的程序？

2：根據使用情況，您是否建立了一種機制，允許其他人標記與AI系統的偏差、歧視或性能不相關？

（1）您是否建立了明確的步驟和方式來溝通如何以及向誰提出上述問題？

（2）除了終端用戶之外，您是否考慮過可能間接受AI系統影響的其他人？

（3）您是否評估了在相同條件下是否存在決策變異性可能？

3：您是否評估了在相同條件下是否存在可能的決策變異性？

（1）如果是，您是否考慮過可能存在的原因？

（2）如果存在差異，你是否建立了衡量機制，評估這種可變性對基本權利的影響？

4：您是否明確在設計AI系統時適用的“公平性”定義？

（1）是否經常使用該定義？為什么選擇此定義而不是其他？有什么考慮的因素？

（2）您是否確保進行定量分析或測試應用定義中的“公平性”？

（3）您是否建立了確保AI系統公平性的機制？你有沒有考慮其他的潛在的機制？

可訪問性和通用設計：

1：您是否確保人工智能系統適應各種偏好？

（1）您是否評估過具有特殊需求的用戶或殘疾人對AI系統的需求？這些偏好如何設計到系統中，又是如何驗證的？

（2）您是否確保輔助技術用戶也可以訪問有關AI系統的信息？

（3）在AI系統的開發階段，您是否參與了？

2：您是否考慮過AI系統對潛在用戶受眾的影響？

（1）您是否評估過參與構建AI系統的團隊可以代表您的目標用戶？它是否可以代表更廣泛的人群？您是否也考慮到其他可能會受到影響的群體？

（2）您是否評估過可能會有不成比例的人或群體因為AI系統受到負面影響？

（3）您是否從其他研發、使用AI系統的團隊獲得反饋經驗？

利益相關者參與：

1：您是否考慮過將不同參與者納入AI系統開發和使用的機制？

2：您是否事先通知并讓因AI系統受影響的人群及其代表參與AI系統的開發、使用等？

社會和環境福祉

可持續且環保的AI：

1：您是否建立了能夠衡量人工智能系統開發、部署和對環境影響的機制？

2：您是否采取措施減少AI系統全生命周期對環境的影響？

社會影響：

1：如果AI系統直接與人類交互

（1）您是否評估了AI系統有無鼓勵人類發展為依賴AI系統或鼓勵人類對AI系統產生同理心？

（2）您是否能確保AI系統可明確表示其社交互動是模擬的，并且沒有“理解”和“感覺”類的主觀能力？

2：您是否確保AI系統對社會影響可得到充分理解？例如，您是否評估了AI系統對失業或退役人群所來帶的風險？您又采取了哪些措施來抵消這些風險？

社會與民主：

1：您是否評估了AI系統在終端用戶之外被使用所產生的更廣泛的影響？例如，可能間接影響其他利益相關者？

問責制

可審核：

1：您是否建立了AI系統可審計性的機制，例如確保可追溯性和記錄AI系統的流程和結果？

2：在影響基本權利的應用程序中，您是否確保AI系統可以獨立審計？

最小化和報告負面影響：

1：您是否對AI系統進行了風險或影響評估，是否考慮過直接受影響的不同利益者都是誰？

2：您是否提供培訓或建立學習機制幫助制定問責制的實踐？

（1）您團隊中涉及問責制的工作人員來自哪些部門或分支機構？

（2）這些關于問責制的培訓或學習是否也適用于AI系統的潛在法律框架？

（3）您是否考慮建立“AI系統道德審查委員會”或類似的機制，討論AI系統整體問責制和道德規范，包括可能不明確的灰色地帶？

3：除了內部機制，您是否有任何形式的外部指導或現場審核程序來監督AI系統的道德和責任？

4：您是否為第三方，例如：供應商、消費者、分銷商等建立程序以報告他們AI系統中的潛在漏洞、風險或其他情況？

記錄權衡：

1：您是否建立一種機制，它可識別AI系統所涉及的相關利益，以及可以取舍、權衡這些利益。

2：您建立的機制如何決定這種權衡？權衡決策的過程是否能被保存、記錄？

糾正能力：

1：您是否建立了相應機制在應對發生不利影響的情況下可進行補救？

2：您是否建立了機制，可向終端用戶或第三方提供有關補救機會的信息？

（編譯/昝妍）

本報擁有此文版權，若需轉載或復制，請注明來源于中國政府采購報，標注作者，并保持文章的完整性。否則，將追究法律責任。