可信人工智慧
出自 MBA智库百科(https://wiki.mbalib.com/)
可信人工智慧（Trustworthy AI）
目錄 |
可信人工智慧（Trustworthy AI）一般指公平的、透明的、可解釋的、穩健的、保障安全的、尊重人權和隱私、可問責的人工智慧系統[1]。
可信人工智慧的原則[2]
2019年5月由 OECD（經合組織）提出的五項基本原則，也就是同年6月於日本茨城築波召開的 G20（二十國集團）貿易和數字經濟部長級會議聲明的《G20人工智慧原則》。
利益攸關方應積极參与可信人工智慧的負責任管理，追求對人類和地球有益的結果，例如增強人類能力和創造力，促進對弱勢群體的包容，減少經濟、社會、性別等方面的不平等，及保護自然環境。
- 以人為本的價值觀和公平（Human-centered Values and Fairness）
a) 參與者在整個 AI 系統生命周期，應尊重法治、人權和民主價值觀。包括自由、尊嚴和自主、隱私和數據保護、不歧視和平等、多樣性、公平、社會正義和國際公認的勞工權利。
b) 為此，AI 參與者應實施客觀實際的、並符合最新技術水平的保障機制，例如允許進行人為干預。
- 透明度和可解釋性（Transparency and Explainability）
參與者應承諾對 AI 系統進行透明的和負責任的披露，提供有意義的、客觀的、並與最新技術一致的信息：
1). 促進對 AI 系統的一般理解；
2). 使讓利益相關者瞭解他們與人工智慧系統（包括在工作場所）的交互；
3). 使受 AI 系統影響的人，能瞭解相關結果；以及
4). 使那些受到 AI 系統不利影響的人，能根據簡單易懂的因素信息以及用於預測、推薦或決策的邏輯，對結果提出質疑。
- 穩健性、保障和安全性（Robustness, Security and Safety）
a) AI 系統在整個生命周期內應保持穩健、有保障和安全，從而在正常使用、可能誤用、或其它不利條件下，能正常運行且不造成不合理的安全性風險。
b) 為此，參與者應確保 AI 系統生命周期中跟數據集、流程和決策相關的可追溯性，以便對 AI 系統的結果和調查響應進行客觀分析。
c) 參與者應根據其角色、環境和行動能力，對 AI 系統生命周期中的每個階段、持續應用系統性風險管理方法，以解決與 AI 系統相關的風險，包括隱私、數字安全、安全和偏見。
- 問責制（Accountability）
參與者應對 AI 系統的正常運行負責，並根據其角色、背景和符合最新技術的要求尊重上述原則。
上述五項原則里提到的 AI 參與者（actors），定義為在 AI 系統生命周期內至少參與一個階段的自然人和法人，例如研究人員、程式員、工程師、數據科學家、終端用戶、工商企業、大學和公私實體等。
可信人工智慧的發展意義[1]
人工智慧作為新一輪科技革命和產業變革的重要驅動力量，廣泛應用於醫療、金融、交通等領域，帶來了巨大的經濟效益與社會效益。據 IDC 相關數據，2021 年全球人工智慧產業規模為 3619 億美元，並預計在 2022 年同比增長 19.6%，超過到 4300 億美元。然而隨著人工智慧應用的深入，其自身的技術缺陷以及帶來的決策偏見、使用安全等問題引發了信任危機，可信成為關註焦點。技術上，演算法脆弱易受攻擊帶來的危險性；黑箱模型導致演算法不透明，使得人們無法直觀理解決策背後的原因。應用上，訓練數據中存在的偏見歧視導致公平性缺失；以人臉識別技術為代表的生物識別信息的頻繁使用增加了隱私泄露的可能。倫理上，人工智慧系統決策複雜，難以界定責任主體，帶來倫理安全問題。構建可信人工智慧成為緩解和消除這些擔憂的必然選擇。
學術界率先推開了可信人工智慧的大門，在可信人工智慧概念提出後，逐步推廣可信共識。2020 年起，可信人工智慧領域研究論文數量飛速增長，圍繞魯棒性、可解釋性、隱私保護等方面的技術研究持續升溫。隨著產業界開始落地實踐，針對人工智慧產業化過程中的可信探索與實踐不斷成熟，融合可信要素的人工智慧產業生態開始興起。
可信已經成為人工智慧產業發展必備要素，驅動人工智慧規範發展。人工智慧只有可信可靠，才能獲得可持續性發展。對用戶而言，可信要素將推動人工智慧技術黑箱趨於透明，增強用戶對人工智慧的信任感。對開發者而言，可解釋的人工智慧有助於全生命周期的企業管理，有助於履行內部報告和外部監管合規義務，確保應用和服務在最大程度上減少偏見。 可信作為傳統領域數字化轉型賦能因數，培育數字經濟新興增長點。隨著人工智慧產業對可信的探索與實踐不斷成熟，其代表的透明度高、可解釋性強、確定性高的特性將與國防、法律、醫療等領域深度結合，緩解當前應用人工智慧時所遇到的隱私保護、系統穩定等問題，以可信賦能數字化轉型，甚至衍生出新的細分領域賽道，促進傳統產業生態健康高質量發展，成為數字經濟新的可持續增長點。
可信人工智慧生態分析[1]
（一）基礎能力
1.平臺系統
人工智慧平臺和系統通過搭建雲邊端協同模式，保證模型在不同的現實環境中都能部署和運營，幫助企業和開發者將精力聚焦在演算法開發、模型驗證和業務運營中，有效提升研發實施效率。近年來，隨著機器學習和深度學習演算法的深入實踐，以及預訓練模型、低代碼/無代碼介面、自助服務和生命周期自動化工具的快速發展，與人工智慧平臺發展相互促進，更具有可信屬性的人工智慧平臺系統迅速發展。
目前，人工智慧平臺系統與可信理念的融合在數據處理、模型構建、部署和支撐服務等方面還面臨不少挑戰。數據處理方面，數據接入、數據分析、數據管理和數據標註已經普遍實現，團隊標註成為標配，數據預處理的自動化實現和無監督數據增強還需要持續探索。模型構建方面，雖然現有人工智慧平臺和系統普遍配置了豐富框架和演算法，支持互動式、可視化、自動化多種開發模式和單機/分散式多種訓練方式，但是模型評估建議能力和可解釋性還需要增強，特別是面向文本、語音和視頻場景的自動學習建模模版能力。此外，還需要提升基於規則的模型自動更新和模型在端雲設備的協同部署能力，加強GPU虛擬化和池化，優化數據和模型的安全性。
人工智慧企業主要圍繞業務生命周期，重點構建系列可信能力。一是將內置模型保護於框架中，實現模型的安全、可信，通過魯棒性評測、對抗測評、對抗訓練、模型加密等方法增強模型保護能力，為人工智慧模型安全性評估和增強提供支持。以對抗訓練為例，通過在輸入上進行梯度上升，在參數上進行梯度下降，從而向增大損失的方向增加擾動。二是搭建混合引擎架構，實現跨場景可信協同，集成運用隱私評估、差分訓練、聯邦學習等多種技術方法，通過數據安全交換協議有效利用多源數據，僅協同經過處理後的、不帶有隱私信息的梯度和模型信息，在保證用戶隱私數據保護的前提下實現跨場景協同。一些場景和平臺中，也選擇加入區塊鏈技術實現全流程的可記錄、可驗證、可追溯、可審計，以證書授權實現雙向認證，確保參與方身份真實性。三是整合運用多種可解釋技術，全面提升可解釋性，融合語義級可解釋技術、可解釋方法工具集等技術，建立適當可視化機制嘗試評估和解釋模型的中間狀態，整合數據治理、資源管理和應用管理核心能力，大幅提高模型的可解釋性，讓用戶更理解、信任並有效地使用模型。早在 2016 年起，谷歌、IBM、微軟、騰訊等科技巨頭就相繼推出可解釋性工具與服務，探索人工智慧演算法可解釋化。四是持續加強虛擬化和池化，提升運營維護和運營調度的可信能力，將伺服器等物理資源抽象成邏輯資源，通過區分優先次序並及時調度分配工作負載，讓 CPU、記憶體、磁碟等硬體變成可以動態管理的“資源池”，並實現計算資源的隔離。
2.數據安全
數據是人工智慧三大要素之一。人類把需要電腦識別和分辨的內容打上標簽，讓電腦不斷地識別這些特征標簽，從而讓電腦“學會”人類的理解和判斷。只有經過大量的訓練，人工智慧演算法才能總結出規律並順利應用到新的樣本上，因此，大量、多種類、標註精準的數據對人工智慧訓練效果極為重要。
可信人工智慧在數據安全治理方面的應用主要集中在基於傳統的人工方式難以處理的規模龐大、類型複雜的數據資產管理與分類分級，涉及安全、隱私計算、存證溯源、數據控制、計算處理等多種技術。在《網路安全法》《數據安全法》《個人信息保護法》等一系列法律法規和政策文件出台後，金融、電信、工業等行業均已出台行業標準，形成以法律法規和行業標準為引導加快推進可信進展的局面。企業主要以訓練樣本合成、可信多位標簽、存儲治理追蹤、智能巡檢與兜底等方式，通過建設自動化的數據分類分級能力，確保分散在組織各處各層面的各類數據能夠被及時發現和準確標註，實現智能化的自動分類分級和安全保護。
可信貫穿數據採集、標註、存儲和巡檢全過程。在數據採集環節，以訓練樣本合成替代敏感數據採集。由於部分數據涉及到身份證號碼、住址等個人隱私信息，敏感程度很高，收集難度極大，因此在數據收集階段，業內主要使用公開樣本數據和自主合成樣本的方法，一方面收集和使用相關公開賽事的數據樣本，另一方面開發隱私數據訓練樣本自動合成演算法來模擬真實樣本數據。
為解決數據量不足的困難，大多選擇使用旋轉、加噪等數據增強方法來擴充訓練樣本。通過構建可信的多維標簽體系，進行靈活的數據分類分級，融合目標檢測、光學字元識別、圖像分類、人臉識別、文本校驗、風格識別等演算法模型，結合多方信息聯合判定校驗，輸出多維度標簽，進一步提升隱私數據識別和治理的準確性，剋服單一模型難以應對複雜的分級場景和不同治理需求、解釋性較弱的問題。嚴格執行分級加密存儲和明暗水印追蹤，對於分類分級識別後的高敏感數據，通常需要經過加密後進行存儲，基於區塊鏈、數據沙箱等技術，實現長久穩固儲存、全方位安全防護、安全共用；在文件分發流轉過程中，添加對應的明暗水印以便數據泄露後展開追蹤調查。強化智能巡檢與兜底，推動可信能力的持續建設與優化，依賴安全運營專家人工驗證需要耗費大量的人力，面對新增業務數據也很難及時發現異常，極易漏審、誤審；通過智能巡檢和兜底機制，將安全專家經驗與機器學習能力相結合，並結合黑盒驗證、紅藍演練等推動可信能力的持續建設與優化。
3.計算能力
人工智慧發展的關鍵要素是數據，而讓數據發揮作用的關鍵則是算力。目前，各行各業都存在更多維度、更大深度的智能需求，而在這背後需要更多的算力來為人工智慧演算法提供處理能力。算力已經成為助推經濟發展的動力，據中國信通院測算，在算力中每投入1元，可帶動3-4元經濟產出，“算力正成為數字經濟時代的重要驅動力”已成為共識。
在這種情況下，以人工智慧晶元為代表的計算架構也承擔了越來越多的敏感數據計算職能，對可信有極大的需求。例如，智能駕駛場景下，從感知系統進行數據收集，到車載計算平臺實時處理，再到快速傳輸分析結果，每一個環節都離不開人工智慧晶元的支持；由於智能駕駛場景較為複雜，一旦失效可能引發嚴重後果，對穩定性有很高要求。基於此，建立可信智能計算能力成為人工智慧算力發展的一大趨勢， 歐盟委員會人工智慧高級專家組（ AI HLEG）於2019年和2021年發佈的《可信人工智慧政策投資建議》和《人工智慧聯合計劃》就建議共同研發邊緣端AI晶元，從基礎軟硬體方面支撐可信AI系統。
目前，全球首個記憶體安全的可信安全計算服務框架MesaTEE 利用Intel SGX 技術和 HMS 記憶體安全技術，兼顧雲上數據代碼完整性、保密性和記憶體安全帶來的不可繞過性；全場景 AI 框架昇思 MindSpore 成為首個獲得 CC EAL2+證書的人工智慧框架。通用的和可解釋的智能晶元設計流程將成為下一個發展重點。許多晶元設計為了適應不斷變化的模型結構，需要在設計的通用性和效率之間尋求平衡，帶來較大設計難度。未來，可信的智能晶元設計可能使用神經符號化方法構建可組合的模型，將晶元轉變為由對應演算法、具有可解釋硬體模塊的集合，從而在保證通用性和可解釋性的前提下實現所需的性能。
（二）演算法技術
1.電腦視覺
電腦視覺技術囊括很多能夠理解圖像（包括圖片和視頻）的演算法，得益於深度學習技術的不斷進步，電腦視覺在近些年飛速發展，在感知領域的研究已經相對成熟，內容合成與圖像識別等某些人工智慧任務已經能夠通過圖靈測試，併在金融、安防、製造等場景中落地，擁有一批相對成熟的產品應用。
在為生產生活帶來便利的同時，電腦視覺演算法的應用也在隱私泄露、識別失效、偏見歧視等方面引發新關註。例如，在商業零售領域對用戶在不知情的情況下進行人臉識別和營銷活動等產生了個人信息和隱私保護問題，造成了惡劣的社會影響。面具仿冒、對抗樣本攻擊可能造成識別失效，此外，也可能涉及到針對不同人種、老年人的偏見歧視等倫理問題，美國一些零售店和警務工作中使用的面部識別技術會錯誤識別黑人，引發了抗議和監管。
為了增強電腦視覺演算法的可信能力，產業界進行了多種嘗試，不斷提升電腦視覺演算法可信水平，為重要產品提供核心能力支撐。一是通過聯合解譯和認知推理深入理解場景或事件，增強可解釋性，人造物體和場景設計中暗含了潛在的、未以像素表示的實體和關係（近似於人類的常識），通過推理這些可見像素以外的不可見因素，使用有限的數據來實現各種任務的泛化，形成 “以小數據驅動大任務”的新型範式。二是採用數學可證明的形式，融合不同形態的雜訊進行改造，以掩碼等方法使其滿足不可逆、可撤銷、不可關聯等特性，提升模型魯棒性，避免樣本不均衡，實現安全、可信且準確率高的識別。三是對於已有的生物識別系統，可以應用安全多方計算和同態加密等技術手段，在生物特征的密文狀態下進行計算，並將最終結果恢覆成明文，有效保護原始生物特征的安全。在實際應用中，同態加密與安全多方計算經常結合使用，在金融領域反洗錢和跨實體欺詐分析、抗擊新冠疫情敏感健康數據等場景下得到應用。四是形成行業合力，推進與不同風險場景、主體結合的分級分類標準建設，例如，上海在全國率先立項人臉識別地方標準《公共場所人臉識別分級分類應用規範》，積極探索使用主體和實施主體對公共場所人臉識別系統的分級分類應用原則，並提出相應的評估方法；中國信通院發起成立“可信人臉應用守護計劃”，聯合多方力量，通過標準制定、測試評估和行業自律等手段，共同規範人臉應用健康發展。
2.智能語音
智能語音技術是人工智慧主要演算法技術之一，從最初只能識別孤立的數字以及有限的辭彙，逐步發展到通過聲音模式和特征設置參數實現基於大量辭彙的連續語音識別，再到基於概率統計建模、基於深度學習的識別。目前，智能語音演算法已經逐步成熟，在移動設備、汽車、家居等C端場景以及呼叫中心、線上客服等B端場景深入賦能，並逐漸滲透到安防、旅游、法律等行業中。
語音識別穩定性、語音詐欺等問題成為焦點。語音識別的魯棒性問題顯著，業內普遍宣稱的高準確率，更多是在安靜室內近場識別中實現的，在真實使用場景中則要考慮遠場、方言、噪音、斷句等問題，準確率會大打折扣。語言往往一詞多義，語音分析目前主要是淺層處理，詞義消歧依然是瓶頸，想要讓機器像人一樣運用知識儲備結合上下文進行理解和交互，還需要更多的探索。此外，隨著各種語音合成工具的普及，語音合成濫用等語音欺詐問題也隨之而來，成為產業發展關註的焦點問題。 為解決以上問題，企業先後開展探索，積累了一批成功經驗。
一是向用戶充分告知相關風險，通過簽署協議等方式對數據的採集和使用進行限制，允許用戶對何時和如何上傳使用語音信息做出選擇，例如設置手動關閉語音採集裝置的開關、允許不自動升級、只有在用戶允許的情況下進行語音的採集和識別。
二是在數據存儲、處理和刪除等方面遵循各類法律法規的規定，推進技術向善，嚴格按照個人信息保護法、數據安全法、網路安全法、個人信息安全規範等國內規章制度以及歐盟 GDPR、美國 CCPA 等條例的規定開展業務。例如，《網路音視頻信息服務管理規定》對基於新技術新應用製作、發佈、傳播音視頻信息明確了安全評估、標識、信息管理、闢謠等方面的要求，避免利用智能語音技術侵害他人合法權益。
三是嘗試基於大規模無標註訓練，語音領域的無監督學習成功案例較少，有監督訓練成本較高，因此，半監督學習獲得廣泛關註，即在海量無標簽數據上訓練大規模通用預訓練模型，並對少量有標簽數據進行精細調整，從而更好地強化訓練效果，提升可信能力。這種利用少量帶標註數據來訓練大量無標註數據的超大規模自監督學習技術已展現出很強的通用學習能力。
四是語音對抗攻擊與防禦技術獲得更多關註，語音領域的對抗攻擊將從當前的白盒攻擊，進⼀步進化成黑盒攻擊，攻擊內容將從當前流行的 untarget 攻擊進化成 target 攻擊。基於這些嘗試，智能語音正在從以往基於語音交互的智能輔助工具形態進化為基於虛擬人多模態交互的智能助手形態。
3.自然語言處理
自然語言處理是人工智慧從感知邁向認知的關鍵技術，近年來，自然語言處理加快與知識圖譜等的融合，推動機器翻譯、對話系統、閱讀理解等技術在特定任務上超越人類水平，從而持續提升在搜索引擎、對話交互、個性推薦等場景的性能，並隨著全球各地協同發展和語言文化交流融合而不斷培育出新的需求。
自然語言處理在發展過程中還存在不少技術挑戰，其中之一便是很難獲取到大量高質量的標註數據。自然語言處理領域認知類任務較多，數據標註的時間成本和人力成本相較與語音識別、圖像處理等感知類任務更大。從可信人工智慧的視角來看，自然語言處理髮展仍存在建模、融合、消除歧視等挑戰。一是自然語言語義空間寬泛，依賴特定語料學習，通用性和遷移性存在瓶頸，難以有效建模；二是自然語言涉及多種模態，跨模態關係抽取、語義理解等技術還缺乏深層結構分析，難以精準融合；三是大型預訓練模型可能導致對性別、種族和年齡等受保護屬性的偏見，例如一項研究表明，通過某特定報紙和一家面向老年人的報紙訓練的自然語言處理結果脫離了年輕人和女性的交流方式。
目前，自然語言處理領域中已經開展了不少可信相關工作。可解釋性方面，採用特征重要性、替代模型、樣例驅動、溯源、陳述歸納等機制提供解釋。例如，構建基於 probing task 測試模型的語義理解能力，尋找簡單的替代模型或者將模型的局部分類面簡化；理論分析 RNN 的泛化性；運用一階導數顯著性衡量每個輸入單元對最終決策的貢獻量；註意力機制模擬人類理解語言時會集中註意到一些關鍵詞的行為，在一系列任務上顯著提升模型性能。此外，還可以模仿人類解決問題的過程進行可解釋的結構設計，由於該架構包含模擬人類認知的組件，學習到的模型（部分）可解釋。公平性方面，擴大和豐富樣本數據來源，並對樣本進行偏移，識別和減輕偏見，擴大自然語言樣本來源範圍和種類，除了常見的社交媒體、報紙等數據來源，將樣本來源進一步擴大到維基百科、城市字典(Urban Dictionary)，甚至聖經和蘭經的解釋及公開雜誌。
在預訓練模型使用的各個階段儘可能消除偏見，一些演算法可以在保持有用信息的同時，修改實際矢量以刪除定型信息，實現對模型的偏移，從而改善公平性。可靠性方面，小樣本學習性能和魯棒性提升，同時出現了很多能夠可靠評估模型的方法，性能指標逐漸由單一轉向多元。通過數據增廣、增加先驗知識等實現小樣本學習性能和魯棒性的提升，有效避免故障模式的發生。以欺詐簡訊分類識別場景為例，通過對公開的簡訊數據進行改造，對樣本量少的類別進行過採樣操作，以及綜合使用 Macro-F1 等多分類的評價函數、 FastText 演算法等技術，能夠有效提升模型的穩定性。隨著近年來自然語言處理模型的快速改進，基準度量能力也在不斷提升，動態對抗性評估、社區驅動型評估、跨多種錯誤類型的互動式細粒度評估、超越單一性能指標評估模型的多維評估等新基準逐漸出現。
可信人工智慧的應用場景[1]
- 智慧金融
人工智慧驅動金融服務應用程式已經成為金融創新的一大趨勢，在金融產品設計、市場營銷、風險管理、客戶服務和其它支持性活動等金融行業主要業務鏈條均有落地，生物特征識別、知識圖譜、智能語音等技術已經衍生出智能營銷、智能客服等典型場景。
可信人工智慧在金融領域的實踐主要集中於業務運營、風險管控、銷售營銷等環節。在業務運營環節，匿蹤私密查詢等技術能夠保護用戶隱私，防止用戶信息被誤用濫用。金融機構在聯合運營商、政務機構、保險機構、支付機構等獲取相關客戶信息解決日常業務的過程中，使用匿蹤私密查詢技術對查詢方的客戶身份ID進行混淆加密，使數據源方無法確切知道客戶信息，有效避免客戶身份 ID信息泄漏。通過不可更改的固件安全啟動、硬體加密演算法保證的加密信任鏈以及離線簽名的加解密演算法，保證系統運行環境的無人為篡改和可信安全性。
在風險管控環節，通過聯合計算與統計解決風險信息不對稱問題，豐富目標主體風險評價信息維度，提升金融服務的普惠性和公平性。通過安全求交等技術，橫縱向打通不同領域數據，從而實現金融機構風控信息的全面補充，形成跨行業線上線下真實經營數據信息的評估鏈條，交換機器學習參數，提升對目標主體信貸風險洞察能力，實現本行優質高潛客戶挖掘，有效緩解中小銀行客戶相對資質稍差的問題。支付服務環節，以註入式攻擊防禦方案增強支付系統安全穩定性。
針對刷臉支付等新型支付潮流和潛在的註入式攻擊威脅，金融機構主要採用整套防控方案，既包含硬體環境檢測+感測器參數+圖像視覺特征融合的多模態防控方案+TEE+暗水印，又融合隱式多幀、微表情等演算法創新，可以防禦99.9%的註入式攻擊。
人工智慧作為一種“通用”技術，幾乎滲透醫療系統所有領域，從臨床決策到生物醫學研究和衛生系統管理等，將臨床醫生從非臨床事務中解放出來，在影像診斷、藥物發現、腫瘤診治等行醫過程中甚至具有更高的效率。
可信人工智慧在醫療領域的運用主要體現在醫療輔助診斷、藥物發現與罕見病治療方面。醫療輔助診斷方面，可信人工智慧能夠實現高質量醫療服務的標準化，緩解地區醫療水平發展不平衡的問題。通過數字化、標準化的專家經驗和知識圖譜，可將高質量醫療服務複製並輸出，增加醫療資源的總體供給，快速提升基層醫院的醫療水平，使得患者無論是在發達地區或是偏遠地區，均可就近就醫，享受到基本同質的醫療服務，促進醫療衛生資源均衡化發展。
藥物研發和罕見病研究方面，以聯邦學習協同各機構合作，提高精度和成功率，保護病人隱私。單個機構罕見病數據量偏少且高度有偏，共用存在高壁壘、高成本、高機密性等困難，聯邦學習框架下，機構之間僅通過共用模型權重即可協同訓練，彼此增強模型效果，還可通過蒸餾學習解決參與聚合的模型參數量過大的問題，維護系統穩定性。 此外，將隨機對照試驗作為檢驗醫療人工智慧創新的金標準，保證泛化性和可靠性。隨機對照試驗（RCT）通常被認為是醫學臨床試驗的黃金標準，2021 年 Nature Review Cancer 的一篇研究顯示，3578 項與深度學習相關的癌症診斷技術研究中，符合三期臨床 RCT 標準的僅有 3 項。目前，結腸鏡電腦輔助診斷、冠脈 CTA 等領域已經開展了符合醫學標準的科學驗證，從而保證醫療人工智慧的準確度和可靠性。
智慧教育在發展過程中已催生出大量應用和新業態，覆蓋教育各個環節，依托知識圖譜、情感計算、自然語言處理等技術，通過電腦輔助教學、學習管理系統、自適應學習等方式，全面促進教育機會多樣性，內容豐富性，方式靈活性與途徑便捷性。
可信人工智慧在教育領域的實踐主要體現在確保公平性、增強系統穩健性、完善數據安全保障三方面。可信智慧教育的公平性體現在系統設計的多樣性與無偏性。
一方面，保證設計和訓練人工智慧系統團隊多樣性，如在專業領域、教育背景方面，並定期更新教學數據避免系統固化；
另一方面，對系統設計建立監督程式，明確分析系統的目的、操作範圍、限制和要求等，評估可能出現不公平偏見的情況，並保證人工智慧教育系統態度、診斷和教學行為的一致性。可信智慧教育能夠確保系統的穩健型，對抗惡意攻擊與數據過載等問題，全程保障教學質量。
一方面，建立穩健教學服務引擎，對教學服務實時監控，並設立預警通知機制，保障監測到警告信息後及時處理，以維持底層服務的穩定性；
另一方面，通過對各個關鍵業務點的智能模擬訪問，保障教育系統實時可用，並依據運行狀態數據分析，動態調整雲端環境的配置和數量，提升業務高峰期的運行穩定性。可信智慧教育將教育大數據的信息儲存和共用變得安全、可信。
一方面，強化防泄漏、防竊取的全場景監測、預警和應急處置等能力建設，並建立起數據流動的異常行為畫像機制，對可能存在的風險部署人工智慧檢測模型，將數據的時效性和檢測行為融為一體；
另一方面，建立可信執行環境，通過密文查詢手段防止工作人員查詢敏感數據，保護學生隱私。同時，提升區域教育大數據含金量，實現隱私保護下的高質量數據協作，利用上鏈數據實現事中數據流通可控，事後可溯源監管、審計。
在機器視覺、語音技術、機器學習等技術助力下，人工智慧在工業領域的應用推動了生產優化、智能質檢、生產設備預測性維護以及供應鏈管理等製造體系的全局決策優化，推動產業提質增效。
可信人工智慧在工業領域的實踐主要體現於生產優化、智能質檢與生產設備預測性維護等方面。可信人工智慧能夠避免信息孤島帶來的效率低下、工藝水平參差、重覆性工作等問題，促進生產優化。通過建立以數據+模型雙驅動的數據共用方案，將樣本數據傳輸至雲端進行聯邦學習實現多條產線間的聯合訓練與模型共用，並通過數據清洗與儲存、數據計算處理等步驟沉澱量化行業知識，構建高品質、高效率的生產新模式。通過無量綱和互無量綱指標實現生產設備的預測性維護，降低隨機故障幾率。原始振動與特征信號通常隱藏了大量設備狀態信息，能夠反映設備系統狀態與變化規律，通過對該信號的提取與分析，能夠有效進行設備故障診斷。
一些企業利用無量綱理論提取敏感特征，從而避免特征冗餘，提升設備故障識別和分類效率；在一些對精細度要求較高的領域，可以利用實際模擬模擬，推導出具有更高靈敏性的互無量綱指標，適用於環境和設備結構複雜的情況。使用基於正樣本的異常檢測、基於小樣本的模型快速迭代和基於未知缺陷的分割等方法，優化智能質檢。
人工智慧質檢在汽車製造、電子製造、新能源等多個工業細分領域均有落地，目前主要採用基於正樣本的異常檢測、基於小樣本的模型快速迭代和基於未知缺陷的分割等方法，解決較為常見的換型效率與模型精度要求高、難以使用一個通用模型覆蓋所有應用場景、樣本數量不足以滿足訓練需求、數據質量參差不齊等問題，優化問題工件預測模型，進行全量自動化質檢。
- 5.智慧政務
人工智慧融合知識圖譜、語義分析、文字識別、語音識別等技術，已經應用到政府辦公、信息管理和公共服務等多個場景中，助力政務決策、業務流程優化，提升利企便民服務體驗，提高城市政務服務能力與水平。
可信人工智慧在政務領域的實踐主要體現在實現跨域數據共用，加強政務系統可靠性與實現公平普惠。可信人工智慧能夠突破政務跨域數據壁壘，打通政務跨域數據應用價值鏈。建立非人為控制的信任系統，通過聯合計算、聯合建模等實現政務數據協同計算與數據資源合規市場化、安全應用化、價值最大化，為跨部門跨層級數據互聯互通提供安全、可信環境，並實現政務信息的全流程存證與數據確權，面向數據權屬、採集、存儲、存證、計算，提供全生命周期安全保障。
提高異構應用訪問的適應性，實現外部公共數據分散式訪問，進一步提升公共數據融合和流通服務質量及效率，形成社會效益與經濟效益雙發展。可信人工智慧能夠構建穩健政務系統，穩固信任基礎。政府層面，通過人工智慧對抗技術，幫助政府解決AI應用中的安全問題。定期檢測AI模型安全漏洞，防禦攻擊 AI系統的行為，提升政務系統安全性，保證政府業務的全流程安全訪問，並防止政務敏感信息截屏、轉發、複製等。用戶層面，持續監測終端設備和用戶的安全風險，根據授權主體、客體環境和行為風險進行動態授權。通過檢測鑒別AI偽造內容，降低因濫用AI導致的社會隱私和倫理風險。
可信人工智慧通過確保系統決策的公平性，幫助構建泛在可及、公平普惠的公共服務信息體系。一方面，構建完整的異質數據集，避免因文化、政策或歷史因素所造成的社會偏見，如針對少數和弱勢群體，在設計理念與實際應用中考慮特殊需求，推出相應的頁面與符合群體特征的應用機制。另一方面，定期檢查數據集以確保數據的高質量，使用公平性指標來減輕或消除偏見和潛在歧視。
可信人工智慧前景展望[1]
形成產業共識，由各自表述向統一理念邁進。與人工智慧產業發展歷程相似，可信人工智慧也經歷了早期的摸索階段，對於可信人工智慧的內涵，雖然各個國家、機構、企業的表述並不相同，但是側重點較為統一，並已針對透明度、隱私保護、公平等方面形成初步共識，已經邁入了形成統一理念的新發展階段。在此基礎上，學術界和產業界對可信人工智慧理念的共識將進一步凝聚和增強，隨著可信人工智慧在更多領域的持續落地，理念與實踐間將形成良性互動，以可信理念指導產業實踐落地，用產業實踐不斷豐富可信內涵，從而進一步鞏固統一的產業共識。
突出理念落地，由抽象概念向具體實踐發展。產業是可信理念的落腳點，目前，可信人工智慧正處在由抽象的學術概念向產業實際加速落地的關鍵時期，產業主體正在由以理論界為主向產業界落地為主轉變，產出形態由論文為主向產品服務為主轉變，專利數量持續增長，並已經形成了一批可見可用的產業成果，誕生了一批代表性企業，覆蓋人工智慧產業鏈主要環節。未來，可信人工智慧理念將更深層次地與人工智慧產業鏈各環節結，與元宇宙、人工智慧生成內容等新技術、新業態互相促進，在人工智慧場景和產品中得到更廣泛的體現，為加快推進城市數字化轉型、提升社會經濟效率、改善人民生活水平發揮更大更多的賦能作用，確保人工智慧造福人類。
註重動態平衡，由單一維度向綜合框架轉變。可信人工智慧各項能力並不是完全獨立的，比如可解釋性和穩定性、穩定性和隱私保護間存在平衡的關係，可解釋性和隱私保護又有協同的關係。這就要求可信人工智慧的實現與衡量不能以單一要素為決定因素，而是應該結實際應用需求，尋求最優的平衡效果。因此，可信人工智慧的一體化研究將是未來的重要趨勢，不再僅僅圍繞單一維度開展研究，而將會逐步過渡到關註各項可信能力之間的相互作用及其影響，使之具有較強的綜性和整體性，實現各項可信能力之間的動態平衡，以綜的可信框架促進產業協調健康發展。
優化技術佈局，由前期研究向更深層次探索。可解釋性方面，如何通俗易懂地向用戶解釋人工智慧技術原理、演算法自動決策機制、潛在風險及防範措施成為首要任務，並希望以此消除社會公眾對新一代人工智慧技術的疑惑和擔憂。公平性方面，還需要為現有的公平性定義提供更強的條件，進一步拓寬公平性覆蓋面，涵蓋現有問題中沒有考慮到的歧視，同時理鬆弛以提高預測模型準確度。隱私保護方面，進一步推進分級分類，特別是針對人臉、指紋等敏感數據，如何在便捷地實現儘可能高的識別準確率的同時提升隱私保護性能。安全性（魯棒性）方面，當前可驗證魯棒性的理論和實踐存在較大落差，如何把一些外部知識交給機器學習模型來幫助其提高防禦能力成為一個有前景的研究方向。
融合多元主體，由產學研向社會大眾拓展。隨著社會認知的深入，可信人工智慧參與主體將進一步豐富，產業鏈多主體、多要素協調互動。在《網路安全法》《數據安全法》《個人信息保護法》等法律法規框架下，深圳、上海、北京等地加快推動人工智慧立法，建立公共場所人工智慧分級分類應用規範，形成具有地方特色的可信人工智慧治理體系。行業協會、聯盟和研究機構發揮積極作用，聯行業企業圍繞先行領域制定和發佈行業標準，在安全性、可靠性等領域已經取得了一些成果供落地實施進行參考。“人臉識別第一案”等引發社會關註，人民群眾對可信人工智慧的瞭解和需求增加，參與程度大幅提升，從需求層面倒逼可信人工智慧發展。
