（接前篇）

為了推進政府2018年國家網絡戰略和2021財年研發預算優先事項備忘錄的目標，應對新出現的或現有的網絡安全挑戰，需要多機構協調研究，本計劃確定了六個優先研發領域。這些聯邦網絡安全研發優先事項不是唯一需要研發的領域；需要額外的網絡安全研發，以實現對特定機構或政府任務重要的能力。如表1所示，優先領域的進展還將加強所有四種防御能力的網絡安全。

表1?優先領域及其對網絡安全的影響

優先研發戰略：人工智能

人工智能對國民經濟和安全具有重大的潛在影響；因此，通過利用網絡安全實踐，保護人工智能技術不被意外使用和惡意利用是至關重要的。人工智能增強的自主系統所帶來的新威脅值得認真關注。相反，人工智能技術通過自動化某些常規任務或協助人類系統管理人員，監視、分析和應對網絡系統面臨的敵對威脅，有望增強網絡安全。這個計劃強調了人工智能和網絡安全的共同需求和好處。

人工智能系統設計應遵循安全、保護和隱私原則。雖然這些原則并不是同義詞，事實上可能處于緊張狀態，但有一些共同的特點可以使聚合結果得以實現：再現性、責任性、可解釋性、可驗證性、透明度和可靠性。現有的網絡安全概念可能需要重新制定和重新設計，以應對人工智能模型、算法和人類人工智能系統的相互作用。以下是人工智能與網絡安全接口的關鍵問題：

?人工智能對作戰速度和規模的影響。

人工智能系統的運行速度和規模超出了人類和當前的技術能力。在人工智能可能驅動惡意活動的領域，這是一個令人擔憂的問題，導致攻擊者和防御者之間的接觸越來越不對稱，除非人工智能同樣用于網絡防御。一般來說，人工智能系統將使網絡防御更為復雜和自動化，如果沒有實施適當的控制，也可能被用來進行攻擊性的惡意活動。

?人工智能的可解釋性和透明性。

人工智能系統中使用的推理與人類使用的推理非常不同，對人類來說并不總是直觀的。盡管人工智能中使用的一些單獨的算法是可以理解的，但是它們的集體行為并不總是可以理解的。因此，很難理解、解釋和預測人工智能的輸出和結果。評估數據或人工智能算法中的偏差，并在不損害隱私的情況下防范這些潛在偏差，將有助于創建可信的人工智能，同時也將加強人工智能的準確性、彈性、可靠性、客觀性和安全性。這就提出了一些問題，比如如何對人工智能系統中的信任進行建模和度量，以及這些系統的部署應該遵循什么樣的確定性級別。這是網絡安全領域的關注點，例如態勢感知、威脅和風險評估管理、隱私風險緩解和資源分配。

?具有人工智能組件的系統的脆弱性。

許多機器學習（ML）算法在其整個生命周期中都會受到攻擊。以下類型的攻擊可以在任何階段發生：毒害數據集以降低模型質量，創建后門以允許模型創建者訪問其他系統，創建導致分類錯誤的實例，以及對模型本身和用于訓練模型的數據集進行推理攻擊。雖然對AI/ML的漏洞表面還沒有很好的理解，但是在AI/ML實現中必須考慮到它。在這方面，人工智能系統的威脅模型不同于傳統的軟件和硬件。

?人工智能網絡安全系統效能評估。

人工智能正日益成為醫療和交通等日常生活的核心技術的一部分。網絡、物理、社會和經濟之間的界限越來越模糊。雖然這會提高效率，但也會增加依賴性，增加自然、人為和程序性事故和威脅的風險。這就增加了系統性風險和從一個領域的威脅蔓延到其他領域的連鎖危害的可能性。人工智能在現有的、對當前網絡安全技術的有效性認識不足的基礎上引入了更多的復雜性，例如投資某些控制措施可以獲得多少安全性，以及哪些控制措施最能降低風險。衡量基于人工智能的安全控制、由此產生的安全級別和面對威脅的結果之間的多維因果關系是一項重大挑戰。

針對威脅模型模擬不同的決策支持場景，包括與特定AI/ML實現相關的攻擊者/防御者策略，以避免由AI/ML技術造成的無休止的攻擊防御循環，用于網絡安全任務，不包括惡意軟件和入侵檢測，也不包括基于特征的方法。開發使用人工智能安全功能的自動化編排。

研究人工智能系統的行為，包括它們在人類交互作用下的行為，以使系統可信。開發方法來驗證和解釋人工智能系統對人類感知和期望的結果。開發技術以改進人工智能系統產生的結果的來源。

開發工具和技術，以了解針對機器學習系統的攻擊和防御。改進形式化方法技術，在訓練和部署時驗證機器學習算法的安全性和健壯性。尋找密碼方法，以確保訓練數據的篡改彈性存儲和機器學習的篡改彈性計算，并在不泄露敏感信息的情況下實現機器學習的數據共享。開發新的基于人工智能的功能，以適應語義安全屬性。研究為人工智能應用而制造的芯片、處理器和專用設備的潛在漏洞，考慮到人工智能和神經形態芯片以及具有內存處理和模擬計算功能的處理器的出現。

開發安全和信任的模型、定義和度量，用于評估人工智能網絡安全系統和基于人工智能的網絡安全控制。確保安全和隱私在不同的抽象層次得到保護，從高級規劃和決策到低級執行人工智能系統。