XAI for network security笔记

研究背景和意义

XAI for network security研究AI可解释性方法在网络安全领域的应用问题，包括用于解释其他网络安全领域AI模型的XAI方法以及能够自我解释的AI方法在网络安全具体场景中的应用情况。

人工智能（AI），特别是其快速发展的深度学习子领域，已成为计算机科学及其他领域研究和工业应用的主导力量。 在网络安全领域，人工智能的应用已成为研究和工业界的主流。这种转变很大程度上是由于基于人工智能的工具和方法据称能够检测和防止网络和数字系统中的复杂攻击，而传统方法无法检测和防止这些攻击。然而，许多人工智能方法和算法变得越来越难以理解和解释，进而引发了对其潜在滥用的担忧。人工智能方法的难以理解导致许多关键问题很难回答，例如（1）如果出现问题谁负责？（2）是否能解释AI方法的输出和内部结构？(3) 可以相信底层人工智能方法生成的决策吗？这引发了一场关于是否需要能够解释其行为的人工智能工具的争论。

在网络安全领域，模型的黑盒特点使得服务商无法充分信任其作出的决策，因而阻碍了AI模型的部署和发展：AI模型虽然效果很好但无法得到充分部署，因为服务商更加愿意相信效果欠佳但决策十分容易理解的规则模型。另一方面，黑盒特点导致工程师无法高效对模型的误判原因进行分析，难以及时定位问题进而修复，无法对0日攻击等问题进行及时响应，难以应对高速变化的网络安全领域。

受这些问题的推动，可解释人工智能（XAI）的概念在过去几年中出现，试图解决机器学习（ML）算法的可解释性问题。通过将新的或改进的AI技术与有效的解释技术相结合，XAI旨在创建一种解释丰富的AI方法，使最终用户能够理解、信任和有效管理下一代AI系统。人工智能系统通常能够做出决策、提出建议和采取行动，但它们需要向最终用户证明其推理的合理性。同样，打算使用某些自动驾驶车辆的操作员应该了解他们如何做出驾驶决策。 XAI试图通过提出一组可以集成到现有机器学习技术中的工具和概念来解决这些问题。

过去十年AI方法在网络安全各个方向都得到了充分发展，但大部分被应用的方法是决策树（包括XGBoost等衍生），SVM，线性回归和浅层的人工神经网络等模型，基于DL的方法其实并没有得到比较充分的应用和部署。这与前文中对于黑盒特点的分析相符：决策树等方法虽然难以像DL方法一样利用网络环境中的复杂特征，但方法结构简单，自身就可以生成易于理解的解释结果，更容易得到信任和依赖，也方便进行及时的修复，所以得到更加充分的应用和部署。

因为以上方法模型简单、能够自我解释，并且已经得到了比较充分的研究和应用，因此本文不以这些方法的可解释性作为研究重点，而将重心放在面向基于DL的可解释性方法在网络安全上的应用情况，以期能够总结最新的研究进展，促进深度学习方法在网络安全领域的落地。

研究进展

对于XAI方法的分类包括全局和局部，模型相关和模型无关，事前解释和事后解释等。