Isolation

less than 1 minute read

Published:

隔离思路

将系统划分为隔离的隔层，每个隔层以最小特权运行，将隔层的接口作为可信边界。

隔离机制

基于硬件的隔离

隔离目标

  • 资源隔离：进程应当只能访问特定资源
    • UNIX许可模型
      • 根据UID来赋予权限许可，进程可以访问文件，网络包等资源，root进程（UID 0）可以访问所有资源
      • 所有资源都视为文件，每个文件一个访问控制列表（ACL），根据用户的UID和角色（所有者，群组等）赋予权限
    • 进程UID
      • 真实用户ID（RUID）：用于决定启动进程的用户，与父进程的用户ID相同
      • 有效用户ID（EUID）：用于决定进程的许可权限，可以与RUID不同
      • setuid（SUID）：一个程序在其许可中可以有一个setuid的位集合，标记程序的权限，影响子进程创建（fork）和进程执行（exec）
        • setuid：将进程的EUID设置为文件拥有者的ID，让进程以文件拥有者的权限执行文件
        • setgid：将进程的EGroup ID设定为文件的GID，让进程以文件所输组权限执行文件
        • sticky bit（严格删除标记）：开启时只有文件所有者，目录所有者和跟用户可以重命名或者删除文件，关闭时只要用户有目录的写权限就能操作

文件一共10位权限，第一位是文件类型，后面九位三位一组，从左往右分别是文件所属用户（u，user）权限，文件所属组（g，group）权限和其他普通用户（o，other）权限，rwx分别表示读（read，4），写（write，2）和执行（exec，1）
chmod u+s testfile # u+s就是给user加上SUID权限，减去就是u-s
chmod g+s testdir # g+s就是给group加上SGID权限，减去如上
chmod o+t testdir # o+t就是给others加上SBIT权限，减去如上

  • 存储隔离：进程应当无法访问另一个进程的存储

物理机器/CPU模式/虚拟内存/存储保护单元/可信执行环境…

  • 隔离方式：
    • 每个进程有自己的虚拟地址空间，由操作系统管理。进程使用的存储地址是虚拟地址（VAs），而不是物理地址（PAs）。每次存储访问都由CPU的存储管理单元（MMU）对地址进行转换。MMU使用多级页表进行地址转换，多级页表是页映射的稀疏树结构，使用虚拟地址作为树上的路径，叶节点是物理地址，树的根节点存储在寄存器中从而允许MMU在树上进行游走。
    • 进程间隔离：OS为每个进程创建专用的多级页表，切换进程时OS切换寄存器中树的根来支持不同进程的地址转换
    • 转译后备缓冲器（TLB，页表缓存）：多级页表访问加速机制，缓存最近转译的地址，进程首先检查页表缓存，没有再去访问页表
      • TLB保存虚拟页对应的物理页，如果映射允许访问则提供访问控制
      • 在切换时刷新TLB，硬件有进程上下文标识符（PCID）时可以不切换，PCID会划分TLB中的实体

基于软件的隔离

语言虚拟机/基于软件的错误隔离/二进制插桩（binary instrumentation）/类型系统…

在没有硬件加强机制，或者进程抽象成本过高时，需要使用基于软件的隔离

隔离软件组件的方法

  • 存储隔离：影响所有的加载和存储
  • 控制流整合：确保所有控制流都在使用加载和存储的控制流图中
  • 完全仲裁（complete mediation）：取消所有特权指令
  • 组件边界处设立缓冲区：
    • 比如隔离的代码间使用的类似系统调用的接口，需要保证调用是正确的

You May Also Enjoy

F-learning方法论文阅读笔记

less than 1 minute read

Published:

大型语言模型 (LLM) 的最新进展展示了其在文本理解和生成方面的卓越能力。然而，即使是更强大的 LLM 也容易从训练语料库中获取错误或过时的信息。直接使用包含新知识的数据进行二次微调可能会因新旧知识之间的冲突而无法有效更新知识。在本文中，我们提出了一种新的微调范式，称为 F-Learning（Forgetting before Learning），它使用参数算法来促进旧知识的遗忘和新知识的学习。在两个公开数据集上的实验结果表明，我们提出的 F-Learning 可以明显提高完全微调和 LoRA 微调的知识更新性能，在大多数情况下同时超越现有基线。此外，我们还发现通过减去 LoRA 的参数来忘记旧知识可以产生与减去完全微调的参数类似的效果，有时甚至会大大超过它。

latent adversarial unlearning方法论文阅读笔记

less than 1 minute read

Published:

虽然LLM在许多领域取得了成功，但仍然受到训练语料库中问题内容的困扰。LLM 反学习旨在减少它们的影响并避免不良行为。然而，现有的反学习方法仍然容易受到对抗性查询的攻击，并且反学习的知识会在手动设计的攻击查询之后重新出现。作为红队主动评估反学习模型漏洞的一部分，本文设计了动态反学习攻击 (DUA)，这是一个动态的自动化框架来攻击这些模型并评估其鲁棒性。它优化了对抗性后缀以在各种场景中重新引入未学习的知识。本文发现，即使不透露反学习模型的参数，55.2% 的问题也可以重现反学习的知识。为了解决这一弱点，本文提出了潜在对抗性反学习 (LAU)，这是一个通用框架，可以有效增强反学习过程的鲁棒性。它将反学习过程公式化为最小-最大优化问题，并通过两个阶段解决：攻击阶段，训练扰动向量并将其添加到 LLM 的潜在空间以恢复反学习的知识；防御阶段，使用先前训练的扰动向量来增强反学习模型的鲁棒性。借助LAU框架，本文获得了两种鲁棒的反学习方法：AdvGA 和 AdvNPO。本文在多个反学习基准和各种模型上进行了广泛的实验，并证明它们将反学习效果提高了 53.5% 以上，仅导致邻近知识减少不到 11.6%，并且几乎不影响模型的一般能力。

DEPN方法论文阅读笔记

less than 1 minute read

Published:

在大量数据上进行预训练的大型语言模型可以捕获训练数据中的丰富知识和信息。先前的研究揭示了预训练语言模型中数据记忆和反省的能力，这带来了数据泄露的风险。为了有效降低这些风险，本文提出了一个框架DEPN来检测和编辑预训练语言模型中的隐私神经元，部分灵感来自知识神经元和模型编辑。在DEPN中，本文引入了一种新方法，称为隐私神经元检测器，用于定位与隐私信息相关的神经元，然后通过将其激活设置为零来编辑这些检测到的隐私神经元。此外，本文提出了一种隐私神经元聚合器，以批处理方式取消记忆隐私信息。实验结果表明，DEPN可以显着有效地减少隐私数据泄露的风险，而不会降低模型的性能。此外，本文从多个角度（包括模型大小、训练时间、提示、隐私神经元分布）实证证明了模型记忆与隐私神经元之间的关系，说明了本文方法的鲁棒性。

PCGU论文阅读笔记

less than 1 minute read

Published:

最近的研究表明，大规模预训练语言模型往往会表现出与种族主义、性别歧视、宗教偏见和一般毒性有关的问题。不幸的是，这些预训练语言模型几乎普遍用于下游任务，而自然语言处理通常用于进行现实世界的预测。因此，在开发过程中尽早消除这些语言模型的偏见对于防止自然语言系统造成的无意伤害越来越重要。为此，我们提出了一种称为分区对比梯度反学习 (PCGU) 的新技术，这是一种用于消除预训练掩码语言模型偏见的灰盒方法。PCGU 旨在仅优化对特定偏见领域贡献最大的权重，通过基于对比句子对的梯度计算一阶近似来实现。我们的实验表明，PCGU 既成本低廉，又似乎特别有效地查明大型预训练 Transformer 中隐性社会偏见的来源。虽然我们仅在性别职业领域使用 PCGU 进行训练，但我们发现这样做也可以部分减轻其他领域的偏见。