主页 › 范文 › 软件工程 › 本文

SV-TrustEval-C：评估大型语言模型在源代码漏洞分析中的结构与语义推理能力

摘要

文章介绍了SV-TrustEval-C基准测试，用于评估大型语言模型（LLMs）在C语言源代码漏洞分析中的结构推理和语义推理能力。该基准通过结构导向变体生成器创建数据流/控制流复杂度递增的代码变体，设计五类任务评估模型识别代码元素关系（结构推理）和逻辑一致性（语义推理）的能力。实验表明，当前LLMs主要依赖模式匹配而非逻辑推理，在复杂代码关系理解（平均准确率<32%）和漏洞分析一致性（<50%）方面表现不佳。该研究为提升LLMs在安全关键场景的可信度提供了新方向。

1. 引言

随着大型语言模型（LLMs）在代码生成和理解领域的应用扩展，其在源代码漏洞分析中的可靠性评估成为关键挑战。现有基准（如BigVul、CVEFixes）主要关注漏洞识别和修复等直接任务，但忽视了对结构推理和语义推理的系统性评估，而这两种能力对可信漏洞分析至关重要。为此，文章提出SV-TrustEval-C基准，首次通过双维度框架评估LLMs的漏洞分析能力：

  • 结构推理：量化模型在不同数据流/控制流复杂度下识别代码元素关系的能力
  • 语义推理：检验模型在代码结构和语义扰动场景中的逻辑一致性

2. SV-TrustEval-C基准设计

2.1 核心能力框架

基准通过两类任务评估LLMs：

结构推理：形式化为关系预测问题： \[ P(D \mid X) = \prod_{i=1}^{M} \prod_{j=1}^{M} P(D_{ij} \mid X) \] 其中 \(D_{ij}\) 表示代码元素 \(i\) 与 \(j\) 的连接关系（\(D_{ij}=1\) 为连接），\(M\) 为元素总数。包含： • 数据流推理：分析变量如何影响函数行为 • 控制流推理：评估控制语句对代码执行路径的影响

语义推理：通过三类场景评估逻辑一致性： • 反事实场景：代码语义扰动下的漏洞预测 \[ P(V(f(X_s, t)) = 1 \mid f(X_s, t), X_s), \quad t \in \{\text{safe, unsafe, impaired}\} \] • 目标驱动场景：安全修改代码达成目标 \[ P(V(X)=0, X \mid c) \] • 预测场景：分类代码变体的漏洞影响

2.2 结构导向变体生成器

创新性设计自动化工具生成评估样本：

  • 流提取器：解析代码构建数据流图（\(\mathcal{G}_d\)）和控制流图（\(\mathcal{G}_c\)）
  • 行为模拟器：通过控制流注入（如图1）生成三类行为变体：
    • Safe：消除漏洞且功能完整
    • Unsafe：引入新漏洞
    • Impaired：无漏洞但功能受损

3. 实验发现

3.1 模型性能瓶颈

评估11个LLMs（含GPT-4、Llama3.1）发现：

  • 结构推理中，>15B参数模型优于小模型，但平均准确率仅63.98%（GPT-4-ICL）
  • 语义推理表现更差：目标驱动场景平均准确率≤28.07%，预测场景≤35.92%
  • 关键缺陷：CodeLlama等模型误报率（FPRsafe）达100%，安全代码被错误标记

3.2 推理缺陷分析

深度行为分析揭示核心问题：

  • 模式匹配主导：在数据流任务中，模型倾向于假设所有代码元素互联（图3）
  • 语义一致性缺失：反事实场景与基础场景的一致性评分（ConsCTF）平均<50%
  • 运行时推理薄弱：超70%模型无法识别死路径中的安全代码

4. 关键洞见

4.1 难度敏感性

结构推理任务中：

  • Llama3.1/GPT-4在“无连接”（None）级别准确率>80%，但3跳连接骤降至45-55%
  • 控制流注入（-w CI）使多数模型性能下降15-30%

4.2 温度效应

温度参数显著影响表现（Llama3.1-8B）：

  • 低温（0.0）有利结构推理（准确率50.37%）
  • 高温（1.0）提升目标驱动任务性能（+12%）

5. 结论

SV-TrustEval-C揭示了LLMs在漏洞分析中依赖模式匹配、缺乏深层逻辑推理的缺陷。该基准为开发具备结构/语义理解能力的可信LLMs提供了评估基础，未来将扩展至多语言支持。

相关论文