Model Rodeo Scorecard

Generated: 2026-03-27 04:43 UTC

Overall Ranking (by average F1 across conditions)

#	Model	Weight	Type	Avg F1	Best Condition
1	claude-haiku-4-5	cloud	general	0.978	C (1.000)
2	granite3.3:8b	8B	general	0.929	D (0.930)
3	mistral-nemo:latest	12B	general	0.870	D (0.882)

Weight Class Winners

Weight Class	Model	Avg F1
8B	granite3.3:8b	0.929
12B	mistral-nemo:latest	0.870
cloud	claude-haiku-4-5	0.978

Condition Comparison

Model	Cold (code only)	Hinted (persona)	CPG-enriched	CPG + findings	Augment + tiebreaker	Review + tiebreaker
claude-haiku-4-5	-	-	F1=1.00 P=1.00 R=1.00 FPF=1.00	F1=0.96 P=0.92 R=1.00 FPF=0.92	-	-
granite3.3:8b	-	-	F1=0.93 P=0.86 R=1.00 FPF=0.86	F1=0.93 P=0.87 R=1.00 FPF=0.86	-	-
mistral-nemo:latest	-	-	F1=0.86 P=0.81 R=0.91 FPF=0.81	F1=0.88 P=0.86 R=0.91 FPF=0.86	-	-

Heatmap: Models x Conditions x Metrics

Model	A:f1	B:f1	C:f1	C:prec	C:reca	C:fp_f	C:accu	D:f1	D:prec	D:reca	D:fp_f	D:accu	E:f1	F:f1
claude-haiku-4-5	not run	not run	1.00	1.00	1.00	1.00	1.00	0.96	0.92	1.00	0.92	0.96	not run	not run
granite3.3:8b	not run	not run	0.93	0.86	1.00	0.86	0.91	0.93	0.87	1.00	0.86	0.93	not run	not run
mistral-nemo:latest	not run	not run	0.86	0.81	0.91	0.81	0.86	0.88	0.86	0.91	0.86	0.89	not run	not run

Per-Sample Detail

context_dependent/cd_async_race.py (VULNERABLE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	-	-	OK
granite3.3:8b	B	Y	-	-	OK
qwen2.5-coder:7b	A	Y	-	-	OK
qwen2.5-coder:7b	B	Y	-	-	OK
codellama:latest	A	Y	-	-	OK
codellama:latest	B	Y	-	-	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	Y	-	-	OK
mistral-nemo:latest	B	Y	-	-	OK
granite4:1b	A	Y	Y	-	OK
granite4:1b	B	Y	Y	-	OK
deepseek-coder-v2:16b	A	Y	-	-	OK
deepseek-coder-v2:16b	B	Y	-	-	OK
granite3.3:8b	C	Y	Y	-	OK
granite3.3:8b	D	Y	Y	-	OK
mistral-nemo:latest	C	Y	-	-	OK
mistral-nemo:latest	D	Y	Y	-	OK
claude-haiku-4-5	C	Y	-	-	OK
claude-haiku-4-5	D	Y	Y	-	OK
granite4:350m	A	Y	-	-	OK
granite4:350m	B	Y	-	-	OK
granite4:350m	C	Y	-	-	OK
granite4:350m	D	Y	-	-	OK
granite4:350m	E	Y	-	-	OK
granite4:350m	F	N	-	-	OK
granite4:1b	C	Y	Y	-	OK
granite4:1b	D	Y	Y	-	OK
granite4:1b	E	Y	Y	-	OK
granite4:1b	F	N	-	-	OK
starcoder2:3b	A	N	-	-	ERR
starcoder2:3b	B	N	-	-	ERR
codellama:latest	C	Y	-	-	OK
codellama:latest	D	Y	Y	-	OK

context_dependent/cd_cache_bypass.py (VULNERABLE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	Y	-	OK
granite3.3:8b	B	Y	Y	-	OK
qwen2.5-coder:7b	A	Y	Y	-	OK
qwen2.5-coder:7b	B	Y	Y	-	OK
codellama:latest	A	Y	-	-	OK
codellama:latest	B	Y	-	-	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	Y	Y	-	OK
mistral-nemo:latest	B	Y	-	-	OK
granite4:1b	A	Y	-	-	OK
granite4:1b	B	Y	-	-	OK
deepseek-coder-v2:16b	A	Y	-	-	OK
deepseek-coder-v2:16b	B	Y	Y	-	OK
granite3.3:8b	C	Y	Y	-	OK
granite3.3:8b	D	Y	Y	-	OK
mistral-nemo:latest	C	Y	Y	-	OK
mistral-nemo:latest	D	Y	Y	-	OK
claude-haiku-4-5	C	Y	Y	-	OK
claude-haiku-4-5	D	Y	Y	-	OK
granite4:350m	A	Y	-	-	OK
granite4:350m	B	Y	-	-	OK
granite4:350m	C	Y	Y	-	OK
granite4:350m	D	N	-	-	OK
granite4:350m	E	Y	Y	-	OK
granite4:350m	F	Y	Y	-	OK
granite4:1b	C	Y	Y	-	OK
granite4:1b	D	Y	Y	-	OK
granite4:1b	E	Y	Y	-	OK
granite4:1b	F	N	-	-	OK
starcoder2:3b	A	N	-	-	ERR
starcoder2:3b	B	N	-	-	ERR
codellama:latest	C	Y	Y	-	OK
codellama:latest	D	Y	Y	-	OK

context_dependent/cd_class_method_chain.py (SAFE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	-	Y	OK
granite3.3:8b	B	N	-	-	ERR
qwen2.5-coder:7b	A	Y	-	Y	OK
qwen2.5-coder:7b	B	Y	-	Y	OK
codellama:latest	A	Y	-	Y	OK
codellama:latest	B	Y	-	Y	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	Y	-	Y	OK
mistral-nemo:latest	A	Y	-	Y	OK
mistral-nemo:latest	B	Y	-	Y	OK
granite4:1b	A	Y	-	Y	OK
granite4:1b	B	Y	-	Y	OK
deepseek-coder-v2:16b	A	Y	-	Y	OK
deepseek-coder-v2:16b	B	Y	-	Y	OK
granite3.3:8b	C	Y	-	Y	OK
granite3.3:8b	D	Y	-	Y	OK
mistral-nemo:latest	C	Y	-	Y	OK
mistral-nemo:latest	D	Y	-	Y	OK
claude-haiku-4-5	C	Y	-	Y	OK
claude-haiku-4-5	D	Y	-	Y	OK
granite4:350m	A	N	-	-	ERR
granite4:350m	B	Y	-	Y	OK
granite4:350m	C	N	-	-	OK
granite4:350m	D	N	-	-	OK
granite4:350m	E	N	-	-	OK
granite4:350m	F	Y	-	Y	OK
granite4:1b	C	Y	-	Y	OK
granite4:1b	D	N	-	-	OK
granite4:1b	E	Y	-	Y	OK
granite4:1b	F	Y	-	Y	OK
starcoder2:3b	A	N	-	-	ERR
starcoder2:3b	B	N	-	-	ERR
codellama:latest	C	Y	-	Y	OK
codellama:latest	D	Y	-	Y	OK

context_dependent/cd_conditional_vuln.py (VULNERABLE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	Y	-	OK
granite3.3:8b	B	Y	Y	-	OK
qwen2.5-coder:7b	A	Y	Y	-	OK
qwen2.5-coder:7b	B	Y	Y	-	OK
codellama:latest	A	Y	Y	-	OK
codellama:latest	B	Y	Y	-	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	Y	Y	-	OK
mistral-nemo:latest	B	Y	Y	-	OK
granite4:1b	A	Y	Y	-	OK
granite4:1b	B	Y	Y	-	OK
deepseek-coder-v2:16b	A	Y	-	-	OK
deepseek-coder-v2:16b	B	Y	-	-	OK
granite3.3:8b	C	Y	Y	-	OK
granite3.3:8b	D	Y	Y	-	OK
mistral-nemo:latest	C	Y	Y	-	OK
mistral-nemo:latest	D	Y	Y	-	OK
claude-haiku-4-5	C	Y	Y	-	OK
claude-haiku-4-5	D	Y	Y	-	OK
granite4:350m	A	Y	-	-	OK
granite4:350m	B	Y	-	-	OK
granite4:350m	C	Y	Y	-	OK
granite4:350m	D	N	Y	-	OK
granite4:350m	E	Y	Y	-	OK
granite4:350m	F	Y	Y	-	OK
granite4:1b	C	N	-	-	ERR
granite4:1b	D	Y	Y	-	OK
granite4:1b	E	N	-	-	ERR
granite4:1b	F	N	-	-	OK
starcoder2:3b	A	N	-	-	ERR
starcoder2:3b	B	N	-	-	ERR
codellama:latest	C	Y	Y	-	OK
codellama:latest	D	Y	Y	-	OK

context_dependent/cd_decorator_validates.py (SAFE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	-	Y	OK
granite3.3:8b	B	Y	-	Y	OK
qwen2.5-coder:7b	A	Y	-	Y	OK
qwen2.5-coder:7b	B	Y	-	Y	OK
codellama:latest	A	Y	-	Y	OK
codellama:latest	B	Y	-	Y	OK
llama3:8b	A	N	-	-	OK
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	Y	-	Y	OK
mistral-nemo:latest	B	Y	-	Y	OK
granite4:1b	A	Y	-	Y	OK
granite4:1b	B	Y	-	Y	OK
deepseek-coder-v2:16b	A	Y	-	Y	OK
deepseek-coder-v2:16b	B	Y	-	Y	OK
granite3.3:8b	C	Y	-	Y	OK
granite3.3:8b	D	Y	-	Y	OK
mistral-nemo:latest	C	Y	-	Y	OK
mistral-nemo:latest	D	Y	-	Y	OK
claude-haiku-4-5	C	Y	-	Y	OK
claude-haiku-4-5	D	Y	-	Y	OK
granite4:350m	A	N	-	-	ERR
granite4:350m	B	N	-	-	OK
granite4:350m	C	N	-	-	OK
granite4:350m	D	Y	-	Y	OK
granite4:350m	E	N	-	-	OK
granite4:350m	F	N	-	-	OK
granite4:1b	C	Y	-	Y	OK
granite4:1b	D	Y	-	Y	OK
granite4:1b	E	Y	-	Y	OK
granite4:1b	F	Y	-	Y	OK
starcoder2:3b	A	N	-	-	OK
starcoder2:3b	B	N	-	-	ERR
codellama:latest	C	Y	-	Y	OK
codellama:latest	D	Y	-	Y	OK

context_dependent/cd_django_orm_safe.py (SAFE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	-	Y	OK
granite3.3:8b	B	Y	-	Y	OK
qwen2.5-coder:7b	A	Y	-	Y	OK
qwen2.5-coder:7b	B	Y	-	Y	OK
codellama:latest	A	Y	-	Y	OK
codellama:latest	B	Y	-	Y	OK
llama3:8b	A	Y	-	Y	OK
llama3:8b	B	Y	-	Y	OK
mistral-nemo:latest	A	Y	-	Y	OK
mistral-nemo:latest	B	Y	-	Y	OK
granite4:1b	A	Y	-	Y	OK
granite4:1b	B	Y	-	Y	OK
deepseek-coder-v2:16b	A	Y	-	Y	OK
deepseek-coder-v2:16b	B	Y	-	Y	OK
granite3.3:8b	C	Y	-	Y	OK
granite3.3:8b	D	Y	-	Y	OK
mistral-nemo:latest	C	Y	-	Y	OK
mistral-nemo:latest	D	Y	-	Y	OK
claude-haiku-4-5	C	Y	-	Y	OK
claude-haiku-4-5	D	Y	-	Y	OK
granite4:350m	A	Y	-	Y	OK
granite4:350m	B	N	-	-	OK
granite4:350m	C	N	-	-	OK
granite4:350m	D	Y	-	Y	OK
granite4:350m	E	N	-	-	OK
granite4:350m	F	Y	-	Y	OK
granite4:1b	C	N	-	-	OK
granite4:1b	D	Y	-	Y	OK
granite4:1b	E	N	-	-	OK
granite4:1b	F	Y	-	Y	OK
starcoder2:3b	A	N	-	-	ERR
starcoder2:3b	B	N	-	-	ERR
codellama:latest	C	Y	-	Y	OK
codellama:latest	D	Y	-	Y	OK

context_dependent/cd_encode_wrong_context.py (VULNERABLE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	Y	-	OK
granite3.3:8b	B	Y	Y	-	OK
qwen2.5-coder:7b	A	Y	Y	-	OK
qwen2.5-coder:7b	B	Y	Y	-	OK
codellama:latest	A	Y	-	-	OK
codellama:latest	B	Y	-	-	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	Y	-	-	OK
mistral-nemo:latest	A	Y	Y	-	OK
mistral-nemo:latest	B	Y	Y	-	OK
granite4:1b	A	Y	-	-	OK
granite4:1b	B	Y	-	-	OK
deepseek-coder-v2:16b	A	Y	Y	-	OK
deepseek-coder-v2:16b	B	Y	Y	-	OK
granite3.3:8b	C	Y	Y	-	OK
granite3.3:8b	D	Y	Y	-	OK
mistral-nemo:latest	C	N	-	-	OK
mistral-nemo:latest	D	Y	Y	-	OK
claude-haiku-4-5	C	Y	Y	-	OK
claude-haiku-4-5	D	Y	Y	-	OK
granite4:350m	A	Y	-	-	OK
granite4:350m	B	Y	-	-	OK
granite4:350m	C	Y	Y	-	OK
granite4:350m	D	N	-	-	OK
granite4:350m	E	Y	Y	-	OK
granite4:350m	F	Y	Y	-	OK
granite4:1b	C	Y	Y	-	OK
granite4:1b	D	Y	Y	-	OK
granite4:1b	E	Y	Y	-	OK
granite4:1b	F	N	-	-	OK
starcoder2:3b	A	N	-	-	ERR
starcoder2:3b	B	N	-	-	ERR
codellama:latest	C	Y	Y	-	OK
codellama:latest	D	Y	Y	-	OK

context_dependent/cd_flask_escape_then_render.py (SAFE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	-	Y	OK
granite3.3:8b	B	Y	-	Y	OK
qwen2.5-coder:7b	A	Y	-	Y	OK
qwen2.5-coder:7b	B	Y	-	Y	OK
codellama:latest	A	Y	-	Y	OK
codellama:latest	B	N	-	-	OK
llama3:8b	A	Y	-	Y	OK
llama3:8b	B	Y	-	Y	OK
mistral-nemo:latest	A	Y	-	Y	OK
mistral-nemo:latest	B	Y	-	Y	OK
granite4:1b	A	Y	-	Y	OK
granite4:1b	B	Y	-	Y	OK
deepseek-coder-v2:16b	A	Y	-	Y	OK
deepseek-coder-v2:16b	B	Y	-	Y	OK
granite3.3:8b	C	Y	-	Y	OK
granite3.3:8b	D	Y	-	Y	OK
mistral-nemo:latest	C	Y	-	Y	OK
mistral-nemo:latest	D	Y	-	Y	OK
claude-haiku-4-5	C	Y	-	Y	OK
claude-haiku-4-5	D	N	-	-	OK
granite4:350m	A	N	-	-	OK
granite4:350m	B	Y	-	Y	OK
granite4:350m	C	N	-	-	OK
granite4:350m	D	Y	-	Y	OK
granite4:350m	E	N	-	-	OK
granite4:350m	F	Y	-	Y	OK
granite4:1b	C	N	-	-	OK
granite4:1b	D	Y	-	Y	OK
granite4:1b	E	N	-	-	OK
granite4:1b	F	Y	-	Y	OK
starcoder2:3b	A	N	-	-	ERR
starcoder2:3b	B	N	-	-	ERR
codellama:latest	C	Y	-	Y	OK
codellama:latest	D	Y	-	Y	OK

context_dependent/cd_framework_auto_escape.py (SAFE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	-	Y	OK
granite3.3:8b	B	Y	-	Y	OK
qwen2.5-coder:7b	A	Y	-	Y	OK
qwen2.5-coder:7b	B	Y	-	Y	OK
codellama:latest	A	N	-	-	OK
codellama:latest	B	N	-	-	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	Y	-	Y	OK
mistral-nemo:latest	B	N	-	-	OK
granite4:1b	A	N	-	-	OK
granite4:1b	B	N	-	-	OK
deepseek-coder-v2:16b	A	Y	-	Y	OK
deepseek-coder-v2:16b	B	Y	-	Y	OK
granite3.3:8b	C	Y	-	Y	OK
granite3.3:8b	D	Y	-	Y	OK
mistral-nemo:latest	C	Y	-	Y	OK
mistral-nemo:latest	D	Y	-	Y	OK
claude-haiku-4-5	C	Y	-	Y	OK
claude-haiku-4-5	D	Y	-	Y	OK
granite4:350m	A	N	-	-	OK
granite4:350m	B	N	-	-	OK
granite4:350m	C	N	-	-	OK
granite4:350m	D	Y	-	Y	OK
granite4:350m	E	N	-	-	OK
granite4:350m	F	Y	-	Y	OK
granite4:1b	C	N	-	-	OK
granite4:1b	D	Y	-	Y	OK
granite4:1b	E	N	-	-	OK
granite4:1b	F	Y	-	Y	OK
starcoder2:3b	A	N	-	-	ERR
starcoder2:3b	B	N	-	-	ERR
codellama:latest	C	N	-	-	OK
codellama:latest	D	Y	-	Y	OK

context_dependent/cd_global_config_flag.py (VULNERABLE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	-	-	OK
granite3.3:8b	B	Y	-	-	OK
qwen2.5-coder:7b	A	Y	Y	-	OK
qwen2.5-coder:7b	B	Y	Y	-	OK
codellama:latest	A	Y	Y	-	OK
codellama:latest	B	Y	Y	-	OK
llama3:8b	A	Y	-	-	OK
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	Y	Y	-	OK
mistral-nemo:latest	B	Y	Y	-	OK
granite4:1b	A	Y	-	-	OK
granite4:1b	B	Y	-	-	OK
deepseek-coder-v2:16b	A	Y	-	-	OK
deepseek-coder-v2:16b	B	Y	-	-	OK
granite3.3:8b	C	Y	Y	-	OK
granite3.3:8b	D	Y	Y	-	OK
mistral-nemo:latest	C	Y	Y	-	OK
mistral-nemo:latest	D	Y	Y	-	OK
claude-haiku-4-5	C	Y	Y	-	OK
claude-haiku-4-5	D	Y	Y	-	OK
granite4:350m	A	N	-	-	ERR
granite4:350m	B	Y	-	-	OK
granite4:350m	C	Y	-	-	OK
granite4:350m	D	N	-	-	OK
granite4:350m	E	Y	-	-	OK
granite4:350m	F	Y	Y	-	OK
granite4:1b	C	Y	Y	-	OK
granite4:1b	D	Y	Y	-	OK
granite4:1b	E	Y	Y	-	OK
granite4:1b	F	N	-	-	OK
starcoder2:3b	A	N	-	-	ERR
starcoder2:3b	B	N	-	-	ERR
codellama:latest	C	Y	Y	-	OK
codellama:latest	D	Y	Y	-	OK

context_dependent/cd_import_sanitizer.py (SAFE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	-	Y	OK
granite3.3:8b	B	N	-	-	ERR
qwen2.5-coder:7b	A	Y	-	Y	OK
qwen2.5-coder:7b	B	Y	-	Y	OK
codellama:latest	A	Y	-	Y	OK
codellama:latest	B	N	-	-	OK
llama3:8b	A	N	-	-	OK
llama3:8b	B	Y	-	Y	OK
mistral-nemo:latest	A	Y	-	Y	OK
mistral-nemo:latest	B	Y	-	Y	OK
granite4:1b	A	Y	-	Y	OK
granite4:1b	B	Y	-	Y	OK
deepseek-coder-v2:16b	A	Y	-	Y	OK
deepseek-coder-v2:16b	B	Y	-	Y	OK
granite3.3:8b	C	Y	-	Y	OK
granite3.3:8b	D	Y	-	Y	OK
mistral-nemo:latest	C	Y	-	Y	OK
mistral-nemo:latest	D	Y	-	Y	OK
claude-haiku-4-5	C	Y	-	Y	OK
claude-haiku-4-5	D	Y	-	Y	OK
granite4:350m	A	Y	-	Y	OK
granite4:350m	B	N	-	-	ERR
granite4:350m	C	N	-	-	OK
granite4:350m	D	Y	-	Y	OK
granite4:350m	E	N	-	-	OK
granite4:350m	F	Y	-	Y	OK
granite4:1b	C	Y	-	Y	OK
granite4:1b	D	Y	-	Y	OK
granite4:1b	E	Y	-	Y	OK
granite4:1b	F	Y	-	Y	OK
starcoder2:3b	A	N	-	-	ERR
starcoder2:3b	B	N	-	-	ERR
codellama:latest	C	Y	-	Y	OK
codellama:latest	D	Y	-	Y	OK

context_dependent/cd_middleware_validates.py (SAFE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	-	Y	OK
granite3.3:8b	B	N	-	-	ERR
qwen2.5-coder:7b	A	Y	-	Y	OK
qwen2.5-coder:7b	B	N	-	-	OK
codellama:latest	A	Y	-	Y	OK
codellama:latest	B	Y	-	Y	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	N	-	-	OK
mistral-nemo:latest	A	Y	-	Y	OK
mistral-nemo:latest	B	Y	-	Y	OK
granite4:1b	A	Y	-	Y	OK
granite4:1b	B	N	-	-	OK
deepseek-coder-v2:16b	A	Y	-	Y	OK
deepseek-coder-v2:16b	B	Y	-	Y	OK
granite3.3:8b	C	Y	-	Y	OK
granite3.3:8b	D	Y	-	Y	OK
mistral-nemo:latest	C	Y	-	Y	OK
mistral-nemo:latest	D	Y	-	Y	OK
claude-haiku-4-5	C	Y	-	Y	OK
claude-haiku-4-5	D	Y	-	Y	OK
granite4:350m	A	Y	-	Y	OK
granite4:350m	B	N	-	-	OK
granite4:350m	C	N	-	-	OK
granite4:350m	D	N	-	-	OK
granite4:350m	E	N	-	-	OK
granite4:350m	F	N	-	-	OK
granite4:1b	C	N	-	-	OK
granite4:1b	D	Y	-	Y	OK
granite4:1b	E	N	-	-	OK
granite4:1b	F	Y	-	Y	OK
starcoder2:3b	A	N	-	-	ERR
starcoder2:3b	B	N	-	-	ERR
codellama:latest	C	Y	-	Y	OK
codellama:latest	D	Y	-	Y	OK

context_dependent/cd_multi_function_flow.py (SAFE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	N	-	-	OK
granite3.3:8b	B	N	-	-	OK
qwen2.5-coder:7b	A	Y	-	Y	OK
qwen2.5-coder:7b	B	N	-	-	OK
codellama:latest	A	N	-	-	OK
codellama:latest	B	N	-	-	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	Y	-	Y	OK
mistral-nemo:latest	B	N	-	-	OK
granite4:1b	A	N	-	-	OK
granite4:1b	B	N	-	-	OK
deepseek-coder-v2:16b	A	N	-	-	OK
deepseek-coder-v2:16b	B	N	-	-	OK
granite3.3:8b	C	Y	-	Y	OK
granite3.3:8b	D	Y	-	Y	OK
mistral-nemo:latest	C	Y	-	Y	OK
mistral-nemo:latest	D	Y	-	Y	OK
claude-haiku-4-5	C	Y	-	Y	OK
claude-haiku-4-5	D	Y	-	Y	OK
granite4:350m	A	Y	-	Y	OK
granite4:350m	B	Y	-	Y	OK
granite4:350m	C	N	-	-	OK
granite4:350m	D	Y	-	Y	OK
granite4:350m	E	N	-	-	OK
granite4:350m	F	N	-	-	OK
granite4:1b	C	N	-	-	OK
granite4:1b	D	N	-	-	OK
granite4:1b	E	N	-	-	OK
granite4:1b	F	Y	-	Y	OK
starcoder2:3b	A	N	-	-	ERR
starcoder2:3b	B	N	-	-	ERR
codellama:latest	C	Y	-	Y	OK
codellama:latest	D	Y	-	Y	OK

context_dependent/cd_nested_function_safe.py (SAFE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	-	Y	OK
granite3.3:8b	B	Y	-	Y	OK
qwen2.5-coder:7b	A	Y	-	Y	OK
qwen2.5-coder:7b	B	Y	-	Y	OK
codellama:latest	A	Y	-	Y	OK
codellama:latest	B	Y	-	Y	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	Y	-	Y	OK
mistral-nemo:latest	A	Y	-	Y	OK
mistral-nemo:latest	B	Y	-	Y	OK
granite4:1b	A	Y	-	Y	OK
granite4:1b	B	Y	-	Y	OK
deepseek-coder-v2:16b	A	Y	-	Y	OK
deepseek-coder-v2:16b	B	Y	-	Y	OK
granite3.3:8b	C	Y	-	Y	OK
granite3.3:8b	D	Y	-	Y	OK
mistral-nemo:latest	C	Y	-	Y	OK
mistral-nemo:latest	D	Y	-	Y	OK
claude-haiku-4-5	C	Y	-	Y	OK
claude-haiku-4-5	D	Y	-	Y	OK
granite4:350m	A	Y	-	Y	OK
granite4:350m	B	N	-	-	OK
granite4:350m	C	N	-	-	OK
granite4:350m	D	Y	-	Y	OK
granite4:350m	E	N	-	-	OK
granite4:350m	F	Y	-	Y	OK
granite4:1b	C	Y	-	Y	OK
granite4:1b	D	Y	-	Y	OK
granite4:1b	E	Y	-	Y	OK
granite4:1b	F	Y	-	Y	OK
starcoder2:3b	A	N	-	-	ERR
starcoder2:3b	B	N	-	-	ERR
codellama:latest	C	Y	-	Y	OK
codellama:latest	D	Y	-	Y	OK

context_dependent/cd_partial_sanitize.py (VULNERABLE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	Y	-	OK
granite3.3:8b	B	Y	Y	-	OK
qwen2.5-coder:7b	A	Y	Y	-	OK
qwen2.5-coder:7b	B	Y	Y	-	OK
codellama:latest	A	Y	-	-	OK
codellama:latest	B	Y	-	-	OK
llama3:8b	A	Y	Y	-	OK
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	Y	Y	-	OK
mistral-nemo:latest	B	Y	Y	-	OK
granite4:1b	A	Y	-	-	OK
granite4:1b	B	Y	-	-	OK
deepseek-coder-v2:16b	A	Y	Y	-	OK
deepseek-coder-v2:16b	B	Y	Y	-	OK
granite3.3:8b	C	Y	Y	-	OK
granite3.3:8b	D	Y	Y	-	OK
mistral-nemo:latest	C	Y	Y	-	OK
mistral-nemo:latest	D	Y	Y	-	OK
claude-haiku-4-5	C	Y	Y	-	OK
claude-haiku-4-5	D	Y	Y	-	OK
granite4:350m	A	Y	-	-	OK
granite4:350m	B	N	-	-	ERR
granite4:350m	C	Y	Y	-	OK
granite4:350m	D	N	-	-	OK
granite4:350m	E	Y	Y	-	OK
granite4:350m	F	Y	Y	-	OK
granite4:1b	C	Y	Y	-	OK
granite4:1b	D	Y	Y	-	OK
granite4:1b	E	Y	Y	-	OK
granite4:1b	F	N	-	-	OK
starcoder2:3b	A	N	-	-	ERR
starcoder2:3b	B	N	-	-	ERR
codellama:latest	C	Y	Y	-	OK
codellama:latest	D	Y	Y	-	OK

context_dependent/cd_sanitized_before_sql.py (SAFE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	-	-	OK
granite3.3:8b	B	Y	-	-	OK
qwen2.5-coder:7b	A	Y	-	-	OK
qwen2.5-coder:7b	B	Y	-	-	OK
codellama:latest	A	Y	-	-	OK
codellama:latest	B	Y	-	-	OK
llama3:8b	A	Y	-	-	OK
llama3:8b	B	Y	-	-	OK
mistral-nemo:latest	A	Y	-	-	OK
mistral-nemo:latest	B	Y	-	-	OK
granite4:1b	A	Y	-	-	OK
granite4:1b	B	Y	-	-	OK
deepseek-coder-v2:16b	A	Y	-	-	OK
deepseek-coder-v2:16b	B	Y	-	-	OK
granite3.3:8b	C	Y	-	-	OK
granite3.3:8b	D	Y	-	-	OK
mistral-nemo:latest	C	Y	-	-	OK
mistral-nemo:latest	D	Y	-	-	OK
claude-haiku-4-5	C	Y	-	-	OK
claude-haiku-4-5	D	Y	-	-	OK
granite4:350m	A	N	-	-	ERR
granite4:350m	B	N	-	-	OK
granite4:350m	C	N	-	-	OK
granite4:350m	D	N	-	-	OK
granite4:350m	E	N	-	-	OK
granite4:350m	F	N	-	-	OK
granite4:1b	C	N	-	-	OK
granite4:1b	D	Y	-	-	OK
granite4:1b	E	Y	-	-	OK
granite4:1b	F	Y	-	-	OK
starcoder2:3b	A	N	-	-	ERR
starcoder2:3b	B	N	-	-	ERR
codellama:latest	C	Y	-	-	OK
codellama:latest	D	Y	-	-	OK

context_dependent/cd_tainted_after_check.py (VULNERABLE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	Y	-	OK
granite3.3:8b	B	N	-	-	ERR
qwen2.5-coder:7b	A	Y	Y	-	OK
qwen2.5-coder:7b	B	Y	Y	-	OK
codellama:latest	A	Y	-	-	OK
codellama:latest	B	Y	-	-	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	Y	Y	-	OK
mistral-nemo:latest	B	Y	Y	-	OK
granite4:1b	A	Y	-	-	OK
granite4:1b	B	Y	-	-	OK
deepseek-coder-v2:16b	A	Y	-	-	OK
deepseek-coder-v2:16b	B	N	-	-	ERR
granite3.3:8b	C	Y	Y	-	OK
granite3.3:8b	D	Y	Y	-	OK
mistral-nemo:latest	C	Y	Y	-	OK
mistral-nemo:latest	D	Y	Y	-	OK
claude-haiku-4-5	C	Y	Y	-	OK
claude-haiku-4-5	D	Y	Y	-	OK
granite4:350m	A	Y	-	-	OK
granite4:350m	B	Y	-	-	OK
granite4:350m	C	Y	Y	-	OK
granite4:350m	D	N	-	-	OK
granite4:350m	E	Y	Y	-	OK
granite4:350m	F	Y	Y	-	OK
granite4:1b	C	Y	Y	-	OK
granite4:1b	D	Y	Y	-	OK
granite4:1b	E	Y	Y	-	OK
granite4:1b	F	N	-	-	OK
starcoder2:3b	A	N	-	-	ERR
starcoder2:3b	B	N	-	-	ERR
codellama:latest	C	Y	Y	-	OK
codellama:latest	D	Y	Y	-	OK

context_dependent/cd_try_except_swallow.py (VULNERABLE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	-	-	OK
granite3.3:8b	B	Y	Y	-	OK
qwen2.5-coder:7b	A	Y	Y	-	OK
qwen2.5-coder:7b	B	Y	Y	-	OK
codellama:latest	A	Y	-	-	OK
codellama:latest	B	Y	-	-	OK
llama3:8b	A	Y	-	-	OK
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	Y	Y	-	OK
mistral-nemo:latest	B	Y	Y	-	OK
granite4:1b	A	Y	-	-	OK
granite4:1b	B	Y	-	-	OK
deepseek-coder-v2:16b	A	Y	-	-	OK
deepseek-coder-v2:16b	B	Y	-	-	OK
granite3.3:8b	C	Y	Y	-	OK
granite3.3:8b	D	Y	Y	-	OK
mistral-nemo:latest	C	Y	Y	-	OK
mistral-nemo:latest	D	Y	Y	-	OK
claude-haiku-4-5	C	Y	Y	-	OK
claude-haiku-4-5	D	Y	Y	-	OK
granite4:350m	A	Y	-	-	OK
granite4:350m	B	Y	-	-	OK
granite4:350m	C	Y	Y	-	OK
granite4:350m	D	N	-	-	OK
granite4:350m	E	Y	Y	-	OK
granite4:350m	F	Y	Y	-	OK
granite4:1b	C	Y	Y	-	OK
granite4:1b	D	N	-	-	OK
granite4:1b	E	Y	Y	-	OK
granite4:1b	F	Y	Y	-	OK
starcoder2:3b	A	N	-	-	ERR
starcoder2:3b	B	N	-	-	ERR
codellama:latest	C	Y	Y	-	OK
codellama:latest	D	Y	Y	-	OK

context_dependent/cd_user_object_method.py (SAFE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	-	Y	OK
granite3.3:8b	B	Y	-	Y	OK
qwen2.5-coder:7b	A	Y	-	Y	OK
qwen2.5-coder:7b	B	Y	-	Y	OK
codellama:latest	A	Y	-	Y	OK
codellama:latest	B	Y	-	Y	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	Y	-	Y	OK
mistral-nemo:latest	A	Y	-	Y	OK
mistral-nemo:latest	B	Y	-	Y	OK
granite4:1b	A	N	-	-	OK
granite4:1b	B	Y	-	Y	OK
deepseek-coder-v2:16b	A	Y	-	Y	OK
deepseek-coder-v2:16b	B	Y	-	Y	OK
granite3.3:8b	C	Y	-	Y	OK
granite3.3:8b	D	Y	-	Y	OK
mistral-nemo:latest	C	Y	-	Y	OK
mistral-nemo:latest	D	Y	-	Y	OK
claude-haiku-4-5	C	Y	-	Y	OK
claude-haiku-4-5	D	Y	-	Y	OK
granite4:350m	A	N	-	-	OK
granite4:350m	B	N	-	-	OK
granite4:350m	C	N	-	-	OK
granite4:350m	D	N	-	-	OK
granite4:350m	E	N	-	-	OK
granite4:350m	F	Y	-	Y	OK
granite4:1b	C	Y	-	Y	OK
granite4:1b	D	Y	-	Y	OK
granite4:1b	E	Y	-	Y	OK
granite4:1b	F	Y	-	Y	OK
starcoder2:3b	A	N	-	-	ERR
starcoder2:3b	B	N	-	-	ERR
codellama:latest	C	Y	-	Y	OK
codellama:latest	D	Y	-	Y	OK

context_dependent/cd_whitelist_check.py (SAFE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	-	Y	OK
granite3.3:8b	B	Y	-	Y	OK
qwen2.5-coder:7b	A	Y	-	Y	OK
qwen2.5-coder:7b	B	Y	-	Y	OK
codellama:latest	A	Y	-	Y	OK
codellama:latest	B	Y	-	Y	OK
llama3:8b	A	Y	-	Y	OK
llama3:8b	B	Y	-	Y	OK
mistral-nemo:latest	A	Y	-	Y	OK
mistral-nemo:latest	B	Y	-	Y	OK
granite4:1b	A	N	-	-	OK
granite4:1b	B	Y	-	Y	OK
deepseek-coder-v2:16b	A	Y	-	Y	OK
deepseek-coder-v2:16b	B	Y	-	Y	OK
granite3.3:8b	C	Y	-	Y	OK
granite3.3:8b	D	Y	-	Y	OK
mistral-nemo:latest	C	Y	-	Y	OK
mistral-nemo:latest	D	N	-	-	OK
claude-haiku-4-5	C	Y	-	Y	OK
claude-haiku-4-5	D	Y	-	Y	OK
granite4:350m	A	Y	-	Y	OK
granite4:350m	B	N	-	-	ERR
granite4:350m	C	N	-	-	OK
granite4:350m	D	N	-	-	OK
granite4:350m	E	N	-	-	OK
granite4:350m	F	Y	-	Y	OK
granite4:1b	C	N	-	-	OK
granite4:1b	D	N	-	-	OK
granite4:1b	E	N	-	-	OK
granite4:1b	F	Y	-	Y	OK
starcoder2:3b	A	N	-	-	ERR
starcoder2:3b	B	N	-	-	ERR
codellama:latest	C	Y	-	Y	OK
codellama:latest	D	N	-	-	OK

false_positives/fp_base64_decode.py (SAFE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	-	Y	OK
granite3.3:8b	B	Y	-	Y	OK
qwen2.5-coder:7b	A	Y	-	Y	OK
qwen2.5-coder:7b	B	Y	-	Y	OK
codellama:latest	A	N	-	-	OK
codellama:latest	B	N	-	-	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	Y	-	Y	OK
mistral-nemo:latest	A	Y	-	Y	OK
mistral-nemo:latest	B	Y	-	Y	OK
granite4:1b	A	Y	-	Y	OK
granite4:1b	B	N	-	-	OK
deepseek-coder-v2:16b	A	N	-	-	OK
deepseek-coder-v2:16b	B	N	-	-	OK
granite3.3:8b	C	Y	-	Y	OK
granite3.3:8b	D	Y	-	Y	OK
mistral-nemo:latest	C	Y	-	Y	OK
mistral-nemo:latest	D	Y	-	Y	OK
claude-haiku-4-5	C	Y	-	Y	OK
claude-haiku-4-5	D	Y	-	Y	OK
granite4:350m	A	N	-	-	OK
granite4:350m	B	N	-	-	OK
granite4:350m	C	N	-	-	OK
granite4:350m	D	N	-	-	OK
granite4:350m	E	N	-	-	OK
granite4:350m	F	N	-	-	OK
granite4:1b	C	Y	-	Y	OK
granite4:1b	D	Y	-	Y	OK
granite4:1b	E	Y	-	Y	OK
granite4:1b	F	Y	-	Y	OK
codellama:latest	C	Y	-	Y	OK

false_positives/fp_compile_pattern.py (SAFE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	N	-	-	OK
granite3.3:8b	B	Y	-	Y	OK
qwen2.5-coder:7b	A	N	-	-	OK
qwen2.5-coder:7b	B	N	-	-	OK
codellama:latest	A	N	-	-	OK
codellama:latest	B	N	-	-	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	Y	-	Y	OK
mistral-nemo:latest	B	N	-	-	OK
granite4:1b	A	N	-	-	OK
granite4:1b	B	N	-	-	OK
deepseek-coder-v2:16b	A	N	-	-	OK
deepseek-coder-v2:16b	B	N	-	-	OK
granite3.3:8b	C	Y	-	Y	OK
granite3.3:8b	D	Y	-	Y	OK
mistral-nemo:latest	C	Y	-	Y	OK
mistral-nemo:latest	D	Y	-	Y	OK
claude-haiku-4-5	C	Y	-	Y	OK
claude-haiku-4-5	D	Y	-	Y	OK
granite4:350m	A	N	-	-	OK
granite4:350m	B	N	-	-	OK
granite4:350m	C	N	-	-	OK
granite4:350m	D	Y	-	Y	OK
granite4:350m	E	N	-	-	OK
granite4:350m	F	Y	-	Y	OK
granite4:1b	C	Y	-	Y	OK
granite4:1b	D	Y	-	Y	OK
granite4:1b	E	Y	-	Y	OK
granite4:1b	F	Y	-	Y	OK
codellama:latest	C	Y	-	Y	OK

false_positives/fp_eval_constant.py (SAFE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	N	-	-	OK
granite3.3:8b	B	N	-	-	OK
qwen2.5-coder:7b	A	N	-	-	OK
qwen2.5-coder:7b	B	N	-	-	OK
codellama:latest	A	Y	-	Y	OK
codellama:latest	B	N	-	-	OK
llama3:8b	A	N	-	-	OK
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	N	-	-	OK
mistral-nemo:latest	B	N	-	-	OK
granite4:1b	A	N	-	-	OK
granite4:1b	B	N	-	-	OK
deepseek-coder-v2:16b	A	N	-	-	OK
deepseek-coder-v2:16b	B	N	-	-	OK
granite3.3:8b	C	Y	-	Y	OK
granite3.3:8b	D	Y	-	Y	OK
mistral-nemo:latest	C	Y	-	Y	OK
mistral-nemo:latest	D	Y	-	Y	OK
claude-haiku-4-5	C	Y	-	Y	OK
claude-haiku-4-5	D	Y	-	Y	OK
granite4:350m	A	N	-	-	OK
granite4:350m	B	N	-	-	ERR
granite4:350m	C	N	-	-	OK
granite4:350m	D	N	-	-	OK
granite4:350m	E	N	-	-	OK
granite4:350m	F	N	-	-	OK
granite4:1b	C	N	-	-	OK
granite4:1b	D	Y	-	Y	OK
granite4:1b	E	N	-	-	OK
granite4:1b	F	Y	-	Y	OK
codellama:latest	C	Y	-	Y	OK

false_positives/fp_eval_math.py (SAFE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	N	-	-	OK
granite3.3:8b	B	N	-	-	OK
qwen2.5-coder:7b	A	N	-	-	OK
qwen2.5-coder:7b	B	N	-	-	OK
codellama:latest	A	N	-	-	OK
codellama:latest	B	N	-	-	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	N	-	-	OK
mistral-nemo:latest	B	N	-	-	OK
granite4:1b	A	N	-	-	OK
granite4:1b	B	N	-	-	OK
deepseek-coder-v2:16b	A	N	-	-	OK
deepseek-coder-v2:16b	B	N	-	-	OK
granite3.3:8b	C	Y	-	Y	OK
granite3.3:8b	D	Y	-	Y	OK
mistral-nemo:latest	C	N	-	-	OK
mistral-nemo:latest	D	Y	-	Y	OK
claude-haiku-4-5	C	Y	-	Y	OK
claude-haiku-4-5	D	Y	-	Y	OK
granite4:350m	A	N	-	-	OK
granite4:350m	B	N	-	-	OK
granite4:350m	C	N	-	-	OK
granite4:350m	D	Y	-	Y	OK
granite4:350m	E	N	-	-	OK
granite4:350m	F	Y	-	Y	OK
granite4:1b	C	N	-	-	OK
granite4:1b	D	Y	-	Y	OK
granite4:1b	E	N	-	-	OK
granite4:1b	F	Y	-	Y	OK
codellama:latest	C	N	-	-	OK

false_positives/fp_exec_type_factory.py (SAFE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	N	-	-	OK
granite3.3:8b	B	N	-	-	OK
qwen2.5-coder:7b	A	N	-	-	OK
qwen2.5-coder:7b	B	N	-	-	OK
codellama:latest	A	N	-	-	OK
codellama:latest	B	N	-	-	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	N	-	-	OK
mistral-nemo:latest	B	N	-	-	OK
granite4:1b	A	N	-	-	OK
granite4:1b	B	N	-	-	OK
deepseek-coder-v2:16b	A	N	-	-	OK
deepseek-coder-v2:16b	B	N	-	-	OK
granite3.3:8b	C	N	-	-	OK
granite3.3:8b	D	N	-	-	OK
mistral-nemo:latest	C	N	-	-	OK
mistral-nemo:latest	D	Y	-	Y	OK
claude-haiku-4-5	C	Y	-	Y	OK
claude-haiku-4-5	D	Y	-	Y	OK
granite4:350m	A	N	-	-	OK
granite4:350m	B	N	-	-	ERR
granite4:350m	C	N	-	-	OK
granite4:350m	D	Y	-	Y	OK
granite4:350m	E	N	-	-	OK
granite4:350m	F	Y	-	Y	OK
granite4:1b	C	N	-	-	OK
granite4:1b	D	Y	-	Y	OK
granite4:1b	E	N	-	-	OK
granite4:1b	F	Y	-	Y	OK
codellama:latest	C	Y	-	Y	OK

false_positives/fp_format_string_log.py (SAFE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	-	Y	OK
granite3.3:8b	B	Y	-	Y	OK
qwen2.5-coder:7b	A	N	-	-	OK
qwen2.5-coder:7b	B	N	-	-	OK
codellama:latest	A	N	-	-	OK
codellama:latest	B	N	-	-	OK
llama3:8b	A	N	-	-	OK
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	N	-	-	OK
mistral-nemo:latest	B	N	-	-	OK
granite4:1b	A	N	-	-	OK
granite4:1b	B	N	-	-	OK
deepseek-coder-v2:16b	A	N	-	-	OK
deepseek-coder-v2:16b	B	Y	-	Y	OK
granite3.3:8b	C	Y	-	Y	OK
granite3.3:8b	D	Y	-	Y	OK
mistral-nemo:latest	C	N	-	-	OK
mistral-nemo:latest	D	Y	-	Y	OK
claude-haiku-4-5	C	Y	-	Y	OK
claude-haiku-4-5	D	Y	-	Y	OK
granite4:350m	A	N	-	-	OK
granite4:350m	B	N	-	-	ERR
granite4:350m	C	N	-	-	OK
granite4:350m	D	N	-	-	OK
granite4:350m	E	N	-	-	OK
granite4:350m	F	N	-	-	OK
granite4:1b	C	N	-	-	OK
granite4:1b	D	Y	-	Y	OK
granite4:1b	E	N	-	-	OK
granite4:1b	F	Y	-	Y	OK
codellama:latest	C	Y	-	Y	OK

false_positives/fp_hardcoded_test_key.py (SAFE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	N	-	-	OK
granite3.3:8b	B	N	-	-	OK
qwen2.5-coder:7b	A	N	-	-	OK
qwen2.5-coder:7b	B	N	-	-	OK
codellama:latest	A	N	-	-	OK
codellama:latest	B	N	-	-	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	N	-	-	OK
mistral-nemo:latest	B	Y	-	Y	OK
granite4:1b	A	N	-	-	OK
granite4:1b	B	N	-	-	OK
deepseek-coder-v2:16b	A	N	-	-	OK
deepseek-coder-v2:16b	B	N	-	-	OK
granite3.3:8b	C	Y	-	Y	OK
granite3.3:8b	D	Y	-	Y	OK
mistral-nemo:latest	C	Y	-	Y	OK
mistral-nemo:latest	D	Y	-	Y	OK
claude-haiku-4-5	C	Y	-	Y	OK
claude-haiku-4-5	D	Y	-	Y	OK
granite4:350m	A	N	-	-	OK
granite4:350m	B	N	-	-	OK
granite4:350m	C	N	-	-	OK
granite4:350m	D	Y	-	Y	OK
granite4:350m	E	N	-	-	OK
granite4:350m	F	Y	-	Y	OK
granite4:1b	C	N	-	-	OK
granite4:1b	D	Y	-	Y	OK
granite4:1b	E	N	-	-	OK
granite4:1b	F	Y	-	Y	OK
codellama:latest	C	Y	-	Y	OK

false_positives/fp_hmac_compare.py (SAFE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	N	-	-	OK
granite3.3:8b	B	N	-	-	OK
qwen2.5-coder:7b	A	N	-	-	OK
qwen2.5-coder:7b	B	N	-	-	OK
codellama:latest	A	N	-	-	OK
codellama:latest	B	N	-	-	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	N	-	-	OK
mistral-nemo:latest	B	N	-	-	OK
granite4:1b	A	N	-	-	OK
granite4:1b	B	N	-	-	OK
deepseek-coder-v2:16b	A	N	-	-	OK
deepseek-coder-v2:16b	B	N	-	-	OK
granite3.3:8b	C	N	-	-	OK
granite3.3:8b	D	N	-	-	OK
mistral-nemo:latest	C	N	-	-	OK
mistral-nemo:latest	D	N	-	-	OK
claude-haiku-4-5	C	Y	-	Y	OK
claude-haiku-4-5	D	Y	-	Y	OK
granite4:350m	A	N	-	-	OK
granite4:350m	B	N	-	-	ERR
granite4:350m	C	N	-	-	OK
granite4:350m	D	Y	-	Y	OK
granite4:350m	E	N	-	-	OK
granite4:350m	F	N	-	-	OK
granite4:1b	C	N	-	-	OK
granite4:1b	D	N	-	-	OK
granite4:1b	E	N	-	-	OK
granite4:1b	F	Y	-	Y	OK
codellama:latest	C	N	-	-	OK

false_positives/fp_html_escape.py (SAFE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	-	Y	OK
granite3.3:8b	B	Y	-	Y	OK
qwen2.5-coder:7b	A	Y	-	Y	OK
qwen2.5-coder:7b	B	Y	-	Y	OK
codellama:latest	A	Y	-	Y	OK
codellama:latest	B	N	-	-	OK
llama3:8b	A	N	-	-	OK
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	Y	-	Y	OK
mistral-nemo:latest	B	Y	-	Y	OK
granite4:1b	A	N	-	-	OK
granite4:1b	B	N	-	-	OK
deepseek-coder-v2:16b	A	N	-	-	OK
deepseek-coder-v2:16b	B	N	-	-	OK
granite3.3:8b	C	Y	-	Y	OK
granite3.3:8b	D	Y	-	Y	OK
mistral-nemo:latest	C	Y	-	Y	OK
mistral-nemo:latest	D	Y	-	Y	OK
claude-haiku-4-5	C	Y	-	Y	OK
claude-haiku-4-5	D	Y	-	Y	OK
granite4:350m	A	N	-	-	OK
granite4:350m	B	N	-	-	ERR
granite4:350m	C	N	-	-	OK
granite4:350m	D	Y	-	Y	OK
granite4:350m	E	N	-	-	OK
granite4:350m	F	Y	-	Y	OK
granite4:1b	C	N	-	-	OK
granite4:1b	D	Y	-	Y	OK
granite4:1b	E	N	-	-	OK
granite4:1b	F	Y	-	Y	OK
codellama:latest	C	Y	-	Y	OK

false_positives/fp_md5_cache_key.py (SAFE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	N	-	-	OK
granite3.3:8b	B	N	-	-	OK
qwen2.5-coder:7b	A	N	-	-	OK
qwen2.5-coder:7b	B	N	-	-	OK
codellama:latest	A	N	-	-	OK
codellama:latest	B	N	-	-	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	N	-	-	OK
mistral-nemo:latest	B	N	-	-	OK
granite4:1b	A	N	-	-	OK
granite4:1b	B	N	-	-	OK
deepseek-coder-v2:16b	A	N	-	-	OK
deepseek-coder-v2:16b	B	N	-	-	OK
granite3.3:8b	C	Y	-	Y	OK
granite3.3:8b	D	Y	-	Y	OK
mistral-nemo:latest	C	Y	-	Y	OK
mistral-nemo:latest	D	Y	-	Y	OK
claude-haiku-4-5	C	Y	-	Y	OK
claude-haiku-4-5	D	N	-	-	OK
granite4:350m	A	N	-	-	ERR
granite4:350m	B	N	-	-	OK
granite4:350m	C	N	-	-	OK
granite4:350m	D	Y	-	Y	OK
granite4:350m	E	N	-	-	OK
granite4:350m	F	Y	-	Y	OK
granite4:1b	C	N	-	-	OK
granite4:1b	D	Y	-	Y	OK
granite4:1b	E	N	-	-	OK
granite4:1b	F	Y	-	Y	OK
codellama:latest	C	Y	-	Y	OK

false_positives/fp_md5_checksum.py (SAFE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	-	Y	OK
granite3.3:8b	B	Y	-	Y	OK
qwen2.5-coder:7b	A	N	-	-	OK
qwen2.5-coder:7b	B	N	-	-	OK
codellama:latest	A	N	-	-	OK
codellama:latest	B	N	-	-	OK
llama3:8b	A	N	-	-	OK
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	Y	-	Y	OK
mistral-nemo:latest	B	N	-	-	OK
granite4:1b	A	N	-	-	OK
granite4:1b	B	N	-	-	OK
deepseek-coder-v2:16b	A	N	-	-	OK
deepseek-coder-v2:16b	B	N	-	-	OK
granite3.3:8b	C	Y	-	Y	OK
granite3.3:8b	D	Y	-	Y	OK
mistral-nemo:latest	C	Y	-	Y	OK
mistral-nemo:latest	D	Y	-	Y	OK
claude-haiku-4-5	C	Y	-	Y	OK
claude-haiku-4-5	D	Y	-	Y	OK
granite4:350m	A	N	-	-	OK
granite4:350m	B	N	-	-	OK
granite4:350m	C	N	-	-	OK
granite4:350m	D	Y	-	Y	OK
granite4:350m	E	N	-	-	OK
granite4:350m	F	Y	-	Y	OK
granite4:1b	C	N	-	-	OK
granite4:1b	D	Y	-	Y	OK
granite4:1b	E	N	-	-	OK
granite4:1b	F	Y	-	Y	OK
codellama:latest	C	Y	-	Y	OK

false_positives/fp_os_path_join_safe.py (SAFE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	-	Y	OK
granite3.3:8b	B	Y	-	Y	OK
qwen2.5-coder:7b	A	Y	-	Y	OK
qwen2.5-coder:7b	B	Y	-	Y	OK
codellama:latest	A	Y	-	Y	OK
codellama:latest	B	N	-	-	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	Y	-	Y	OK
mistral-nemo:latest	A	Y	-	Y	OK
mistral-nemo:latest	B	Y	-	Y	OK
granite4:1b	A	N	-	-	OK
granite4:1b	B	N	-	-	OK
deepseek-coder-v2:16b	A	Y	-	Y	OK
deepseek-coder-v2:16b	B	N	-	-	OK
granite3.3:8b	C	Y	-	Y	OK
granite3.3:8b	D	Y	-	Y	OK
mistral-nemo:latest	C	Y	-	Y	OK
mistral-nemo:latest	D	Y	-	Y	OK
claude-haiku-4-5	C	Y	-	Y	OK
claude-haiku-4-5	D	Y	-	Y	OK
granite4:350m	A	N	-	-	OK
granite4:350m	B	N	-	-	ERR
granite4:350m	C	N	-	-	OK
granite4:350m	D	Y	-	Y	OK
granite4:350m	E	N	-	-	OK
granite4:350m	F	Y	-	Y	OK
granite4:1b	C	Y	-	Y	OK
granite4:1b	D	Y	-	Y	OK
granite4:1b	E	Y	-	Y	OK
granite4:1b	F	Y	-	Y	OK
codellama:latest	C	Y	-	Y	OK

false_positives/fp_os_system_literal.py (SAFE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	N	-	-	OK
granite3.3:8b	B	Y	-	Y	OK
qwen2.5-coder:7b	A	N	-	-	OK
qwen2.5-coder:7b	B	N	-	-	OK
codellama:latest	A	N	-	-	OK
codellama:latest	B	N	-	-	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	N	-	-	OK
mistral-nemo:latest	B	N	-	-	OK
granite4:1b	A	N	-	-	OK
granite4:1b	B	N	-	-	OK
deepseek-coder-v2:16b	A	N	-	-	OK
deepseek-coder-v2:16b	B	N	-	-	OK
granite3.3:8b	C	Y	-	Y	OK
granite3.3:8b	D	Y	-	Y	OK
mistral-nemo:latest	C	Y	-	Y	OK
mistral-nemo:latest	D	Y	-	Y	OK
claude-haiku-4-5	C	Y	-	Y	OK
claude-haiku-4-5	D	Y	-	Y	OK
granite4:350m	A	N	-	-	OK
granite4:350m	B	N	-	-	ERR
granite4:350m	C	N	-	-	OK
granite4:350m	D	Y	-	Y	OK
granite4:350m	E	N	-	-	OK
granite4:350m	F	Y	-	Y	OK
granite4:1b	C	N	-	-	OK
granite4:1b	D	Y	-	Y	OK
granite4:1b	E	N	-	-	OK
granite4:1b	F	Y	-	Y	OK
codellama:latest	C	N	-	-	OK

false_positives/fp_parameterized_query.py (SAFE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	-	Y	OK
granite3.3:8b	B	Y	-	Y	OK
qwen2.5-coder:7b	A	Y	-	Y	OK
qwen2.5-coder:7b	B	Y	-	Y	OK
codellama:latest	A	N	-	-	OK
codellama:latest	B	N	-	-	OK
llama3:8b	A	Y	-	Y	OK
llama3:8b	B	Y	-	Y	OK
mistral-nemo:latest	A	Y	-	Y	OK
mistral-nemo:latest	B	Y	-	Y	OK
granite4:1b	A	Y	-	Y	OK
granite4:1b	B	Y	-	Y	OK
deepseek-coder-v2:16b	A	Y	-	Y	OK
deepseek-coder-v2:16b	B	Y	-	Y	OK
granite3.3:8b	C	Y	-	Y	OK
granite3.3:8b	D	Y	-	Y	OK
mistral-nemo:latest	C	Y	-	Y	OK
mistral-nemo:latest	D	Y	-	Y	OK
claude-haiku-4-5	C	Y	-	Y	OK
claude-haiku-4-5	D	Y	-	Y	OK
granite4:350m	A	N	-	-	OK
granite4:350m	B	N	-	-	ERR
granite4:350m	C	N	-	-	OK
granite4:350m	D	Y	-	Y	OK
granite4:350m	E	N	-	-	OK
granite4:350m	F	Y	-	Y	OK
granite4:1b	C	Y	-	Y	OK
granite4:1b	D	Y	-	Y	OK
granite4:1b	E	Y	-	Y	OK
granite4:1b	F	Y	-	Y	OK
codellama:latest	C	Y	-	Y	OK

false_positives/fp_pickle_trusted_cache.py (SAFE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	N	-	-	OK
granite3.3:8b	B	N	-	-	OK
qwen2.5-coder:7b	A	N	-	-	OK
qwen2.5-coder:7b	B	N	-	-	OK
codellama:latest	A	N	-	-	OK
codellama:latest	B	N	-	-	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	N	-	-	OK
mistral-nemo:latest	A	N	-	-	OK
mistral-nemo:latest	B	N	-	-	OK
granite4:1b	A	N	-	-	OK
granite4:1b	B	N	-	-	OK
deepseek-coder-v2:16b	A	N	-	-	OK
deepseek-coder-v2:16b	B	N	-	-	OK
granite3.3:8b	C	N	-	-	OK
granite3.3:8b	D	N	-	-	OK
mistral-nemo:latest	C	N	-	-	OK
mistral-nemo:latest	D	N	-	-	OK
claude-haiku-4-5	C	Y	-	Y	OK
claude-haiku-4-5	D	Y	-	Y	OK
granite4:350m	A	N	-	-	OK
granite4:350m	B	N	-	-	OK
granite4:350m	C	N	-	-	OK
granite4:350m	D	Y	-	Y	OK
granite4:350m	E	N	-	-	OK
granite4:350m	F	N	-	-	OK
granite4:1b	C	N	-	-	OK
granite4:1b	D	N	-	-	OK
granite4:1b	E	N	-	-	OK
granite4:1b	F	Y	-	Y	OK
codellama:latest	C	N	-	-	OK

false_positives/fp_random_seed.py (SAFE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	-	Y	OK
granite3.3:8b	B	Y	-	Y	OK
qwen2.5-coder:7b	A	Y	-	Y	OK
qwen2.5-coder:7b	B	Y	-	Y	OK
codellama:latest	A	Y	-	Y	OK
codellama:latest	B	N	-	-	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	Y	-	Y	OK
mistral-nemo:latest	A	Y	-	Y	OK
mistral-nemo:latest	B	Y	-	Y	OK
granite4:1b	A	N	-	-	OK
granite4:1b	B	N	-	-	OK
deepseek-coder-v2:16b	A	N	-	-	OK
deepseek-coder-v2:16b	B	N	-	-	OK
granite3.3:8b	C	Y	-	Y	OK
granite3.3:8b	D	Y	-	Y	OK
mistral-nemo:latest	C	Y	-	Y	OK
mistral-nemo:latest	D	Y	-	Y	OK
claude-haiku-4-5	C	Y	-	Y	OK
claude-haiku-4-5	D	Y	-	Y	OK
granite4:350m	A	N	-	-	OK
granite4:350m	B	N	-	-	OK
granite4:350m	C	N	-	-	OK
granite4:350m	D	Y	-	Y	OK
granite4:350m	E	N	-	-	OK
granite4:350m	F	Y	-	Y	OK
granite4:1b	C	Y	-	Y	OK
granite4:1b	D	Y	-	Y	OK
granite4:1b	E	Y	-	Y	OK
granite4:1b	F	Y	-	Y	OK
codellama:latest	C	Y	-	Y	OK

false_positives/fp_requests_internal.py (SAFE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	N	-	-	OK
granite3.3:8b	B	Y	-	Y	OK
qwen2.5-coder:7b	A	N	-	-	OK
qwen2.5-coder:7b	B	N	-	-	OK
codellama:latest	A	Y	-	Y	OK
codellama:latest	B	N	-	-	OK
llama3:8b	A	N	-	-	OK
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	Y	-	Y	OK
mistral-nemo:latest	B	N	-	-	OK
granite4:1b	A	N	-	-	OK
granite4:1b	B	N	-	-	OK
deepseek-coder-v2:16b	A	N	-	-	OK
deepseek-coder-v2:16b	B	N	-	-	OK
granite3.3:8b	C	Y	-	Y	OK
granite3.3:8b	D	Y	-	Y	OK
mistral-nemo:latest	C	Y	-	Y	OK
mistral-nemo:latest	D	Y	-	Y	OK
claude-haiku-4-5	C	Y	-	Y	OK
claude-haiku-4-5	D	N	-	-	OK
granite4:350m	A	N	-	-	OK
granite4:350m	B	N	-	-	ERR
granite4:350m	C	N	-	-	OK
granite4:350m	D	N	-	-	OK
granite4:350m	E	N	-	-	OK
granite4:350m	F	N	-	-	OK
granite4:1b	C	N	-	-	OK
granite4:1b	D	Y	-	Y	OK
granite4:1b	E	N	-	-	OK
granite4:1b	F	Y	-	Y	OK
codellama:latest	C	Y	-	Y	OK

false_positives/fp_serialize_json.py (SAFE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	N	-	-	OK
granite3.3:8b	B	N	-	-	OK
qwen2.5-coder:7b	A	N	-	-	OK
qwen2.5-coder:7b	B	N	-	-	OK
codellama:latest	A	N	-	-	OK
codellama:latest	B	N	-	-	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	N	-	-	OK
mistral-nemo:latest	B	N	-	-	OK
granite4:1b	A	N	-	-	OK
granite4:1b	B	N	-	-	OK
deepseek-coder-v2:16b	A	N	-	-	OK
deepseek-coder-v2:16b	B	N	-	-	OK
granite3.3:8b	C	N	-	-	OK
granite3.3:8b	D	N	-	-	OK
mistral-nemo:latest	C	N	-	-	OK
mistral-nemo:latest	D	N	-	-	OK
claude-haiku-4-5	C	Y	-	Y	OK
claude-haiku-4-5	D	Y	-	Y	OK
granite4:350m	A	N	-	-	OK
granite4:350m	B	N	-	-	OK
granite4:350m	C	N	-	-	OK
granite4:350m	D	N	-	-	OK
granite4:350m	E	N	-	-	OK
granite4:350m	F	Y	-	Y	OK
granite4:1b	C	N	-	-	OK
granite4:1b	D	N	-	-	OK
granite4:1b	E	N	-	-	OK
granite4:1b	F	Y	-	Y	OK
codellama:latest	C	N	-	-	OK

false_positives/fp_sha1_fingerprint.py (SAFE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	-	Y	OK
granite3.3:8b	B	Y	-	Y	OK
qwen2.5-coder:7b	A	N	-	-	OK
qwen2.5-coder:7b	B	N	-	-	OK
codellama:latest	A	N	-	-	OK
codellama:latest	B	N	-	-	OK
llama3:8b	A	N	-	-	OK
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	Y	-	Y	OK
mistral-nemo:latest	B	Y	-	Y	OK
granite4:1b	A	N	-	-	OK
granite4:1b	B	N	-	-	OK
deepseek-coder-v2:16b	A	N	-	-	OK
deepseek-coder-v2:16b	B	Y	-	Y	OK
granite3.3:8b	C	Y	-	Y	OK
granite3.3:8b	D	Y	-	Y	OK
mistral-nemo:latest	C	Y	-	Y	OK
mistral-nemo:latest	D	Y	-	Y	OK
claude-haiku-4-5	C	Y	-	Y	OK
claude-haiku-4-5	D	Y	-	Y	OK
granite4:350m	A	Y	-	Y	OK
granite4:350m	B	N	-	-	OK
granite4:350m	C	N	-	-	OK
granite4:350m	D	Y	-	Y	OK
granite4:350m	E	N	-	-	OK
granite4:350m	F	Y	-	Y	OK
granite4:1b	C	N	-	-	OK
granite4:1b	D	Y	-	Y	OK
granite4:1b	E	N	-	-	OK
granite4:1b	F	Y	-	Y	OK
codellama:latest	C	Y	-	Y	OK

false_positives/fp_sha1_git_hash.py (SAFE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	N	-	-	OK
granite3.3:8b	B	Y	-	Y	OK
qwen2.5-coder:7b	A	N	-	-	OK
qwen2.5-coder:7b	B	N	-	-	OK
codellama:latest	A	N	-	-	OK
codellama:latest	B	N	-	-	OK
llama3:8b	A	N	-	-	OK
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	Y	-	Y	OK
mistral-nemo:latest	B	Y	-	Y	OK
granite4:1b	A	N	-	-	ERR
granite4:1b	B	N	-	-	OK
deepseek-coder-v2:16b	A	N	-	-	OK
deepseek-coder-v2:16b	B	N	-	-	OK
granite3.3:8b	C	Y	-	Y	OK
granite3.3:8b	D	Y	-	Y	OK
mistral-nemo:latest	C	Y	-	Y	OK
mistral-nemo:latest	D	Y	-	Y	OK
claude-haiku-4-5	C	Y	-	Y	OK
claude-haiku-4-5	D	Y	-	Y	OK
granite4:350m	A	N	-	-	OK
granite4:350m	B	N	-	-	OK
granite4:350m	C	N	-	-	OK
granite4:350m	D	Y	-	Y	OK
granite4:350m	E	N	-	-	OK
granite4:350m	F	Y	-	Y	OK
granite4:1b	C	N	-	-	OK
granite4:1b	D	Y	-	Y	OK
granite4:1b	E	Y	-	Y	OK
granite4:1b	F	Y	-	Y	OK
codellama:latest	C	Y	-	Y	OK

false_positives/fp_sqlalchemy_orm.py (SAFE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	N	-	-	OK
granite3.3:8b	B	N	-	-	OK
qwen2.5-coder:7b	A	N	-	-	OK
qwen2.5-coder:7b	B	N	-	-	OK
codellama:latest	A	N	-	-	OK
codellama:latest	B	N	-	-	OK
llama3:8b	A	N	-	-	OK
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	N	-	-	OK
mistral-nemo:latest	B	N	-	-	OK
granite4:1b	A	N	-	-	OK
granite4:1b	B	N	-	-	OK
deepseek-coder-v2:16b	A	N	-	-	OK
deepseek-coder-v2:16b	B	N	-	-	OK
granite3.3:8b	C	N	-	-	OK
granite3.3:8b	D	Y	-	Y	OK
mistral-nemo:latest	C	N	-	-	OK
mistral-nemo:latest	D	Y	-	Y	OK
claude-haiku-4-5	C	Y	-	Y	OK
claude-haiku-4-5	D	Y	-	Y	OK
granite4:350m	A	N	-	-	OK
granite4:350m	B	N	-	-	OK
granite4:350m	C	N	-	-	OK
granite4:350m	D	Y	-	Y	OK
granite4:350m	E	N	-	-	OK
granite4:350m	F	Y	-	Y	OK
granite4:1b	C	N	-	-	OK
granite4:1b	D	Y	-	Y	OK
granite4:1b	E	N	-	-	OK
granite4:1b	F	Y	-	Y	OK
codellama:latest	C	Y	-	Y	OK

false_positives/fp_subprocess_fixed_cmd.py (SAFE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	N	-	-	OK
granite3.3:8b	B	N	-	-	OK
qwen2.5-coder:7b	A	N	-	-	OK
qwen2.5-coder:7b	B	N	-	-	OK
codellama:latest	A	N	-	-	OK
codellama:latest	B	N	-	-	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	N	-	-	OK
mistral-nemo:latest	B	N	-	-	OK
granite4:1b	A	N	-	-	OK
granite4:1b	B	N	-	-	OK
deepseek-coder-v2:16b	A	N	-	-	OK
deepseek-coder-v2:16b	B	N	-	-	OK
granite3.3:8b	C	Y	-	Y	OK
granite3.3:8b	D	Y	-	Y	OK
mistral-nemo:latest	C	Y	-	Y	OK
mistral-nemo:latest	D	Y	-	Y	OK
claude-haiku-4-5	C	Y	-	Y	OK
claude-haiku-4-5	D	Y	-	Y	OK
granite4:350m	A	N	-	-	OK
granite4:350m	B	N	-	-	OK
granite4:350m	C	N	-	-	OK
granite4:350m	D	Y	-	Y	OK
granite4:350m	E	N	-	-	OK
granite4:350m	F	Y	-	Y	OK
granite4:1b	C	N	-	-	OK
granite4:1b	D	Y	-	Y	OK
granite4:1b	E	N	-	-	OK
granite4:1b	F	Y	-	Y	OK
codellama:latest	C	N	-	-	OK

false_positives/fp_subprocess_list_args.py (SAFE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	N	-	-	OK
granite3.3:8b	B	Y	-	Y	OK
qwen2.5-coder:7b	A	N	-	-	OK
qwen2.5-coder:7b	B	N	-	-	OK
codellama:latest	A	N	-	-	OK
codellama:latest	B	N	-	-	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	Y	-	Y	OK
mistral-nemo:latest	B	Y	-	Y	OK
granite4:1b	A	N	-	-	OK
granite4:1b	B	N	-	-	OK
deepseek-coder-v2:16b	A	N	-	-	OK
deepseek-coder-v2:16b	B	Y	-	Y	OK
granite3.3:8b	C	Y	-	Y	OK
granite3.3:8b	D	Y	-	Y	OK
mistral-nemo:latest	C	Y	-	Y	OK
mistral-nemo:latest	D	Y	-	Y	OK
claude-haiku-4-5	C	Y	-	Y	OK
claude-haiku-4-5	D	Y	-	Y	OK
granite4:350m	A	N	-	-	OK
granite4:350m	B	N	-	-	OK
granite4:350m	C	N	-	-	OK
granite4:350m	D	N	-	-	OK
granite4:350m	E	N	-	-	OK
granite4:350m	F	N	-	-	OK
granite4:1b	C	N	-	-	OK
granite4:1b	D	Y	-	Y	OK
granite4:1b	E	N	-	-	OK
granite4:1b	F	Y	-	Y	OK
codellama:latest	C	N	-	-	OK

false_positives/fp_tempfile_named.py (SAFE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	N	-	-	OK
granite3.3:8b	B	N	-	-	OK
qwen2.5-coder:7b	A	N	-	-	OK
qwen2.5-coder:7b	B	N	-	-	OK
codellama:latest	A	N	-	-	OK
codellama:latest	B	N	-	-	OK
llama3:8b	A	N	-	-	OK
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	N	-	-	OK
mistral-nemo:latest	B	N	-	-	OK
granite4:1b	A	N	-	-	OK
granite4:1b	B	N	-	-	OK
deepseek-coder-v2:16b	A	N	-	-	OK
deepseek-coder-v2:16b	B	N	-	-	OK
granite3.3:8b	C	Y	-	Y	OK
granite3.3:8b	D	N	-	-	OK
mistral-nemo:latest	C	Y	-	Y	OK
mistral-nemo:latest	D	N	-	-	OK
claude-haiku-4-5	C	Y	-	Y	OK
claude-haiku-4-5	D	Y	-	Y	OK
granite4:350m	A	N	-	-	OK
granite4:350m	B	N	-	-	OK
granite4:350m	C	N	-	-	OK
granite4:350m	D	Y	-	Y	OK
granite4:350m	E	N	-	-	OK
granite4:350m	F	N	-	-	OK
granite4:1b	C	N	-	-	OK
granite4:1b	D	N	-	-	OK
granite4:1b	E	N	-	-	OK
granite4:1b	F	Y	-	Y	OK
codellama:latest	C	Y	-	Y	OK

false_positives/fp_template_autoescaped.py (SAFE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	-	Y	OK
granite3.3:8b	B	Y	-	Y	OK
qwen2.5-coder:7b	A	Y	-	Y	OK
qwen2.5-coder:7b	B	Y	-	Y	OK
codellama:latest	A	Y	-	Y	OK
codellama:latest	B	N	-	-	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	Y	-	Y	OK
mistral-nemo:latest	B	Y	-	Y	OK
granite4:1b	A	N	-	-	OK
granite4:1b	B	N	-	-	OK
deepseek-coder-v2:16b	A	Y	-	Y	OK
deepseek-coder-v2:16b	B	N	-	-	OK
granite3.3:8b	C	Y	-	Y	OK
granite3.3:8b	D	Y	-	Y	OK
mistral-nemo:latest	C	Y	-	Y	OK
mistral-nemo:latest	D	Y	-	Y	OK
claude-haiku-4-5	C	Y	-	Y	OK
claude-haiku-4-5	D	Y	-	Y	OK
granite4:350m	A	N	-	-	OK
granite4:350m	B	N	-	-	OK
granite4:350m	C	N	-	-	OK
granite4:350m	D	Y	-	Y	OK
granite4:350m	E	N	-	-	OK
granite4:350m	F	Y	-	Y	OK
granite4:1b	C	N	-	-	OK
granite4:1b	D	Y	-	Y	OK
granite4:1b	E	N	-	-	OK
granite4:1b	F	Y	-	Y	OK
codellama:latest	C	Y	-	Y	OK

true_positives/tp_command_injection_arg.py (VULNERABLE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	Y	-	OK
granite3.3:8b	B	Y	Y	-	OK
qwen2.5-coder:7b	A	Y	Y	-	OK
qwen2.5-coder:7b	B	Y	Y	-	OK
codellama:latest	A	Y	Y	-	OK
codellama:latest	B	Y	Y	-	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	Y	Y	-	OK
mistral-nemo:latest	B	Y	Y	-	OK
granite4:1b	A	Y	Y	-	OK
granite4:1b	B	Y	Y	-	OK
deepseek-coder-v2:16b	A	Y	Y	-	OK
deepseek-coder-v2:16b	B	Y	Y	-	OK
granite3.3:8b	C	Y	Y	-	OK
granite3.3:8b	D	Y	Y	-	OK
mistral-nemo:latest	C	Y	Y	-	OK
mistral-nemo:latest	D	Y	Y	-	OK
claude-haiku-4-5	C	Y	Y	-	OK
claude-haiku-4-5	D	Y	Y	-	OK
granite4:350m	A	Y	-	-	OK
granite4:350m	B	N	-	-	ERR
granite4:350m	C	Y	Y	-	OK
granite4:350m	D	N	-	-	OK
granite4:350m	E	Y	Y	-	OK
granite4:350m	F	Y	Y	-	OK
granite4:1b	C	Y	Y	-	OK
granite4:1b	D	Y	Y	-	OK
granite4:1b	E	Y	Y	-	OK
granite4:1b	F	N	-	-	OK
codellama:latest	C	Y	Y	-	OK

true_positives/tp_deserialization_shelve.py (VULNERABLE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	-	-	OK
granite3.3:8b	B	Y	-	-	OK
qwen2.5-coder:7b	A	Y	-	-	OK
qwen2.5-coder:7b	B	Y	-	-	OK
codellama:latest	A	Y	-	-	OK
codellama:latest	B	Y	-	-	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	Y	-	-	OK
mistral-nemo:latest	B	Y	-	-	OK
granite4:1b	A	Y	-	-	OK
granite4:1b	B	Y	-	-	OK
deepseek-coder-v2:16b	A	Y	Y	-	OK
deepseek-coder-v2:16b	B	Y	Y	-	OK
granite3.3:8b	C	Y	-	-	OK
granite3.3:8b	D	Y	Y	-	OK
mistral-nemo:latest	C	Y	Y	-	OK
mistral-nemo:latest	D	N	Y	-	OK
claude-haiku-4-5	C	Y	Y	-	OK
claude-haiku-4-5	D	Y	Y	-	OK
granite4:350m	A	Y	-	-	OK
granite4:350m	B	Y	-	-	OK
granite4:350m	C	Y	Y	-	OK
granite4:350m	D	Y	-	-	OK
granite4:350m	E	Y	Y	-	OK
granite4:350m	F	N	-	-	OK
granite4:1b	C	Y	Y	-	OK
granite4:1b	D	Y	Y	-	OK
granite4:1b	E	Y	Y	-	OK
granite4:1b	F	N	-	-	OK
codellama:latest	C	Y	Y	-	OK

true_positives/tp_eval_user_input.py (VULNERABLE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	-	-	OK
granite3.3:8b	B	Y	-	-	OK
qwen2.5-coder:7b	A	Y	-	-	OK
qwen2.5-coder:7b	B	Y	-	-	OK
codellama:latest	A	Y	Y	-	OK
codellama:latest	B	Y	Y	-	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	Y	-	-	OK
mistral-nemo:latest	B	Y	-	-	OK
granite4:1b	A	Y	-	-	OK
granite4:1b	B	Y	-	-	OK
deepseek-coder-v2:16b	A	Y	-	-	OK
deepseek-coder-v2:16b	B	Y	-	-	OK
granite3.3:8b	C	Y	-	-	OK
granite3.3:8b	D	Y	-	-	OK
mistral-nemo:latest	C	Y	-	-	OK
mistral-nemo:latest	D	Y	-	-	OK
claude-haiku-4-5	C	Y	-	-	OK
claude-haiku-4-5	D	Y	-	-	OK
granite4:350m	A	Y	-	-	OK
granite4:350m	B	Y	-	-	OK
granite4:350m	C	Y	-	-	OK
granite4:350m	D	N	-	-	OK
granite4:350m	E	Y	-	-	OK
granite4:350m	F	Y	-	-	OK
granite4:1b	C	Y	-	-	OK
granite4:1b	D	Y	Y	-	OK
granite4:1b	E	Y	-	-	OK
granite4:1b	F	N	-	-	OK
codellama:latest	C	Y	-	-	OK

true_positives/tp_exec_flask_script.py (VULNERABLE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	-	-	OK
granite3.3:8b	B	Y	-	-	OK
qwen2.5-coder:7b	A	Y	-	-	OK
qwen2.5-coder:7b	B	Y	-	-	OK
codellama:latest	A	Y	Y	-	OK
codellama:latest	B	Y	Y	-	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	Y	-	-	OK
mistral-nemo:latest	B	Y	-	-	OK
granite4:1b	A	Y	-	-	OK
granite4:1b	B	Y	-	-	OK
deepseek-coder-v2:16b	A	Y	-	-	OK
deepseek-coder-v2:16b	B	Y	-	-	OK
granite3.3:8b	C	N	-	-	ERR
granite3.3:8b	D	Y	Y	-	OK
mistral-nemo:latest	C	Y	-	-	OK
mistral-nemo:latest	D	N	-	-	OK
claude-haiku-4-5	C	Y	-	-	OK
claude-haiku-4-5	D	Y	-	-	OK
granite4:350m	A	Y	-	-	OK
granite4:350m	B	N	-	-	ERR
granite4:350m	C	Y	-	-	OK
granite4:350m	D	Y	-	-	OK
granite4:350m	E	Y	-	-	OK
granite4:350m	F	N	-	-	OK
granite4:1b	C	Y	-	-	OK
granite4:1b	D	N	-	-	ERR
granite4:1b	E	Y	-	-	OK
granite4:1b	F	N	-	-	OK
codellama:latest	C	Y	-	-	OK

true_positives/tp_exec_user_code.py (VULNERABLE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	-	-	OK
granite3.3:8b	B	Y	-	-	OK
qwen2.5-coder:7b	A	Y	-	-	OK
qwen2.5-coder:7b	B	Y	-	-	OK
codellama:latest	A	Y	Y	-	OK
codellama:latest	B	Y	Y	-	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	Y	-	-	OK
mistral-nemo:latest	A	Y	-	-	OK
mistral-nemo:latest	B	Y	-	-	OK
granite4:1b	A	Y	-	-	OK
granite4:1b	B	Y	-	-	OK
deepseek-coder-v2:16b	A	Y	-	-	OK
deepseek-coder-v2:16b	B	Y	-	-	OK
granite3.3:8b	C	Y	-	-	OK
granite3.3:8b	D	Y	Y	-	OK
mistral-nemo:latest	C	Y	-	-	OK
mistral-nemo:latest	D	Y	-	-	OK
claude-haiku-4-5	C	Y	-	-	OK
claude-haiku-4-5	D	Y	-	-	OK
granite4:350m	A	Y	-	-	OK
granite4:350m	B	Y	-	-	OK
granite4:350m	C	Y	-	-	OK
granite4:350m	D	N	-	-	OK
granite4:350m	E	Y	-	-	OK
granite4:350m	F	Y	-	-	OK
granite4:1b	C	Y	-	-	OK
granite4:1b	D	N	Y	-	OK
granite4:1b	E	Y	-	-	OK
granite4:1b	F	N	-	-	OK
codellama:latest	C	Y	-	-	OK

true_positives/tp_format_string_vuln.py (VULNERABLE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	-	-	OK
granite3.3:8b	B	Y	-	-	OK
qwen2.5-coder:7b	A	Y	Y	-	OK
qwen2.5-coder:7b	B	Y	Y	-	OK
codellama:latest	A	Y	Y	-	OK
codellama:latest	B	Y	Y	-	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	Y	-	-	OK
mistral-nemo:latest	B	Y	-	-	OK
granite4:1b	A	Y	-	-	OK
granite4:1b	B	N	-	-	ERR
deepseek-coder-v2:16b	A	Y	-	-	OK
deepseek-coder-v2:16b	B	Y	-	-	OK
granite3.3:8b	C	Y	-	-	OK
granite3.3:8b	D	Y	-	-	OK
mistral-nemo:latest	C	Y	-	-	OK
mistral-nemo:latest	D	Y	-	-	OK
claude-haiku-4-5	C	Y	-	-	OK
claude-haiku-4-5	D	Y	-	-	OK
granite4:350m	A	Y	-	-	OK
granite4:350m	B	Y	-	-	OK
granite4:350m	C	Y	-	-	OK
granite4:350m	D	Y	-	-	OK
granite4:350m	E	Y	-	-	OK
granite4:350m	F	N	-	-	OK
granite4:1b	C	Y	-	-	OK
granite4:1b	D	Y	Y	-	OK
granite4:1b	E	Y	-	-	OK
granite4:1b	F	N	-	-	OK
codellama:latest	C	Y	-	-	OK

true_positives/tp_hardcoded_api_key.py (VULNERABLE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	-	-	OK
granite3.3:8b	B	Y	-	-	OK
qwen2.5-coder:7b	A	Y	Y	-	OK
qwen2.5-coder:7b	B	Y	Y	-	OK
codellama:latest	A	Y	-	-	OK
codellama:latest	B	Y	-	-	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	Y	Y	-	OK
mistral-nemo:latest	B	Y	-	-	OK
granite4:1b	A	Y	Y	-	OK
granite4:1b	B	Y	Y	-	OK
deepseek-coder-v2:16b	A	Y	-	-	OK
deepseek-coder-v2:16b	B	Y	-	-	OK
granite3.3:8b	C	Y	-	-	OK
granite3.3:8b	D	Y	Y	-	OK
mistral-nemo:latest	C	Y	-	-	OK
mistral-nemo:latest	D	Y	Y	-	OK
claude-haiku-4-5	C	Y	Y	-	OK
claude-haiku-4-5	D	Y	Y	-	OK
granite4:350m	A	Y	-	-	OK
granite4:350m	B	Y	-	-	OK
granite4:350m	C	Y	-	-	OK
granite4:350m	D	N	-	-	OK
granite4:350m	E	Y	-	-	OK
granite4:350m	F	Y	Y	-	OK
granite4:1b	C	Y	-	-	OK
granite4:1b	D	Y	Y	-	OK
granite4:1b	E	Y	-	-	OK
granite4:1b	F	N	-	-	OK
codellama:latest	C	Y	-	-	OK

true_positives/tp_hardcoded_password.py (VULNERABLE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	-	-	OK
granite3.3:8b	B	Y	-	-	OK
qwen2.5-coder:7b	A	Y	Y	-	OK
qwen2.5-coder:7b	B	Y	Y	-	OK
codellama:latest	A	Y	-	-	OK
codellama:latest	B	Y	-	-	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	Y	-	-	OK
mistral-nemo:latest	B	Y	-	-	OK
granite4:1b	A	Y	-	-	OK
granite4:1b	B	Y	-	-	OK
deepseek-coder-v2:16b	A	Y	-	-	OK
deepseek-coder-v2:16b	B	Y	-	-	OK
granite3.3:8b	C	Y	-	-	OK
granite3.3:8b	D	Y	Y	-	OK
mistral-nemo:latest	C	Y	-	-	OK
mistral-nemo:latest	D	Y	Y	-	OK
claude-haiku-4-5	C	Y	Y	-	OK
claude-haiku-4-5	D	Y	Y	-	OK
granite4:350m	A	Y	-	-	OK
granite4:350m	B	Y	-	-	OK
granite4:350m	C	Y	-	-	OK
granite4:350m	D	N	-	-	OK
granite4:350m	E	Y	-	-	OK
granite4:350m	F	Y	Y	-	OK
granite4:1b	C	Y	-	-	OK
granite4:1b	D	Y	Y	-	OK
granite4:1b	E	Y	-	-	OK
granite4:1b	F	N	-	-	OK
codellama:latest	C	Y	-	-	OK

true_positives/tp_jwt_none_alg.py (VULNERABLE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	-	-	OK
granite3.3:8b	B	Y	-	-	OK
qwen2.5-coder:7b	A	Y	Y	-	OK
qwen2.5-coder:7b	B	Y	Y	-	OK
codellama:latest	A	Y	Y	-	OK
codellama:latest	B	Y	-	-	OK
llama3:8b	A	Y	-	-	OK
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	Y	Y	-	OK
mistral-nemo:latest	B	Y	Y	-	OK
granite4:1b	A	Y	Y	-	OK
granite4:1b	B	Y	Y	-	OK
deepseek-coder-v2:16b	A	Y	Y	-	OK
deepseek-coder-v2:16b	B	Y	Y	-	OK
granite3.3:8b	C	Y	-	-	OK
granite3.3:8b	D	Y	-	-	OK
mistral-nemo:latest	C	N	-	-	OK
mistral-nemo:latest	D	N	-	-	OK
claude-haiku-4-5	C	Y	Y	-	OK
claude-haiku-4-5	D	Y	-	-	OK
granite4:350m	A	Y	-	-	OK
granite4:350m	B	Y	-	-	OK
granite4:350m	C	Y	-	-	OK
granite4:350m	D	N	-	-	OK
granite4:350m	E	Y	-	-	OK
granite4:350m	F	N	-	-	OK
granite4:1b	C	Y	-	-	OK
granite4:1b	D	N	-	-	OK
granite4:1b	E	Y	-	-	OK
granite4:1b	F	N	-	-	OK
codellama:latest	C	Y	Y	-	OK

true_positives/tp_md5_password.py (VULNERABLE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	-	-	OK
granite3.3:8b	B	Y	-	-	OK
qwen2.5-coder:7b	A	Y	Y	-	OK
qwen2.5-coder:7b	B	Y	Y	-	OK
codellama:latest	A	Y	Y	-	OK
codellama:latest	B	Y	Y	-	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	Y	Y	-	OK
mistral-nemo:latest	B	Y	Y	-	OK
granite4:1b	A	Y	-	-	OK
granite4:1b	B	Y	-	-	OK
deepseek-coder-v2:16b	A	Y	Y	-	OK
deepseek-coder-v2:16b	B	Y	Y	-	OK
granite3.3:8b	C	Y	-	-	OK
granite3.3:8b	D	Y	-	-	OK
mistral-nemo:latest	C	Y	Y	-	OK
mistral-nemo:latest	D	Y	-	-	OK
claude-haiku-4-5	C	Y	Y	-	OK
claude-haiku-4-5	D	Y	-	-	OK
granite4:350m	A	Y	-	-	OK
granite4:350m	B	Y	-	-	OK
granite4:350m	C	Y	-	-	OK
granite4:350m	D	N	-	-	OK
granite4:350m	E	Y	-	-	OK
granite4:350m	F	N	-	-	OK
granite4:1b	C	Y	-	-	OK
granite4:1b	D	N	-	-	OK
granite4:1b	E	Y	-	-	OK
granite4:1b	F	N	-	-	OK
codellama:latest	C	Y	Y	-	OK

true_positives/tp_open_redirect.py (VULNERABLE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	Y	-	OK
granite3.3:8b	B	Y	Y	-	OK
qwen2.5-coder:7b	A	Y	-	-	OK
qwen2.5-coder:7b	B	Y	-	-	OK
codellama:latest	A	Y	-	-	OK
codellama:latest	B	Y	-	-	OK
llama3:8b	A	Y	Y	-	OK
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	Y	Y	-	OK
mistral-nemo:latest	B	Y	Y	-	OK
granite4:1b	A	Y	Y	-	OK
granite4:1b	B	Y	Y	-	OK
deepseek-coder-v2:16b	A	Y	Y	-	OK
deepseek-coder-v2:16b	B	Y	Y	-	OK
granite3.3:8b	C	Y	Y	-	OK
granite3.3:8b	D	Y	Y	-	OK
mistral-nemo:latest	C	Y	Y	-	OK
mistral-nemo:latest	D	Y	Y	-	OK
claude-haiku-4-5	C	Y	Y	-	OK
claude-haiku-4-5	D	Y	Y	-	OK
granite4:350m	A	Y	-	-	OK
granite4:350m	B	Y	-	-	OK
granite4:350m	C	Y	Y	-	OK
granite4:350m	D	N	-	-	OK
granite4:350m	E	Y	Y	-	OK
granite4:350m	F	Y	Y	-	OK
granite4:1b	C	Y	Y	-	OK
granite4:1b	D	Y	Y	-	OK
granite4:1b	E	Y	Y	-	OK
granite4:1b	F	N	-	-	OK
codellama:latest	C	Y	Y	-	OK

true_positives/tp_os_system_input.py (VULNERABLE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	Y	-	OK
granite3.3:8b	B	Y	Y	-	OK
qwen2.5-coder:7b	A	Y	Y	-	OK
qwen2.5-coder:7b	B	Y	Y	-	OK
codellama:latest	A	Y	Y	-	OK
codellama:latest	B	Y	Y	-	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	Y	Y	-	OK
mistral-nemo:latest	B	Y	Y	-	OK
granite4:1b	A	Y	Y	-	OK
granite4:1b	B	Y	Y	-	OK
deepseek-coder-v2:16b	A	Y	Y	-	OK
deepseek-coder-v2:16b	B	Y	Y	-	OK
granite3.3:8b	C	Y	Y	-	OK
granite3.3:8b	D	Y	Y	-	OK
mistral-nemo:latest	C	Y	Y	-	OK
mistral-nemo:latest	D	Y	Y	-	OK
claude-haiku-4-5	C	Y	Y	-	OK
claude-haiku-4-5	D	Y	Y	-	OK
granite4:350m	A	Y	-	-	OK
granite4:350m	B	Y	-	-	OK
granite4:350m	C	Y	Y	-	OK
granite4:350m	D	N	-	-	OK
granite4:350m	E	Y	Y	-	OK
granite4:350m	F	Y	Y	-	OK
granite4:1b	C	Y	Y	-	OK
granite4:1b	D	Y	Y	-	OK
granite4:1b	E	Y	Y	-	OK
granite4:1b	F	N	-	-	OK
codellama:latest	C	Y	Y	-	OK

true_positives/tp_path_traversal.py (VULNERABLE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	Y	-	OK
granite3.3:8b	B	Y	Y	-	OK
qwen2.5-coder:7b	A	Y	Y	-	OK
qwen2.5-coder:7b	B	Y	Y	-	OK
codellama:latest	A	Y	-	-	OK
codellama:latest	B	Y	-	-	OK
llama3:8b	A	Y	Y	-	OK
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	Y	Y	-	OK
mistral-nemo:latest	B	Y	Y	-	OK
granite4:1b	A	Y	-	-	OK
granite4:1b	B	Y	-	-	OK
deepseek-coder-v2:16b	A	Y	Y	-	OK
deepseek-coder-v2:16b	B	Y	Y	-	OK
granite3.3:8b	C	Y	Y	-	OK
granite3.3:8b	D	Y	Y	-	OK
mistral-nemo:latest	C	Y	Y	-	OK
mistral-nemo:latest	D	Y	Y	-	OK
claude-haiku-4-5	C	Y	Y	-	OK
claude-haiku-4-5	D	Y	Y	-	OK
granite4:350m	A	Y	-	-	OK
granite4:350m	B	Y	-	-	OK
granite4:350m	C	Y	-	-	OK
granite4:350m	D	N	-	-	OK
granite4:350m	E	Y	-	-	OK
granite4:350m	F	Y	Y	-	OK
granite4:1b	C	Y	-	-	OK
granite4:1b	D	N	-	-	ERR
granite4:1b	E	Y	-	-	OK
granite4:1b	F	N	-	-	ERR
codellama:latest	C	Y	-	-	OK

true_positives/tp_pickle_network.py (VULNERABLE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	Y	-	OK
granite3.3:8b	B	Y	-	-	OK
qwen2.5-coder:7b	A	Y	Y	-	OK
qwen2.5-coder:7b	B	Y	Y	-	OK
codellama:latest	A	Y	-	-	OK
codellama:latest	B	Y	-	-	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	Y	-	-	OK
mistral-nemo:latest	B	Y	-	-	OK
granite4:1b	A	Y	Y	-	OK
granite4:1b	B	Y	Y	-	OK
deepseek-coder-v2:16b	A	Y	Y	-	OK
deepseek-coder-v2:16b	B	Y	Y	-	OK
granite3.3:8b	C	Y	Y	-	OK
granite3.3:8b	D	Y	Y	-	OK
mistral-nemo:latest	C	Y	Y	-	OK
mistral-nemo:latest	D	Y	Y	-	OK
claude-haiku-4-5	C	Y	Y	-	OK
claude-haiku-4-5	D	Y	Y	-	OK
granite4:350m	A	Y	-	-	OK
granite4:350m	B	Y	-	-	OK
granite4:350m	C	Y	-	-	OK
granite4:350m	D	N	-	-	OK
granite4:350m	E	Y	-	-	OK
granite4:350m	F	Y	Y	-	OK
granite4:1b	C	Y	Y	-	OK
granite4:1b	D	Y	Y	-	OK
granite4:1b	E	Y	Y	-	OK
granite4:1b	F	N	-	-	OK
codellama:latest	C	Y	Y	-	OK

true_positives/tp_pickle_request.py (VULNERABLE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	-	-	OK
granite3.3:8b	B	Y	-	-	OK
qwen2.5-coder:7b	A	Y	Y	-	OK
qwen2.5-coder:7b	B	Y	Y	-	OK
codellama:latest	A	Y	-	-	OK
codellama:latest	B	Y	-	-	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	Y	-	-	OK
mistral-nemo:latest	B	Y	-	-	OK
granite4:1b	A	Y	Y	-	OK
granite4:1b	B	Y	Y	-	OK
deepseek-coder-v2:16b	A	Y	Y	-	OK
deepseek-coder-v2:16b	B	Y	Y	-	OK
granite3.3:8b	C	Y	Y	-	OK
granite3.3:8b	D	Y	Y	-	OK
mistral-nemo:latest	C	Y	Y	-	OK
mistral-nemo:latest	D	Y	Y	-	OK
claude-haiku-4-5	C	Y	Y	-	OK
claude-haiku-4-5	D	Y	Y	-	OK
granite4:350m	A	Y	-	-	OK
granite4:350m	B	Y	-	-	OK
granite4:350m	C	Y	Y	-	OK
granite4:350m	D	N	-	-	OK
granite4:350m	E	Y	Y	-	OK
granite4:350m	F	Y	Y	-	OK
granite4:1b	C	Y	Y	-	OK
granite4:1b	D	Y	Y	-	OK
granite4:1b	E	Y	Y	-	OK
granite4:1b	F	N	-	-	OK
codellama:latest	C	Y	Y	-	OK

true_positives/tp_random_otp.py (VULNERABLE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	-	-	OK
granite3.3:8b	B	Y	Y	-	OK
qwen2.5-coder:7b	A	Y	-	-	OK
qwen2.5-coder:7b	B	Y	-	-	OK
codellama:latest	A	Y	-	-	OK
codellama:latest	B	Y	-	-	OK
llama3:8b	A	Y	Y	-	OK
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	Y	-	-	OK
mistral-nemo:latest	B	Y	-	-	OK
granite4:1b	A	Y	Y	-	OK
granite4:1b	B	Y	Y	-	OK
deepseek-coder-v2:16b	A	Y	-	-	OK
deepseek-coder-v2:16b	B	Y	-	-	OK
granite3.3:8b	C	Y	Y	-	OK
granite3.3:8b	D	Y	Y	-	OK
mistral-nemo:latest	C	N	-	-	OK
mistral-nemo:latest	D	Y	Y	-	OK
claude-haiku-4-5	C	Y	-	-	OK
claude-haiku-4-5	D	Y	Y	-	OK
granite4:350m	A	Y	-	-	OK
granite4:350m	B	Y	-	-	OK
granite4:350m	C	Y	-	-	OK
granite4:350m	D	N	-	-	OK
granite4:350m	E	Y	-	-	OK
granite4:350m	F	Y	Y	-	OK
granite4:1b	C	Y	-	-	OK
granite4:1b	D	Y	Y	-	OK
granite4:1b	E	Y	-	-	OK
granite4:1b	F	N	-	-	OK
codellama:latest	C	Y	-	-	OK

true_positives/tp_sql_concat.py (VULNERABLE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	Y	-	OK
granite3.3:8b	B	Y	Y	-	OK
qwen2.5-coder:7b	A	Y	Y	-	OK
qwen2.5-coder:7b	B	Y	Y	-	OK
codellama:latest	A	Y	-	-	OK
codellama:latest	B	Y	-	-	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	Y	Y	-	OK
mistral-nemo:latest	B	Y	Y	-	OK
granite4:1b	A	Y	-	-	OK
granite4:1b	B	Y	-	-	OK
deepseek-coder-v2:16b	A	Y	Y	-	OK
deepseek-coder-v2:16b	B	Y	Y	-	OK
granite3.3:8b	C	Y	Y	-	OK
granite3.3:8b	D	Y	Y	-	OK
mistral-nemo:latest	C	Y	Y	-	OK
mistral-nemo:latest	D	Y	Y	-	OK
claude-haiku-4-5	C	Y	Y	-	OK
claude-haiku-4-5	D	Y	Y	-	OK
granite4:350m	A	Y	-	-	OK
granite4:350m	B	N	-	-	ERR
granite4:350m	C	Y	Y	-	OK
granite4:350m	D	N	-	-	OK
granite4:350m	E	Y	Y	-	OK
granite4:350m	F	Y	Y	-	OK
granite4:1b	C	Y	Y	-	OK
granite4:1b	D	Y	-	-	OK
granite4:1b	E	Y	Y	-	OK
granite4:1b	F	N	-	-	OK
codellama:latest	C	Y	Y	-	OK

true_positives/tp_sql_format.py (VULNERABLE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	Y	-	OK
granite3.3:8b	B	Y	Y	-	OK
qwen2.5-coder:7b	A	Y	Y	-	OK
qwen2.5-coder:7b	B	Y	Y	-	OK
codellama:latest	A	Y	Y	-	OK
codellama:latest	B	Y	-	-	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	Y	Y	-	OK
mistral-nemo:latest	B	Y	Y	-	OK
granite4:1b	A	Y	Y	-	OK
granite4:1b	B	Y	-	-	OK
deepseek-coder-v2:16b	A	Y	Y	-	OK
deepseek-coder-v2:16b	B	Y	Y	-	OK
granite3.3:8b	C	Y	Y	-	OK
granite3.3:8b	D	Y	Y	-	OK
mistral-nemo:latest	C	Y	Y	-	OK
mistral-nemo:latest	D	Y	Y	-	OK
claude-haiku-4-5	C	Y	Y	-	OK
claude-haiku-4-5	D	Y	Y	-	OK
granite4:350m	A	Y	-	-	OK
granite4:350m	B	N	-	-	ERR
granite4:350m	C	Y	Y	-	OK
granite4:350m	D	N	-	-	OK
granite4:350m	E	Y	Y	-	OK
granite4:350m	F	Y	Y	-	OK
granite4:1b	C	Y	Y	-	OK
granite4:1b	D	Y	Y	-	OK
granite4:1b	E	Y	Y	-	OK
granite4:1b	F	N	-	-	OK
codellama:latest	C	Y	Y	-	OK

true_positives/tp_sql_fstring.py (VULNERABLE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	Y	-	OK
granite3.3:8b	B	Y	Y	-	OK
qwen2.5-coder:7b	A	Y	Y	-	OK
qwen2.5-coder:7b	B	Y	Y	-	OK
codellama:latest	A	Y	Y	-	OK
codellama:latest	B	Y	-	-	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	Y	Y	-	OK
mistral-nemo:latest	B	Y	Y	-	OK
granite4:1b	A	Y	-	-	OK
granite4:1b	B	Y	-	-	OK
deepseek-coder-v2:16b	A	Y	Y	-	OK
deepseek-coder-v2:16b	B	Y	Y	-	OK
granite3.3:8b	C	Y	Y	-	OK
granite3.3:8b	D	Y	Y	-	OK
mistral-nemo:latest	C	Y	Y	-	OK
mistral-nemo:latest	D	Y	Y	-	OK
claude-haiku-4-5	C	Y	Y	-	OK
claude-haiku-4-5	D	Y	Y	-	OK
granite4:350m	A	Y	-	-	OK
granite4:350m	B	N	-	-	ERR
granite4:350m	C	Y	Y	-	OK
granite4:350m	D	N	-	-	OK
granite4:350m	E	Y	Y	-	OK
granite4:350m	F	Y	Y	-	OK
granite4:1b	C	Y	Y	-	OK
granite4:1b	D	Y	Y	-	OK
granite4:1b	E	Y	Y	-	OK
granite4:1b	F	N	-	-	OK
codellama:latest	C	Y	Y	-	OK

true_positives/tp_ssrf_fetch.py (VULNERABLE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	Y	-	OK
granite3.3:8b	B	Y	Y	-	OK
qwen2.5-coder:7b	A	Y	-	-	OK
qwen2.5-coder:7b	B	Y	-	-	OK
codellama:latest	A	Y	-	-	OK
codellama:latest	B	Y	-	-	OK
llama3:8b	A	Y	-	-	OK
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	Y	Y	-	OK
mistral-nemo:latest	B	Y	-	-	OK
granite4:1b	A	Y	Y	-	OK
granite4:1b	B	Y	Y	-	OK
deepseek-coder-v2:16b	A	Y	Y	-	OK
deepseek-coder-v2:16b	B	Y	Y	-	OK
granite3.3:8b	C	Y	Y	-	OK
granite3.3:8b	D	Y	Y	-	OK
mistral-nemo:latest	C	Y	Y	-	OK
mistral-nemo:latest	D	Y	Y	-	OK
claude-haiku-4-5	C	Y	Y	-	OK
claude-haiku-4-5	D	Y	Y	-	OK
granite4:350m	A	Y	-	-	OK
granite4:350m	B	Y	-	-	OK
granite4:350m	C	Y	Y	-	OK
granite4:350m	D	Y	-	-	OK
granite4:350m	E	Y	Y	-	OK
granite4:350m	F	N	-	-	OK
granite4:1b	C	Y	Y	-	OK
granite4:1b	D	Y	Y	-	OK
granite4:1b	E	Y	Y	-	OK
granite4:1b	F	N	-	-	OK
codellama:latest	C	Y	Y	-	OK

true_positives/tp_subprocess_shell.py (VULNERABLE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	Y	-	OK
granite3.3:8b	B	Y	-	-	OK
qwen2.5-coder:7b	A	Y	Y	-	OK
qwen2.5-coder:7b	B	Y	Y	-	OK
codellama:latest	A	Y	Y	-	OK
codellama:latest	B	Y	Y	-	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	Y	Y	-	OK
mistral-nemo:latest	B	Y	Y	-	OK
granite4:1b	A	Y	Y	-	OK
granite4:1b	B	Y	Y	-	OK
deepseek-coder-v2:16b	A	Y	Y	-	OK
deepseek-coder-v2:16b	B	Y	Y	-	OK
granite3.3:8b	C	Y	Y	-	OK
granite3.3:8b	D	Y	Y	-	OK
mistral-nemo:latest	C	Y	Y	-	OK
mistral-nemo:latest	D	Y	Y	-	OK
claude-haiku-4-5	C	Y	Y	-	OK
claude-haiku-4-5	D	Y	Y	-	OK
granite4:350m	A	Y	-	-	OK
granite4:350m	B	Y	-	-	OK
granite4:350m	C	Y	Y	-	OK
granite4:350m	D	N	-	-	OK
granite4:350m	E	Y	Y	-	OK
granite4:350m	F	Y	Y	-	OK
granite4:1b	C	Y	Y	-	OK
granite4:1b	D	Y	Y	-	OK
granite4:1b	E	Y	Y	-	OK
granite4:1b	F	N	-	-	OK
codellama:latest	C	Y	Y	-	OK

true_positives/tp_weak_random_token.py (VULNERABLE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	-	-	OK
granite3.3:8b	B	Y	-	-	OK
qwen2.5-coder:7b	A	Y	-	-	OK
qwen2.5-coder:7b	B	Y	-	-	OK
codellama:latest	A	Y	-	-	OK
codellama:latest	B	Y	-	-	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	Y	-	-	OK
mistral-nemo:latest	B	Y	-	-	OK
granite4:1b	A	Y	Y	-	OK
granite4:1b	B	Y	Y	-	OK
deepseek-coder-v2:16b	A	Y	-	-	OK
deepseek-coder-v2:16b	B	Y	-	-	OK
granite3.3:8b	C	Y	Y	-	OK
granite3.3:8b	D	Y	Y	-	OK
mistral-nemo:latest	C	Y	-	-	OK
mistral-nemo:latest	D	Y	Y	-	OK
claude-haiku-4-5	C	Y	-	-	OK
claude-haiku-4-5	D	Y	Y	-	OK
granite4:350m	A	Y	-	-	OK
granite4:350m	B	Y	-	-	OK
granite4:350m	C	Y	-	-	OK
granite4:350m	D	Y	-	-	OK
granite4:350m	E	Y	-	-	OK
granite4:350m	F	N	-	-	OK
granite4:1b	C	Y	-	-	OK
granite4:1b	D	Y	Y	-	OK
granite4:1b	E	Y	-	-	OK
granite4:1b	F	N	-	-	OK
codellama:latest	C	Y	-	-	OK

true_positives/tp_xss_mark_safe.py (VULNERABLE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	Y	-	OK
granite3.3:8b	B	Y	Y	-	OK
qwen2.5-coder:7b	A	Y	-	-	OK
qwen2.5-coder:7b	B	Y	-	-	OK
codellama:latest	A	Y	Y	-	OK
codellama:latest	B	Y	Y	-	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	Y	Y	-	OK
mistral-nemo:latest	B	Y	Y	-	OK
granite4:1b	A	Y	Y	-	OK
granite4:1b	B	Y	Y	-	OK
deepseek-coder-v2:16b	A	Y	Y	-	OK
deepseek-coder-v2:16b	B	Y	Y	-	OK
granite3.3:8b	C	Y	Y	-	OK
granite3.3:8b	D	Y	Y	-	OK
mistral-nemo:latest	C	Y	Y	-	OK
mistral-nemo:latest	D	Y	Y	-	OK
claude-haiku-4-5	C	Y	Y	-	OK
claude-haiku-4-5	D	Y	Y	-	OK
granite4:350m	A	Y	Y	-	OK
granite4:350m	B	Y	-	-	OK
granite4:350m	C	Y	-	-	OK
granite4:350m	D	N	Y	-	OK
granite4:350m	E	Y	-	-	OK
granite4:350m	F	Y	Y	-	OK
granite4:1b	C	Y	-	-	OK
granite4:1b	D	Y	Y	-	OK
granite4:1b	E	Y	-	-	OK
granite4:1b	F	N	-	-	OK
codellama:latest	C	Y	Y	-	OK

true_positives/tp_xss_no_escape.py (VULNERABLE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	Y	-	OK
granite3.3:8b	B	Y	Y	-	OK
qwen2.5-coder:7b	A	Y	-	-	OK
qwen2.5-coder:7b	B	Y	-	-	OK
codellama:latest	A	Y	Y	-	OK
codellama:latest	B	Y	-	-	OK
llama3:8b	A	Y	Y	-	OK
llama3:8b	B	Y	Y	-	OK
mistral-nemo:latest	A	Y	Y	-	OK
mistral-nemo:latest	B	Y	Y	-	OK
granite4:1b	A	Y	Y	-	OK
granite4:1b	B	Y	Y	-	OK
deepseek-coder-v2:16b	A	Y	Y	-	OK
deepseek-coder-v2:16b	B	Y	Y	-	OK
granite3.3:8b	C	Y	Y	-	OK
granite3.3:8b	D	Y	Y	-	OK
mistral-nemo:latest	C	Y	Y	-	OK
mistral-nemo:latest	D	Y	Y	-	OK
claude-haiku-4-5	C	Y	Y	-	OK
claude-haiku-4-5	D	Y	Y	-	OK
granite4:350m	A	Y	-	-	OK
granite4:350m	B	Y	-	-	OK
granite4:350m	C	Y	-	-	OK
granite4:350m	D	N	Y	-	OK
granite4:350m	E	Y	-	-	OK
granite4:350m	F	Y	Y	-	OK
granite4:1b	C	Y	-	-	OK
granite4:1b	D	Y	Y	-	OK
granite4:1b	E	Y	-	-	OK
granite4:1b	F	N	-	-	OK
codellama:latest	C	Y	Y	-	OK

true_positives/tp_yaml_unsafe.py (VULNERABLE)

Model	Cond	Class	CWE	FPF	Parse
granite3.3:8b	A	Y	Y	-	OK
granite3.3:8b	B	Y	Y	-	OK
qwen2.5-coder:7b	A	Y	-	-	OK
qwen2.5-coder:7b	B	Y	-	-	OK
codellama:latest	A	Y	-	-	OK
codellama:latest	B	Y	-	-	OK
llama3:8b	A	N	-	-	ERR
llama3:8b	B	N	-	-	ERR
mistral-nemo:latest	A	Y	-	-	OK
mistral-nemo:latest	B	Y	Y	-	OK
granite4:1b	A	Y	Y	-	OK
granite4:1b	B	Y	Y	-	OK
deepseek-coder-v2:16b	A	Y	Y	-	OK
deepseek-coder-v2:16b	B	Y	Y	-	OK
granite3.3:8b	C	Y	Y	-	OK
granite3.3:8b	D	Y	Y	-	OK
mistral-nemo:latest	C	Y	Y	-	OK
mistral-nemo:latest	D	Y	Y	-	OK
claude-haiku-4-5	C	Y	Y	-	OK
claude-haiku-4-5	D	Y	Y	-	OK
granite4:350m	A	Y	-	-	OK
granite4:350m	B	Y	-	-	OK
granite4:350m	C	N	-	-	ERR
granite4:350m	D	Y	-	-	OK
granite4:350m	E	Y	Y	-	OK
granite4:350m	F	N	-	-	OK
granite4:1b	C	Y	Y	-	OK
granite4:1b	D	Y	Y	-	OK
granite4:1b	E	Y	Y	-	OK
granite4:1b	F	N	-	-	OK
codellama:latest	C	Y	Y	-	OK

Methodology

Condition A (Cold): Model receives raw code only, no hints.
Condition B (Hinted): Model receives a security analyst persona prompt.
Condition C (CPG-enriched): Code + CPG data.
Condition D (CPG + findings): Reviews deterministic findings.
Condition E (Augment + tiebreaker): Runs C, then if LLM disagrees with deterministic findings, a tiebreaker call adjudicates (3-way vote).
Condition F (Review + tiebreaker): Runs D, then if LLM disagrees with deterministic findings, a tiebreaker call adjudicates (3-way vote).
Temperature: 0.2
Timeout: 120s per call
Scoring: Precision, Recall, F1 based on vulnerability classification. FP Filter Rate measures how often the model correctly dismisses false positives from the deterministic scanner.