Masterarbeit: erklärbare Erkennung von KI-geschriebenem Phishing

Das Problem

Phishing, das Sprachmodelle schreiben, liest sich anders als die alten Vorlagen, und bei einem Detektor, den niemand erklären kann, sind Vertrauen und Prüfung schwierig. Ich bin zwei Fragen nachgegangen: Welche Art von Modell hält bei KI-geschriebenen E-Mails stand, und geben die Erklärungen treu wieder, was das Modell wirklich tut?

Wie es gebaut ist

Drei Modellfamilien, verglichen auf denselben Splits: klassische Modelle (logistische Regression, Naive Bayes, SVM, Entscheidungsbaum, Random Forest), Gradient-Boosting-Ensembles (XGBoost, LightGBM) und Transformer (BERT, DistilBERT, RoBERTa), mit korpusübergreifenden Tests zwischen älteren und KI-generierten E-Mails. Die Erklärungen von SHAP, LIME und Integrated Gradients wurden auf Faithfulness, Stabilität und Plausibilität bewertet, gegen eine Baseline mit zufälliger Attribution. Das Protokoll wurde registriert, bevor die Experimente liefen, das Lexikon der Signalwörter wurde vor allen Ergebnissen committet, eine Testsuite mit Positivkontrollen sichert die Erklärmethoden ab, und das Plausibilitätsmaß wurde mit menschlichen Bewertern und einem LLM-Judge abgeglichen. Alles lief auf einer lokalen RTX 3090.

Entscheidungen, auf die es ankam

• Vor dem Start registriert

  Protokolle, Lexikon und Hypothesen wurden committet, bevor es irgendein Ergebnis gab, also ließ sich nichts im Nachhinein auswählen.

• Die Erklärungen wurden gemessen

  Eine Methode, die wie zufällige Attribution abschneidet, wird auch so ausgewiesen. Als LIME wie der Zufall abschnitt, lag die Ursache in einem Bug in meinem LIME-Adapter, einem invertierten Tokenizer-Argument. Ich habe das offengelegt, behoben und neu laufen lassen. Korrigiert lieferte LIME treue Erklärungen, war aber die am wenigsten stabile Methode.

• Das einfache Modell hat gewonnen

  Bei KI-generierten E-Mails schlug ein getuntes lineares TF-IDF-Modell RoBERTa bei der ROC-AUC (0,9993 gegenüber 0,9976), und SHAP lieferte dafür treue Erklärungen, 64,5-mal schneller als das korrigierte LIME.

Code aus dem Repo

1def faithfulness(champ, texts, attrs, preds, seed: int = 42) -> dict:
2    rng = np.random.default_rng(seed)
3    preds = np.asarray(preds)
4    p_orig = _p_pred(champ.proba(texts), preds)1
5 
6    variants: list[str] = []
7    meta: list[tuple] = []   # (doc_i, kind, k, is_random)
8    for i, (text, attr, pred) in enumerate(zip(texts, attrs, preds)):
9        nw = len(textops.word_spans(text))
10        top = textops.top_k_positions(attr, int(pred), min(20, nw))
11        randperm = rng.permutation(nw).tolist()2
12        for k in K_AOPC:
13            variants.append(textops.remove_words(text, top[:k])); meta.append((i, "comp", k, False))3
14            variants.append(textops.remove_words(text, randperm[:k])); meta.append((i, "comp", k, True))
15        for k in K_REPORT:
16            variants.append(textops.keep_only_words(text, top[:k])); meta.append((i, "suff", k, False))
17            variants.append(textops.keep_only_words(text, randperm[:k])); meta.append((i, "suff", k, True))
18 
19    P = _p_pred(champ.proba(variants), preds[[m[0] for m in meta]])4

Wo es heute steht

Im August 2026 eingereicht, das Ergebnis steht noch aus. Jede Tabelle und jede Abbildung lässt sich aus versionierten Skripten und festen Seeds reproduzieren. Zusammen mit meinem Betreuer mache ich daraus gerade einen Konferenzbeitrag.