Yüksek lisans tezi: AI ile yazılmış phishing'in açıklanabilir tespiti

Problem

Dil modelleriyle yazılmış phishing, eski şablonlardan farklı okunuyor ve kimsenin açıklayamadığı bir dedektöre güvenmek ya da onu denetlemek zor. İki soru sordum: AI ile yazılmış e-postada hangi tür model ayakta kalıyor ve açıklamalar, modelin gerçekte yaptığı şeye sadık mı?

Nasıl yapıldı

Aynı split'ler üzerinde karşılaştırılan üç model ailesi: klasik modeller (logistic regression, naive Bayes, SVM, decision tree, random forest), gradient-boosted ensemble'lar (XGBoost, LightGBM) ve transformer'lar (BERT, DistilBERT, RoBERTa); eski ve AI ile üretilmiş e-postalar arasında cross-corpus testlerle. SHAP, LIME ve Integrated Gradients açıklamaları, rastgele attribution baseline'ına karşı sadakat, kararlılık ve makullük açısından puanlandı. Protokol deneyler çalışmadan önce kayda geçirildi, ipucu sözlüğü hiçbir sonuç yokken commit'lendi, bir positive-control test suite'i açıklayıcıları koruyor ve makullük ölçütü insan değerlendiricilere ve bir LLM hakeme karşı doğrulandı. Hepsi lokal bir RTX 3090'da çalıştı.

Önemli kararlar

• Çalıştırmadan önce kayda geçirildi

  Protokoller, sözlük ve hipotezler hiçbir sonuç yokken commit'lendi; böylece sonradan hiçbir şey seçilemezdi.

• Açıklamalar ölçüldü

  Rastgele attribution gibi puan alan bir yöntem öyle raporlanıyor. LIME rastgele gibi puan aldığında sebep, LIME adaptörümdeki bir bug'dı: ters verilmiş bir tokenizer argümanı. Bunu açıkladım, düzelttim ve yeniden çalıştırdım. Düzeltilmiş LIME sadıktı ama en az kararlı yöntemdi.

• Basit model kazandı

  AI ile üretilmiş e-postada ayarlanmış lineer bir TF-IDF modeli ROC-AUC'de RoBERTa'yı geçti (0,9993'e karşı 0,9976) ve SHAP onu sadık bir şekilde, düzeltilmiş LIME'dan 64,5 kat hızlı açıkladı.

Repodan kod

1def faithfulness(champ, texts, attrs, preds, seed: int = 42) -> dict:
2    rng = np.random.default_rng(seed)
3    preds = np.asarray(preds)
4    p_orig = _p_pred(champ.proba(texts), preds)1
5 
6    variants: list[str] = []
7    meta: list[tuple] = []   # (doc_i, kind, k, is_random)
8    for i, (text, attr, pred) in enumerate(zip(texts, attrs, preds)):
9        nw = len(textops.word_spans(text))
10        top = textops.top_k_positions(attr, int(pred), min(20, nw))
11        randperm = rng.permutation(nw).tolist()2
12        for k in K_AOPC:
13            variants.append(textops.remove_words(text, top[:k])); meta.append((i, "comp", k, False))3
14            variants.append(textops.remove_words(text, randperm[:k])); meta.append((i, "comp", k, True))
15        for k in K_REPORT:
16            variants.append(textops.keep_only_words(text, top[:k])); meta.append((i, "suff", k, False))
17            variants.append(textops.keep_only_words(text, randperm[:k])); meta.append((i, "suff", k, True))
18 
19    P = _p_pred(champ.proba(variants), preds[[m[0] for m in meta]])4

Şu an ne durumda

Ağustos 2026'da teslim edildi; sonuç bekleniyor. Her tablo ve grafik, commit'lenmiş script'ler ve sabit seed'lerle yeniden üretilebiliyor. Şimdi danışmanımla birlikte bunu bir konferans makalesine dönüştürüyorum.