Dissertação de mestrado: detecção explicável de phishing escrito por IA

O problema

O phishing escrito por modelos de linguagem soa diferente dos templates antigos, e um detector que ninguém consegue explicar inspira pouca confiança e é difícil de auditar. Fiz duas perguntas: que tipo de modelo se sai bem com e-mails escritos por IA, e se as explicações são fiéis ao que o modelo realmente faz.

Como foi construído

Três famílias de modelos comparadas nos mesmos splits: modelos clássicos (regressão logística, naive Bayes, SVM, árvore de decisão, random forest), ensembles de gradient boosting (XGBoost, LightGBM) e transformers (BERT, DistilBERT, RoBERTa), com testes cross-corpus entre e-mails antigos e e-mails gerados por IA. As explicações de SHAP, LIME e Integrated Gradients foram avaliadas quanto a fidelidade, estabilidade e plausibilidade em relação a um baseline de atribuição aleatória. O protocolo foi registrado antes de os experimentos rodarem, o léxico de pistas foi commitado antes de qualquer resultado, uma suíte de testes de controle positivo protege os métodos de explicação e a medida de plausibilidade foi conferida com avaliadores humanos e com um LLM como juiz. Tudo rodou em uma RTX 3090 local.

Decisões importantes

• Registrado antes de rodar

  Os protocolos, o léxico e as hipóteses foram commitados antes de existir qualquer resultado, então nada pôde ser escolhido a posteriori.

• As explicações foram medidas

  Um método que pontua como uma atribuição aleatória é reportado como tal. Quando o LIME pontuou como aleatório, a causa era um bug no meu adaptador do LIME, um argumento do tokenizador invertido. Informei o erro, corrigi e rodei de novo. O LIME corrigido foi fiel, mas foi o método menos estável.

• O modelo simples venceu

  Em e-mails gerados por IA, um modelo linear TF-IDF ajustado superou o RoBERTa em ROC-AUC (0,9993 contra 0,9976), e o SHAP o explicou com fidelidade, 64,5 vezes mais rápido que o LIME corrigido.

Código do repositório

1def faithfulness(champ, texts, attrs, preds, seed: int = 42) -> dict:
2    rng = np.random.default_rng(seed)
3    preds = np.asarray(preds)
4    p_orig = _p_pred(champ.proba(texts), preds)1
5 
6    variants: list[str] = []
7    meta: list[tuple] = []   # (doc_i, kind, k, is_random)
8    for i, (text, attr, pred) in enumerate(zip(texts, attrs, preds)):
9        nw = len(textops.word_spans(text))
10        top = textops.top_k_positions(attr, int(pred), min(20, nw))
11        randperm = rng.permutation(nw).tolist()2
12        for k in K_AOPC:
13            variants.append(textops.remove_words(text, top[:k])); meta.append((i, "comp", k, False))3
14            variants.append(textops.remove_words(text, randperm[:k])); meta.append((i, "comp", k, True))
15        for k in K_REPORT:
16            variants.append(textops.keep_only_words(text, top[:k])); meta.append((i, "suff", k, False))
17            variants.append(textops.keep_only_words(text, randperm[:k])); meta.append((i, "suff", k, True))
18 
19    P = _p_pred(champ.proba(variants), preds[[m[0] for m in meta]])4

Como está hoje

Entregue em agosto de 2026; o resultado está pendente. Todas as tabelas e figuras podem ser reproduzidas a partir de scripts versionados e seeds fixas. Agora estou transformando a dissertação em um artigo para congresso, junto com meu orientador.