Robustness of Federated Learning Against Poisoning Attacks: Replication and Critical Evaluation of the FedDMC Algorithm

Défense de mémoire - Ayhan DEMIRCI

Résumé

L'apprentissage fédéré entraîne un modèle partagé sans rassembler les données, ce qui l'expose aussi à l'empoisonnement : un client malveillant peut corrompre le modèle global à travers les mises à jour qu'il envoie. Ce mémoire réplique FedDMC (IEEE TDSC 2024), une défense par détection, à partir du code que l'article désigne lui-même, sur MNIST, face à quatre attaques et trois défenses de référence. La détection publiée peut être reproduite, mais seulement après une correction que l'article ne mentionne nulle part : le code publié entraîne les clients avec l'optimiseur Adam, et ce choix non documenté casse silencieusement la détection pour deux des quatre attaques. En revanche, avec l'optimiseur SGD décrit dans l'article, la détection est parfaite sur les quatre attaques. La réplication documente aussi d'autres écarts entre l'article et son code (un partage de données par défaut erroné, des métriques aux étiquettes inversées, une méthode de clustering par défaut différente), et montre que les défenses de référence livrées avec le code sont des versions simplifiées des méthodes originales : la comparaison de l'article ne peut donc pas être vérifiée à partir de son propre artefact. Les 82 exécutions complètes journalisées sont publiques dans un replication package. La leçon générale est que le résultat publié d'une défense doit être vérifié par une réplication indépendante avant qu'on puisse s'y fier.

Mots-clés : apprentissage fédéré, attaques par empoisonnement, détection de clients malveillants, reproductibilité, réplication, FedDMC

 

Abstract

Federated learning trains a shared model without collecting the data, which also exposes it to poisoning: a malicious client can corrupt the global model through the updates it sends. This thesis replicates FedDMC (IEEE TDSC 2024), a detection defense, from the code its paper designates, on MNIST, against four poisoning attacks and three baseline defenses. The published detection can be reproduced, but only after a correction the paper never mentions: the released code trains with the Adam optimizer, and that undocumented default silently breaks detection for two of the four attacks. However, with the SGD optimizer described in the paper, detection is perfect on all four attacks. The replication also documents further gaps between paper and code (a broken data-split flag, swapped metric labels, a different default clustering method), and shows the released baselines are simplified versions of the published methods, so the paper's comparison cannot be checked from its own artifact. The logs from all 82 complete runs are public in a replication package. The general lesson is that a published defense result needs to be verified by an independent replication before it can be trusted.

Keywords: federated learning, poisoning attacks, malicious client detection, reproducibility, replication study, FedDMC

Contact : Sara Medugno - sara.medugno@unamur.be
Télecharger : vCal