Merge pull request #1 from FumiyukiKato/revision

Revision

exp/exp1-no-dp.sh

@@ -0,0 +1,64 @@
+#! /bin/bash
+set -ex
+
+# Attack performance fixed label number
+
+for num_of_label in 1 2 3 4 5 6 7 8 9
+do
+# mnist
+# fixed-number
+# nn
+python src/fl_main.py --model=mlp --dataset=mnist --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=nn --num_of_label_k=$num_of_label --fixed_inference_number=$num_of_label --attacker_batch_size=32 --attack_from_cache --prefix=exp1-no-dp
+# nn-single
+python src/fl_main.py --model=mlp --dataset=mnist --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=nn --num_of_label_k=$num_of_label --fixed_inference_number=$num_of_label --attacker_batch_size=32 --single_model --attack_from_cache  --prefix=exp1-no-dp
+# clustering (Jac)
+python src/fl_main.py --model=mlp --dataset=mnist --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=clustering  --num_of_label_k=$num_of_label --fixed_inference_number=$num_of_label  --attack_from_cache --prefix=exp1-no-dp
+done
+
+for num_of_label in  1 2 3 4 5 6 7 8 9
+do
+## cifar10
+# fixed-number, mlp
+# nn
+python src/fl_main.py --model=mlp --dataset=cifar10  --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=nn --num_of_label_k=$num_of_label --fixed_inference_number=$num_of_label --attack_from_cache --attacker_batch_size=32 --prefix=exp1-no-dp
+# nn-single
+python src/fl_main.py --model=mlp --dataset=cifar10  --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=nn --num_of_label_k=$num_of_label --fixed_inference_number=$num_of_label --attack_from_cache --attacker_batch_size=32 --single_model --prefix=exp1-no-dp
+# clustering (Jac)
+python src/fl_main.py --model=mlp --dataset=cifar10  --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=clustering  --num_of_label_k=$num_of_label --fixed_inference_number=$num_of_label  --attack_from_cache --prefix=exp1-no-dp
+done
+
+for num_of_label in 1 2 3 4 5 6 7 8 9
+do
+## cifar10
+# fixed-number, cnn
+# nn
+python src/fl_main.py --model=cnn --dataset=cifar10  --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=nn --num_of_label_k=$num_of_label --fixed_inference_number=$num_of_label --attack_from_cache --attacker_batch_size=32 --prefix=exp1-no-dp
+# nn-single
+python src/fl_main.py --model=cnn --dataset=cifar10  --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=nn --num_of_label_k=$num_of_label --fixed_inference_number=$num_of_label --attack_from_cache --attacker_batch_size=32 --single_model --prefix=exp1-no-dp
+# clustering (Jac)
+python src/fl_main.py --model=cnn --dataset=cifar10  --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=clustering  --num_of_label_k=$num_of_label --fixed_inference_number=$num_of_label  --attack_from_cache --prefix=exp1-no-dp
+done
+
+for num_of_label in 1 2 4 8 16
+do
+## purchase100
+# fixed-number
+# nn
+python src/fl_main.py --model=mlp --dataset=purchase100  --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --num_classes=100 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=nn --num_of_label_k=$num_of_label --fixed_inference_number=$num_of_label --attack_from_cache --attacker_batch_size=32 --prefix=exp1-no-dp
+# nn-single
+python src/fl_main.py --model=mlp --dataset=purchase100  --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --num_classes=100 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=nn --num_of_label_k=$num_of_label --fixed_inference_number=$num_of_label --attack_from_cache --attacker_batch_size=32 --single_model --prefix=exp1-no-dp
+# clustering (Jac)
+python src/fl_main.py --model=mlp --dataset=purchase100  --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --num_classes=100 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=clustering  --num_of_label_k=$num_of_label --fixed_inference_number=$num_of_label  --attack_from_cache --prefix=exp1-no-dp
+done
+
+for num_of_label in 1 2 4 8 16
+do
+## cifar100
+# fixed-number
+# nn
+# python src/fl_main.py --model=cnn --dataset=cifar100 --epochs=1 --seed=0 --frac=0.1 --num_users=1000 --num_classes=100 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=nn --num_of_label_k=$num_of_label --fixed_inference_number=$num_of_label --attack_from_cache --attacker_batch_size=32 --prefix=exp1-no-dp
+# nn-single
+python src/fl_main.py --model=cnn --dataset=cifar100 --epochs=1 --seed=0 --frac=0.1 --num_users=1000 --num_classes=100 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=nn --num_of_label_k=$num_of_label --fixed_inference_number=$num_of_label --attack_from_cache --attacker_batch_size=32 --single_model --prefix=exp1-no-dp
+# clustering (Jac)
+python src/fl_main.py --model=cnn --dataset=cifar100 --epochs=1 --seed=0 --frac=0.1 --num_users=1000 --num_classes=100 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=clustering  --num_of_label_k=$num_of_label --fixed_inference_number=$num_of_label  --attack_from_cache --prefix=exp1-no-dp
+done

exp/exp10.sh

@@ -0,0 +1,54 @@
+#! /bin/bash
+set -ex
+
+# Attack performance for various number of attacker data size
+
+## MNIST
+# Fixed number of label
+for attacker_data_size in 5000 1000 500 100 50 20 10
+do
+# mnist
+# fixed-number
+# nn
+python src/fl_main.py --model=mlp --dataset=mnist --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=nn --num_of_label_k=2 --fixed_inference_number=2 --attacker_batch_size=32 --attack_from_cache --attacker_data_size=$attacker_data_size --prefix=exp10
+# nn-single
+python src/fl_main.py --model=mlp --dataset=mnist --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=nn --num_of_label_k=2 --fixed_inference_number=2 --attacker_batch_size=32 --single_model --attack_from_cache --attacker_data_size=$attacker_data_size  --prefix=exp10
+# clustering (Jac)
+python src/fl_main.py --model=mlp --dataset=mnist --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=clustering  --num_of_label_k=2 --fixed_inference_number=2  --attack_from_cache --attacker_data_size=$attacker_data_size --prefix=exp10
+done
+
+
+## Random number of label
+for attacker_data_size in 5000 1000 500 100 50 20 10
+do
+# nn
+python src/fl_main.py --model=mlp --dataset=mnist --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=nn --num_of_label_k=3 --attacker_batch_size=32 --attack_from_cache --random_num_label --attacker_data_size=$attacker_data_size --prefix=exp10
+# nn-single
+python src/fl_main.py --model=mlp --dataset=mnist --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=nn --num_of_label_k=3 --attacker_batch_size=32 --single_model --attack_from_cache --random_num_label --attacker_data_size=$attacker_data_size --prefix=exp10
+# clustering (Jac)
+python src/fl_main.py --model=mlp --dataset=mnist --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=clustering  --num_of_label_k=3  --attack_from_cache --random_num_label --attacker_data_size=$attacker_data_size --prefix=exp10
+done
+
+
+### purchase100
+## Fixed number of label
+for attacker_data_size in 10000 5000 1000 500 100
+do
+# nn
+python src/fl_main.py --model=mlp --dataset=purchase100  --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --num_classes=100 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=nn --num_of_label_k=2 --fixed_inference_number=2 --attack_from_cache --attacker_batch_size=32 --attacker_data_size=$attacker_data_size --prefix=exp10
+# nn-single
+python src/fl_main.py --model=mlp --dataset=purchase100  --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --num_classes=100 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=nn --num_of_label_k=2 --fixed_inference_number=2 --attack_from_cache --attacker_batch_size=32 --single_model --attacker_data_size=$attacker_data_size --prefix=exp10
+# clustering (Jac)
+python src/fl_main.py --model=mlp --dataset=purchase100  --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --num_classes=100 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=clustering  --num_of_label_k=2 --fixed_inference_number=2  --attack_from_cache --attacker_data_size=$attacker_data_size --prefix=exp10
+done
+
+## Random number of label
+for attacker_data_size in 10000 5000 1000 500 100
+do
+# nn
+python src/fl_main.py --model=mlp --dataset=purchase100 --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --num_classes=100 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=nn --num_of_label_k=2 --attack_from_cache --attacker_batch_size=32 --random_num_label --attacker_data_size=$attacker_data_size --prefix=exp10
+# nn-single
+python src/fl_main.py --model=mlp --dataset=purchase100 --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --num_classes=100 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=nn --num_of_label_k=2 --attack_from_cache --attacker_batch_size=32 --single_model --random_num_label --attacker_data_size=$attacker_data_size --prefix=exp10
+# clustering
+python src/fl_main.py --model=mlp --dataset=purchase100 --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --num_classes=100 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=clustering  --num_of_label_k=2  --attack_from_cache --random_num_label --attacker_data_size=$attacker_data_size --prefix=exp10
+done

exp/exp2-no-dp.sh

@@ -0,0 +1,64 @@
+#! /bin/bash
+set -ex
+
+# Attack performance variable label number
+
+for num_of_label in 1 2 3 4 5 6 7 8 9
+do
+## mnist
+# variable-number
+# nn
+python src/fl_main.py --model=mlp --dataset=mnist --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=nn --num_of_label_k=$num_of_label --attacker_batch_size=32 --attack_from_cache --random_num_label --prefix=exp2-no-dp
+# nn-single
+python src/fl_main.py --model=mlp --dataset=mnist --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=nn --num_of_label_k=$num_of_label --attacker_batch_size=32 --single_model --attack_from_cache  --random_num_label --prefix=exp2-no-dp
+# clustering (Jac)
+python src/fl_main.py --model=mlp --dataset=mnist --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=clustering  --num_of_label_k=$num_of_label  --attack_from_cache --random_num_label --prefix=exp2-no-dp
+done
+
+for num_of_label in 1 2 3 4 5 6 7 8 9
+do
+## cifar10
+# variable-number, mlp
+# nn
+python src/fl_main.py --model=mlp --dataset=cifar10 --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=nn --num_of_label_k=$num_of_label --attack_from_cache --attacker_batch_size=32 --random_num_label --prefix=exp2-no-dp
+# nn-single
+python src/fl_main.py --model=mlp --dataset=cifar10 --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=nn --num_of_label_k=$num_of_label --attack_from_cache --attacker_batch_size=32 --single_model --random_num_label --prefix=exp2-no-dp
+# clustering (Jac)
+python src/fl_main.py --model=mlp --dataset=cifar10 --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=clustering  --num_of_label_k=$num_of_label  --attack_from_cache --random_num_label --prefix=exp2-no-dp
+done
+
+for num_of_label in 1 2 3 4 5 6 7 8 9
+do
+## cifar10
+# variable-number, cnn
+# nn
+python src/fl_main.py --model=cnn --dataset=cifar10 --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=nn --num_of_label_k=$num_of_label --attack_from_cache --attacker_batch_size=32 --random_num_label --prefix=exp2-no-dp
+# nn-single
+python src/fl_main.py --model=cnn --dataset=cifar10 --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=nn --num_of_label_k=$num_of_label --attack_from_cache --attacker_batch_size=32 --single_model --random_num_label --prefix=exp2-no-dp
+# clustering (Jac)
+python src/fl_main.py --model=cnn --dataset=cifar10 --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=clustering  --num_of_label_k=$num_of_label  --attack_from_cache --random_num_label --prefix=exp2-no-dp
+done
+
+for num_of_label in 1 2 4 8 16
+do
+# purchase100
+# variable-number
+# nn
+python src/fl_main.py --model=mlp --dataset=purchase100 --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --num_classes=100 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=nn --num_of_label_k=$num_of_label --attack_from_cache --attacker_batch_size=32 --random_num_label --prefix=exp2-no-dp
+# nn-single
+python src/fl_main.py --model=mlp --dataset=purchase100 --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --num_classes=100 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=nn --num_of_label_k=$num_of_label --attack_from_cache --attacker_batch_size=32 --single_model --random_num_label --prefix=exp2-no-dp
+# clustering
+python src/fl_main.py --model=mlp --dataset=purchase100 --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --num_classes=100 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=clustering  --num_of_label_k=$num_of_label  --attack_from_cache --random_num_label --prefix=exp2-no-dp
+done
+
+for num_of_label in 1 2 4 8 16
+do
+## cifar100
+# variable-number
+# nn
+# python src/fl_main.py --model=cnn --dataset=cifar100 --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --num_classes=100 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=nn --num_of_label_k=$num_of_label --attack_from_cache --attacker_batch_size=32 --random_num_label --prefix=exp2-no-dp
+# nn-single
+python src/fl_main.py --model=cnn --dataset=cifar100 --epochs=1 --seed=0 --frac=0.1 --num_users=1000 --num_classes=100 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=nn --num_of_label_k=$num_of_label --attack_from_cache --attacker_batch_size=32 --single_model --random_num_label --prefix=exp2-no-dp
+# clustering (Jac)
+python src/fl_main.py --model=cnn --dataset=cifar100 --epochs=1 --seed=0 --frac=0.1 --num_users=1000 --num_classes=100 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=clustering  --num_of_label_k=$num_of_label  --attack_from_cache --random_num_label --prefix=exp2-no-dp
+done

exp/exp3-no-dp.sh

@@ -0,0 +1,27 @@
+#! /bin/bash
+set -ex
+
+# Attack performance for each sparse ratio
+
+for alpha in 0.0125 0.025 0.05 0.1 0.2 0.4 0.6 0.8
+do
+# mnist
+# fixed-number
+# nn
+python src/fl_main.py --model=mlp --dataset=mnist --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --data_dist=non-IID --optimizer=sgd --alpha=$alpha --attack=nn --num_of_label_k=2 --fixed_inference_number=2 --attacker_batch_size=32 --attack_from_cache --prefix=exp3-no-dp
+# nn-single
+python src/fl_main.py --model=mlp --dataset=mnist --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --data_dist=non-IID --optimizer=sgd --alpha=$alpha --attack=nn --num_of_label_k=2 --fixed_inference_number=2 --attacker_batch_size=32 --single_model --attack_from_cache  --prefix=exp3-no-dp
+# clustering (Jac)
+python src/fl_main.py --model=mlp --dataset=mnist --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --data_dist=non-IID --optimizer=sgd --alpha=$alpha --attack=clustering  --num_of_label_k=2 --fixed_inference_number=2 --attack_from_cache --prefix=exp3-no-dp
+done
+
+for alpha in 0.003125 0.00625 0.0125 0.025 0.05 0.1 0.2 0.4 0.6 0.8
+do
+## cifar100
+# fixed-number
+# nn if epochs set 1, nn is simlar to nn-single
+# nn-single
+python src/fl_main.py --model=cnn --dataset=cifar100 --epochs=1 --seed=0 --frac=0.1 --num_users=1000 --num_classes=100 --data_dist=non-IID --optimizer=sgd --alpha=$alpha --attack=nn --num_of_label_k=2 --fixed_inference_number=2 --attack_from_cache --attacker_batch_size=32 --single_model --prefix=exp3-no-dp
+# clustering (Jac)
+python src/fl_main.py --model=cnn --dataset=cifar100 --epochs=1 --seed=0 --frac=0.1 --num_users=1000 --num_classes=100 --data_dist=non-IID --optimizer=sgd --alpha=$alpha --attack=clustering  --num_of_label_k=2 --fixed_inference_number=2 --attack_from_cache --prefix=exp3-no-dp
+done

exp/exp4-no-dp.sh

@@ -0,0 +1,33 @@
+#! /bin/bash
+set -ex
+
+# Relation between epoch and vulnerability
+
+## mnist
+# variable-number, k=3
+# alpha=0.1
+# nn
+python src/fl_main.py --model=mlp --dataset=mnist --epochs=10 --seed=0 --frac=0.1 --num_users=1000 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=nn --num_of_label_k=3 --random_num_label --attacker_batch_size=32 --attack_from_cache --prefix=exp4-no-dp --per_round
+# nn-single
+python src/fl_main.py --model=mlp --dataset=mnist --epochs=10 --seed=0 --frac=0.1 --num_users=1000 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=nn --num_of_label_k=3 --random_num_label --attacker_batch_size=32 --attack_from_cache --prefix=exp4-no-dp --per_round --single_model
+# clustering (Jac)
+python src/fl_main.py --model=mlp --dataset=mnist --epochs=10 --seed=0 --frac=0.1 --num_users=1000 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=clustering  --num_of_label_k=3 --random_num_label --attack_from_cache --prefix=exp4-no-dp --per_round
+
+# alpha=0.8
+# nn
+python src/fl_main.py --model=mlp --dataset=mnist --epochs=10 --seed=0 --frac=0.1 --num_users=100 --data_dist=non-IID --optimizer=sgd --alpha=0.8 --attack=nn --num_of_label_k=3 --random_num_label --attacker_batch_size=32 --attack_from_cache --prefix=exp4-no-dp --per_round
+# nn-single
+python src/fl_main.py --model=mlp --dataset=mnist --epochs=10 --seed=0 --frac=0.1 --num_users=100 --data_dist=non-IID --optimizer=sgd --alpha=0.8 --attack=nn --num_of_label_k=3 --random_num_label --attacker_batch_size=32 --attack_from_cache --prefix=exp4-no-dp --per_round --single_model
+# clustering (Jac)
+python src/fl_main.py --model=mlp --dataset=mnist --epochs=10 --seed=0 --frac=0.1 --num_users=100 --data_dist=non-IID --optimizer=sgd --alpha=0.8 --attack=clustering  --num_of_label_k=3 --random_num_label --attack_from_cache --prefix=exp4-no-dp --per_round
+
+
+## cifar10
+# variable-number, k=3
+# alpha=0.1
+# nn
+python src/fl_main.py --model=cnn --dataset=cifar10 --epochs=10 --seed=0 --frac=0.1 --num_users=1000 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=nn --num_of_label_k=2 --random_num_label --attacker_batch_size=32 --attack_from_cache --prefix=exp4-no-dp --per_round
+# nn-single
+python src/fl_main.py --model=cnn --dataset=cifar10 --epochs=10 --seed=0 --frac=0.1 --num_users=1000 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=nn --num_of_label_k=2 --random_num_label --attacker_batch_size=32 --attack_from_cache --prefix=exp4-no-dp --per_round --single_model
+# clustering (Jac)
+python src/fl_main.py --model=cnn --dataset=cifar10 --epochs=10 --seed=0 --frac=0.1 --num_users=1000 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=clustering  --num_of_label_k=2 --random_num_label --attack_from_cache --prefix=exp4-no-dp --per_round

exp/exp6-no-dp.sh

@@ -0,0 +1,13 @@
+#! /bin/bash
+set -ex
+
+## Cacheline-Protection
+
+## cifar10
+# fixed-number, cnn
+# nn
+python src/fl_main.py --model=cnn --dataset=cifar10 --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=nn --num_of_label_k=3 --fixed_inference_number=3 --attack_from_cache --attacker_batch_size=32 --prefix=exp6-no-dp --protection=cacheline
+# nn-batch
+python src/fl_main.py --model=cnn --dataset=cifar10 --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=nn --num_of_label_k=3 --fixed_inference_number=3 --attack_from_cache --attacker_batch_size=32 --single_model --prefix=exp6-no-dp --protection=cacheline
+# clustering
+python src/fl_main.py --model=cnn --dataset=cifar10 --epochs=3 --seed=0 --frac=0.1 --num_users=1000 --data_dist=non-IID --optimizer=sgd --alpha=0.1 --attack=clustering  --num_of_label_k=3 --fixed_inference_number=3  --attack_from_cache --prefix=exp6-no-dp --protection=cacheline