FastText
Test Loss: 0.44, Test Acc: 87.18% ECE Loss for epoch 90: 0.06751407352121834 Precision, Recall and F1-Score... precision recall f1-score support
冒充电商物流客服类 0.8374 0.7387 0.7850 1102
贷款、代办信用卡类 0.9447 0.9234 0.9339 888
虚假网络投资理财类 0.8649 0.8795 0.8721 946
冒充领导、熟人类 0.9177 0.8527 0.8840 353
冒充公检法及政府机关类 0.9146 0.7918 0.8488 365
网络游戏产品虚假交易类 0.8962 0.9535 0.9239 172
刷单返利类 0.9403 0.9725 0.9561 2835
虚假征信类 0.7079 0.9129 0.7974 677
冒充军警购物类诈骗 0.7640 0.7727 0.7684 88
虚假购物、服务类 0.6880 0.6294 0.6574 564
网黑案件 0.9216 0.9792 0.9495 96
网络婚恋、交友类（非虚假网络投资理财类） 0.6800 0.3923 0.4976 130
accuracy 0.8718 8216
macro avg 0.8398 0.8165 0.8228 8216
weighted avg 0.8726 0.8718 0.8696 8216
Confusion Matrix... [[ 814 7 17 3 5 4 24 179 0 47 0 2] [ 12 820 4 2 1 0 6 35 0 5 1 2] [ 6 6 832 0 1 1 71 0 0 28 0 1] [ 7 1 6 301 3 0 5 4 1 23 0 2] [ 14 5 2 8 289 0 4 17 8 16 1 1] [ 1 0 2 0 0 164 1 0 0 4 0 0] [ 11 2 35 3 4 0 2757 1 0 15 0 7] [ 36 14 1 1 4 1 1 618 0 1 0 0] [ 1 0 1 2 2 0 0 0 68 14 0 0] [ 68 12 30 5 5 12 36 19 12 355 2 8] [ 0 0 0 0 0 0 1 0 0 0 94 1] [ 2 1 32 3 2 1 26 0 0 8 4 51]]
TextCNN
Test Loss: 1.8, Test Acc: 86.82% Precision, Recall and F1-Score... precision recall f1-score support
冒充电商物流客服类 0.8716 0.7269 0.7927 1102
贷款、代办信用卡类 0.9486 0.9358 0.9422 888
虚假网络投资理财类 0.8556 0.9080 0.8810 946
冒充领导、熟人类 0.8725 0.8527 0.8625 353
冒充公检法及政府机关类 0.9174 0.8219 0.8671 365
网络游戏产品虚假交易类 0.8736 0.9244 0.8983 172
刷单返利类 0.9457 0.9771 0.9611 2835
虚假征信类 0.7154 0.9394 0.8123 677
冒充军警购物类诈骗 0.0000 0.0000 0.0000 88
虚假购物、服务类 0.5938 0.6791 0.6336 564
网黑案件 0.9300 0.9688 0.9490 96
网络婚恋、交友类（非虚假网络投资理财类） 0.0000 0.0000 0.0000 130
accuracy 0.8682 8216
macro avg 0.7104 0.7278 0.7166 8216
weighted avg 0.8514 0.8682 0.8571 8216
Confusion Matrix... [[ 801 6 18 6 4 8 19 178 0 62 0 0] [ 5 831 3 0 0 0 5 41 0 2 1 0] [ 4 4 859 1 1 0 56 0 0 21 0 0] [ 8 2 3 301 5 0 3 3 0 27 1 0] [ 13 4 3 7 300 0 1 14 0 23 0 0] [ 2 1 3 0 0 159 2 0 0 5 0 0] [ 4 3 37 4 2 1 2770 0 0 14 0 0] [ 23 11 1 0 2 1 1 636 0 2 0 0] [ 3 0 1 5 5 0 0 0 0 74 0 0] [ 53 13 39 4 5 10 39 17 0 383 1 0] [ 0 0 0 1 0 0 1 0 0 1 93 0] [ 3 1 37 16 3 3 32 0 0 31 4 0]]
TextRNN
Test Loss: 0.47, Test Acc: 86.39% Precision, Recall and F1-Score... precision recall f1-score support
冒充电商物流客服类 0.8256 0.7260 0.7726 1102
贷款、代办信用卡类 0.9612 0.9200 0.9402 888
虚假网络投资理财类 0.8713 0.8805 0.8759 946
冒充领导、熟人类 0.8833 0.7932 0.8358 353
冒充公检法及政府机关类 0.9039 0.8247 0.8625 365
网络游戏产品虚假交易类 0.8953 0.8953 0.8953 172
刷单返利类 0.9521 0.9608 0.9565 2835
虚假征信类 0.6726 0.9498 0.7875 677
冒充军警购物类诈骗 0.7500 0.7159 0.7326 88
虚假购物、服务类 0.6556 0.5975 0.6252 564
网黑案件 0.9574 0.9375 0.9474 96
网络婚恋、交友类（非虚假网络投资理财类） 0.5091 0.4308 0.4667 130
accuracy 0.8639 8216
macro avg 0.8198 0.8027 0.8082 8216
weighted avg 0.8680 0.8639 0.8632 8216
Confusion Matrix... [[ 800 6 6 2 3 6 20 213 0 46 0 0] [ 9 817 1 1 2 0 6 49 0 2 0 1] [ 18 4 833 1 1 1 58 0 0 17 0 13] [ 10 0 1 280 12 0 0 5 2 32 0 11] [ 10 2 2 6 301 1 1 21 8 11 1 1] [ 4 0 5 0 1 154 0 0 0 8 0 0] [ 6 2 51 1 3 0 2724 0 0 32 0 16] [ 17 9 1 1 2 1 0 643 0 2 0 1] [ 0 0 1 5 1 0 0 0 63 17 0 1] [ 95 10 22 13 7 9 28 25 11 337 1 6] [ 0 0 0 1 0 0 1 0 0 0 90 4] [ 0 0 33 6 0 0 23 0 0 10 2 56]]
TextRNN_Att
Test Loss: 2.3, Test Acc: 34.51% Precision, Recall and F1-Score... precision recall f1-score support
冒充电商物流客服类 0.0000 0.0000 0.0000 1102
贷款、代办信用卡类 0.0000 0.0000 0.0000 888
虚假网络投资理财类 0.0000 0.0000 0.0000 946
冒充领导、熟人类 0.0000 0.0000 0.0000 353
冒充公检法及政府机关类 0.0000 0.0000 0.0000 365
网络游戏产品虚假交易类 0.0000 0.0000 0.0000 172
刷单返利类 0.3451 1.0000 0.5131 2835
虚假征信类 0.0000 0.0000 0.0000 677
冒充军警购物类诈骗 0.0000 0.0000 0.0000 88
虚假购物、服务类 0.0000 0.0000 0.0000 564
网黑案件 0.0000 0.0000 0.0000 96
网络婚恋、交友类（非虚假网络投资理财类） 0.0000 0.0000 0.0000 130
accuracy 0.3451 8216
macro avg 0.0288 0.0833 0.0428 8216
weighted avg 0.1191 0.3451 0.1770 8216
Confusion Matrix... [[ 0 0 0 0 0 0 1102 0 0 0 0 0] [ 0 0 0 0 0 0 888 0 0 0 0 0] [ 0 0 0 0 0 0 946 0 0 0 0 0] [ 0 0 0 0 0 0 353 0 0 0 0 0] [ 0 0 0 0 0 0 365 0 0 0 0 0] [ 0 0 0 0 0 0 172 0 0 0 0 0] [ 0 0 0 0 0 0 2835 0 0 0 0 0] [ 0 0 0 0 0 0 677 0 0 0 0 0] [ 0 0 0 0 0 0 88 0 0 0 0 0] [ 0 0 0 0 0 0 564 0 0 0 0 0] [ 0 0 0 0 0 0 96 0 0 0 0 0] [ 0 0 0 0 0 0 130 0 0 0 0 0]]
28367➗82208 = 34.51%
Bert
Test Loss: 0.43, Test Acc: 86.40% Precision, Recall and F1-Score... precision recall f1-score support
冒充电商物流客服类 0.9108 0.6579 0.7640 1102
贷款、代办信用卡类 0.9355 0.9313 0.9334 888
虚假网络投资理财类 0.8436 0.9006 0.8712 946
冒充领导、熟人类 0.9314 0.8074 0.8649 353
冒充公检法及政府机关类 0.9281 0.8137 0.8672 365
网络游戏产品虚假交易类 0.9191 0.9244 0.9217 172
刷单返利类 0.9254 0.9802 0.9520 2835
虚假征信类 0.6774 0.9365 0.7861 677
冒充军警购物类诈骗 0.7439 0.6932 0.7176 88
虚假购物、服务类 0.6264 0.6152 0.6208 564
网黑案件 0.9674 0.9271 0.9468 96
网络婚恋、交友类（非虚假网络投资理财类） 0.7333 0.3385 0.4632 130
accuracy 0.8640 8216
macro avg 0.8452 0.7938 0.8091 8216
weighted avg 0.8699 0.8640 0.8606 8216
Confusion Matrix... [[ 725 13 22 3 7 5 29 212 0 86 0 0] [ 2 827 2 0 3 0 7 39 0 7 0 1] [ 3 4 852 2 0 0 63 0 0 20 0 2] [ 3 0 9 285 5 0 6 5 2 32 0 6] [ 7 2 5 5 297 0 3 22 8 14 0 2] [ 0 0 4 0 0 159 4 0 0 5 0 0] [ 2 3 37 1 2 1 2779 0 0 9 0 1] [ 15 25 1 0 1 0 1 634 0 0 0 0] [ 0 0 1 1 0 0 0 0 61 25 0 0] [ 39 9 44 7 5 8 66 24 11 347 1 3] [ 0 0 0 0 0 0 5 0 0 1 89 1] [ 0 1 33 2 0 0 40 0 0 8 2 44]]
ERAIN
Test Loss: 0.37, Test Acc: 88.40% Precision, Recall and F1-Score... precision recall f1-score support
冒充电商物流客服类 0.8582 0.7523 0.8017 1102
贷款、代办信用卡类 0.9684 0.9313 0.9495 888
虚假网络投资理财类 0.8627 0.9165 0.8888 946
冒充领导、熟人类 0.9356 0.8640 0.8984 353
冒充公检法及政府机关类 0.9379 0.8685 0.9018 365
网络游戏产品虚假交易类 0.9034 0.9244 0.9138 172
刷单返利类 0.9506 0.9714 0.9609 2835
虚假征信类 0.7301 0.9069 0.8090 677
冒充军警购物类诈骗 0.7901 0.7273 0.7574 88
虚假购物、服务类 0.6720 0.6720 0.6720 564
网黑案件 0.9588 0.9688 0.9637 96
网络婚恋、交友类（非虚假网络投资理财类） 0.7746 0.4231 0.5473 130
accuracy 0.8840 8216
macro avg 0.8619 0.8272 0.8387 8216
weighted avg 0.8861 0.8840 0.8827 8216
Confusion Matrix... [[ 829 3 12 5 5 5 18 162 0 63 0 0] [ 12 827 1 1 1 0 3 34 0 6 1 2] [ 3 3 867 0 1 0 51 0 0 18 0 3] [ 6 2 3 305 5 0 1 2 1 24 0 4] [ 7 1 3 6 317 0 0 13 9 9 0 0] [ 0 0 2 0 0 159 1 0 0 10 0 0] [ 4 3 46 2 0 0 2754 0 0 23 0 3] [ 49 7 1 0 4 1 1 614 0 0 0 0] [ 0 0 1 0 0 0 0 0 64 23 0 0] [ 56 8 37 5 5 11 36 16 7 379 1 3] [ 0 0 0 0 0 0 2 0 0 0 93 1] [ 0 0 32 2 0 0 30 0 0 9 2 55]]
8分类:
FastText:
Test Loss: 0.33, Test Acc: 90.40% Precision, Recall and F1-Score... precision recall f1-score support
冒充客服类 0.8992 0.9331 0.9159 1779
贷款、代办信用卡类 0.9517 0.9313 0.9414 888
虚假网络投资理财类 0.8671 0.8827 0.8748 946
冒充领导、熟人类 0.9000 0.8414 0.8697 353
冒充公检法及政府机关类 0.9327 0.7973 0.8597 365
刷单返利类 0.9329 0.9718 0.9520 2835
虚假购物服务类 0.7885 0.7512 0.7694 824
网络婚恋、交友类（非虚假网络投资理财类） 0.9045 0.6311 0.7435 225
accuracy 0.9040 8215
macro avg 0.8971 0.8425 0.8658 8215
weighted avg 0.9034 0.9040 0.9025 8215
Confusion Matrix... [[1660 23 12 2 7 21 54 0] [ 41 827 3 1 1 8 6 1] [ 8 3 835 5 0 75 20 0] [ 5 1 6 297 5 7 30 2] [ 26 3 1 7 291 6 27 4] [ 14 4 40 2 0 2755 16 4] [ 90 8 36 11 8 48 619 4] [ 2 0 30 5 0 33 13 142]]
TextCNN:
Test Loss: 1.4, Test Acc: 91.70% Precision, Recall and F1-Score... precision recall f1-score support
冒充客服类 0.9150 0.9382 0.9265 1779
贷款、代办信用卡类 0.9577 0.9426 0.9501 888
虚假网络投资理财类 0.8818 0.9070 0.8942 946
冒充领导、熟人类 0.9311 0.8810 0.9054 353
冒充公检法及政府机关类 0.9450 0.8000 0.8665 365
刷单返利类 0.9418 0.9764 0.9588 2835
虚假购物服务类 0.8090 0.7864 0.7975 824
网络婚恋、交友类（非虚假网络投资理财类） 0.9317 0.6667 0.7772 225
accuracy 0.9170 8215
macro avg 0.9141 0.8623 0.8845 8215
weighted avg 0.9169 0.9170 0.9159 8215
Confusion Matrix... [[1669 17 11 0 5 22 55 0] [ 38 837 3 2 2 3 3 0] [ 7 3 858 0 1 58 18 1] [ 3 0 8 311 0 5 26 0] [ 22 4 2 7 292 4 29 5] [ 8 4 33 2 1 2768 15 4] [ 76 9 31 5 7 47 648 1] [ 1 0 27 7 1 32 7 150]] Time usage: 0:00:00
TextRNN:
Test Loss: 0.37, Test Acc: 89.85% Precision, Recall and F1-Score... precision recall f1-score support
冒充客服类 0.9065 0.9264 0.9163 1779
贷款、代办信用卡类 0.9702 0.9178 0.9433 888
虚假网络投资理财类 0.8686 0.8805 0.8745 946
冒充领导、熟人类 0.9392 0.7875 0.8567 353
冒充公检法及政府机关类 0.9201 0.7890 0.8496 365
刷单返利类 0.9459 0.9623 0.9540 2835
虚假购物服务类 0.6988 0.7998 0.7459 824
网络婚恋、交友类（非虚假网络投资理财类） 0.8148 0.5867 0.6822 225
accuracy 0.8985 8215
macro avg 0.8830 0.8312 0.8528 8215
weighted avg 0.9013 0.8985 0.8984 8215
Confusion Matrix... [[1648 11 9 0 4 16 91 0] [ 55 815 3 2 3 3 7 0] [ 4 3 833 0 0 58 43 5] [ 4 0 3 278 6 2 57 3] [ 29 3 1 6 288 6 29 3] [ 8 2 51 2 0 2728 30 14] [ 70 6 29 3 11 41 659 5] [ 0 0 30 5 1 30 27 132]]
TextRNN_Att:
Bert:
Test Loss: 0.34, Test Acc: 90.36% Precision, Recall and F1-Score... precision recall f1-score support
冒充客服类 0.9123 0.9241 0.9182 1779
贷款、代办信用卡类 0.9387 0.9313 0.9350 888
虚假网络投资理财类 0.8452 0.9059 0.8745 946
冒充领导、熟人类 0.8889 0.8612 0.8748 353
冒充公检法及政府机关类 0.9406 0.7808 0.8533 365
刷单返利类 0.9348 0.9714 0.9528 2835
虚假购物服务类 0.7901 0.7354 0.7618 824
网络婚恋、交友类（非虚假网络投资理财类） 0.9125 0.6489 0.7584 225
accuracy 0.9036 8215
macro avg 0.8954 0.8449 0.8661 8215
weighted avg 0.9032 0.9036 0.9021 8215
Confusion Matrix... [[1644 24 20 5 7 20 59 0] [ 43 827 3 2 2 5 5 1] [ 3 3 857 2 1 67 13 0] [ 3 0 10 304 1 5 29 1] [ 19 7 5 10 285 5 32 2] [ 7 3 44 3 1 2754 16 7] [ 83 16 45 9 4 58 606 3] [ 0 1 30 7 2 32 7 146]]
ERAIN:
Test Loss: 0.28, Test Acc: 91.89% Precision, Recall and F1-Score... precision recall f1-score support
冒充客服类 0.9256 0.9376 0.9316 1779
贷款、代办信用卡类 0.9566 0.9426 0.9495 888
虚假网络投资理财类 0.8877 0.8943 0.8910 946
冒充领导、熟人类 0.9472 0.8640 0.9037 353
冒充公检法及政府机关类 0.9415 0.8384 0.8870 365
刷单返利类 0.9468 0.9739 0.9602 2835
虚假购物服务类 0.7879 0.8070 0.7974 824
网络婚恋、交友类（非虚假网络投资理财类） 0.9045 0.7156 0.7990 225
accuracy 0.9189 8215
macro avg 0.9122 0.8717 0.8899 8215
weighted avg 0.9192 0.9189 0.9184 8215
Confusion Matrix... [[1668 18 8 1 6 17 61 0] [ 38 837 3 1 1 3 5 0] [ 3 3 846 0 0 64 26 4] [ 3 0 3 305 2 5 34 1] [ 18 2 2 7 306 4 24 2] [ 6 4 32 0 1 2761 24 7] [ 66 10 32 5 8 35 665 3] [ 0 1 27 3 1 27 5 161]]