From 12ea4ee9c242523cdf4bba634cc231b3f3416a16 Mon Sep 17 00:00:00 2001 From: tink2123 Date: Wed, 13 May 2020 17:03:29 +0800 Subject: [PATCH 1/4] rename output dir --- configs/rec/rec_icdar15_train.yml | 10 +++++----- ppocr/data/rec/dataset_traversal.py | 3 +++ ppocr/utils/character.py | 2 +- 3 files changed, 9 insertions(+), 6 deletions(-) diff --git a/configs/rec/rec_icdar15_train.yml b/configs/rec/rec_icdar15_train.yml index e16264fa59..f57aa465e8 100755 --- a/configs/rec/rec_icdar15_train.yml +++ b/configs/rec/rec_icdar15_train.yml @@ -1,12 +1,12 @@ Global: algorithm: CRNN use_gpu: true - epoch_num: 300 + epoch_num: 3000 log_smooth_window: 20 print_batch_step: 10 - save_model_dir: output_ic15 - save_epoch_step: 3 - eval_batch_step: 2000 + save_model_dir: ./output/rec + save_epoch_step: 300 + eval_batch_step: 500 train_batch_size_per_card: 256 test_batch_size_per_card: 256 image_shape: [3, 32, 100] @@ -37,6 +37,6 @@ Loss: Optimizer: function: ppocr.optimizer,AdamDecay - base_lr: 0.001 + base_lr: 0.0001 beta1: 0.9 beta2: 0.999 diff --git a/ppocr/data/rec/dataset_traversal.py b/ppocr/data/rec/dataset_traversal.py index 839448e4ff..cb3c9bbd3c 100755 --- a/ppocr/data/rec/dataset_traversal.py +++ b/ppocr/data/rec/dataset_traversal.py @@ -184,6 +184,9 @@ def sample_iter_reader(): substr = label_infor.decode('utf-8').strip("\n").split("\t") img_path = self.img_set_dir + "/" + substr[0] img = cv2.imread(img_path) + if img.shape[-1]==1 or len(list(img.shape))==2: + print("this is a gry") + img = cv2.cvtColor(img, cv2.COLOR_GRAY2BGR) if img is None: logger.info("{} does not exist!".format(img_path)) continue diff --git a/ppocr/utils/character.py b/ppocr/utils/character.py index b407503922..7dfeeef4c1 100755 --- a/ppocr/utils/character.py +++ b/ppocr/utils/character.py @@ -64,7 +64,7 @@ def encode(self, text): [sum(text_lengths)] = [text_index_0 + text_index_1 + ... + text_index_(n - 1)] length: length of each text. [batch_size] """ - if self.character_type == "en": + if self.character_type == "en" or text.encode( 'UTF-8' ).isalpha(): text = text.lower() text_list = [] From 81ddc6a11e87baf0643d8792e7ae82bbd266f198 Mon Sep 17 00:00:00 2001 From: tink2123 Date: Wed, 13 May 2020 17:07:20 +0800 Subject: [PATCH 2/4] format code --- ppocr/data/rec/dataset_traversal.py | 1 - 1 file changed, 1 deletion(-) diff --git a/ppocr/data/rec/dataset_traversal.py b/ppocr/data/rec/dataset_traversal.py index cb3c9bbd3c..c45273e005 100755 --- a/ppocr/data/rec/dataset_traversal.py +++ b/ppocr/data/rec/dataset_traversal.py @@ -185,7 +185,6 @@ def sample_iter_reader(): img_path = self.img_set_dir + "/" + substr[0] img = cv2.imread(img_path) if img.shape[-1]==1 or len(list(img.shape))==2: - print("this is a gry") img = cv2.cvtColor(img, cv2.COLOR_GRAY2BGR) if img is None: logger.info("{} does not exist!".format(img_path)) From 68380ab8cd5a40a2b4e812cd9a649fe3838b682f Mon Sep 17 00:00:00 2001 From: tink2123 Date: Wed, 13 May 2020 17:09:12 +0800 Subject: [PATCH 3/4] add rec doc --- doc/recognition.md | 134 +++++++++++++++++++++++++++++++++++++++++++++ 1 file changed, 134 insertions(+) create mode 100644 doc/recognition.md diff --git a/doc/recognition.md b/doc/recognition.md new file mode 100644 index 0000000000..0cfbc997f3 --- /dev/null +++ b/doc/recognition.md @@ -0,0 +1,134 @@ +## 文字识别 + +### 数据准备 + + +PaddleOCR 支持 `lmdb` 和 `通用数据` 两种数据格式，请按如下步骤设置数据集： + +训练数据的默认存储路径是 `PaddleOCR/train_data`,如果您的磁盘上已有数据集，只需创建软链接至数据集目录： + +``` +ln -sf /train_data/dataset +``` + + +* 数据下载 + +若您本地没有数据集，可以参考[DTRB](https://github.com/clovaai/deep-text-recognition-benchmark#download-lmdb-dataset-for-traininig-and-evaluation-from-here)，下载 benchmark 所需的lmdb格式数据集。也可在官网下载 [icdar2015](http://rrc.cvc.uab.es/?ch=4&com=downloads) 数据，用于快速验证。 + +* 使用自己数据集 + +若您希望使用自己的数据进行训练，请参考下文组织您的数据。 + +- 训练集 + +首先请将训练图片放入同一个文件夹（train_images），并用一个txt文件（rec_gt_train.txt）记录图片路径和标签。 + +* 注意： 默认请将图片路径和图片标签用 \t 分割，如用其他方式分割将造成训练报错 + +``` +" 图像文件名 图像标注信息 " + +train_data/train_0001.jpg 简单可依赖 +train_data/train_0002.jpg 用科技让复杂的世界更简单 +``` + +最终训练集应有如下文件结构： + +|-train_data + |- rec_gt_train.txt + |- train_imags + |- train_001.jpg + |- train_002.jpg + |- train_003.jpg + | ... + +- 评估集 + +同训练集类似，评估集也需要提供一个包含所有图片的文件夹（eval_images）和一个rec_gt_eval.txt，评估集的结构如下所示： + +|-train_data + |- rec_gt_eval.txt + |- eval_imags + |- eval_001.jpg + |- eval_002.jpg + |- eval_003.jpg + | ... + + +- 字典 + +最后需要提供一个字典（{word_dict_name}.txt），使模型在训练时，可以将所有出现的字符映射为字典的索引。 + +因此字典需要包含所有希望被正确识别的字符，{word_dict_name}.txt需要写成如下格式： + + +L +d +a +D +R +n + +word_dict.txt 每行有一个单字，将字符与数字索引映射在一起，“and” 将被映射成 [2 5 1] + +`ppocr/utils/ppocr_keys_v1.txt` 是一个包含6623个字符的中文字典， +`ppocr/utils/ic15_dict.txt` 是一个包含36个字符的英文字典， +您可以按需使用。如需自定义dic文件，请修改 `configs/rec/rec_icdar15_train.yml` 中的 `character_dict_path` 字段。 + + +### 启动训练 + +PaddleOCR提供了训练脚本、评估脚本和预测脚本，本节将以RCNN中文识别模型为例： + +``` +# 设置PYTHONPATH路径 +export PYTHONPATH=$PYTHONPATH:. +# GPU训练 支持单卡，多卡训练，通过CUDA_VISIBLE_DEVICES指定卡号 +export CUDA_VISIBLE_DEVICES=0,1,2,3 +python tools/train.py -c configs/rec/rec_icdar15_train.yml +``` + +PaddleOCR支持训练和评估交替进行, 可以在 `configs/rec/rec_icdar15_train.yml` 中修改 `eval_batch_step` 设置评估频率，默认每2000个iter评估一次。评估过程中默认将最佳acc模型，保存为 `output/rec/best_accuracy` 。 + +如果验证集很大，测试将会比较耗时，建议减少评估次数，或训练完再进行评估。 + +### 评估 + +评估数据集可以通过 `configs/rec/rec_icdar15_reader.yml` 修改EvalReader中的 `label_file_path` 设置。 + +``` +export CUDA_VISIBLE_DEVICES=0 +# GPU 评估， Global.pretrain_weights 为待测权重 +python tools/eval.py -c configs/rec/rec_chinese_lite_train.yml -o Global.pretrain_weights={path/to/weights}/best_accuracy +``` + +### 测试 + +* 训练引擎的预测 + +PaddleOCR 提供了训练好的中文模型，可以使用 + +默认预测图片存储在 `infer_img` 里，通过 Global.pretrain_weights 指定权重： + +``` +python tools/infer_rec.py -c configs/rec/rec_chinese_lite_train.yml -o Global.pretrain_weights={path/to/weights}/best_accuracy +``` + +得到输入图像的预测结果： + +``` +infer_img: infer_img/328_4.jpg +# 字符在字典中的索引 +[1863 921 55 155 1863 4209 3344 486 914 1863 4918] +# 预测结果 +冷库专用冷冻液/载冷剂 +``` + +得到预测结果后，脚本会自动将权重转换为inference model 并保存在 rec_inference 下： + +|-rec_inference + |- model + |- params + + From 2a477c85755957d182abfea96986343a56ac5c36 Mon Sep 17 00:00:00 2001 From: tink2123 Date: Wed, 13 May 2020 20:27:45 +0800 Subject: [PATCH 4/4] polish doc --- configs/rec/rec_icdar15_train.yml | 4 +-- doc/recognition.md | 49 ++++++++++++++++--------------- 2 files changed, 27 insertions(+), 26 deletions(-) diff --git a/configs/rec/rec_icdar15_train.yml b/configs/rec/rec_icdar15_train.yml index f57aa465e8..35aba6684e 100755 --- a/configs/rec/rec_icdar15_train.yml +++ b/configs/rec/rec_icdar15_train.yml @@ -4,7 +4,7 @@ Global: epoch_num: 3000 log_smooth_window: 20 print_batch_step: 10 - save_model_dir: ./output/rec + save_model_dir: ./output/rec_CRNN save_epoch_step: 300 eval_batch_step: 500 train_batch_size_per_card: 256 @@ -37,6 +37,6 @@ Loss: Optimizer: function: ppocr.optimizer,AdamDecay - base_lr: 0.0001 + base_lr: 0.0005 beta1: 0.9 beta2: 0.999 diff --git a/doc/recognition.md b/doc/recognition.md index 0cfbc997f3..e50a78aeca 100644 --- a/doc/recognition.md +++ b/doc/recognition.md @@ -3,7 +3,9 @@ ### 数据准备 -PaddleOCR 支持 `lmdb` 和 `通用数据` 两种数据格式，请按如下步骤设置数据集： +PaddleOCR 支持两种数据格式: `lmdb` 用于训练公开数据，调试算法, `通用数据` 训练自己的数据: + +请按如下步骤设置数据集： 训练数据的默认存储路径是 `PaddleOCR/train_data`,如果您的磁盘上已有数据集，只需创建软链接至数据集目录： @@ -14,9 +16,9 @@ ln -sf /train_data/dataset * 数据下载 -若您本地没有数据集，可以参考[DTRB](https://github.com/clovaai/deep-text-recognition-benchmark#download-lmdb-dataset-for-traininig-and-evaluation-from-here)，下载 benchmark 所需的lmdb格式数据集。也可在官网下载 [icdar2015](http://rrc.cvc.uab.es/?ch=4&com=downloads) 数据，用于快速验证。 +若您本地没有数据集，可以在官网下载 [icdar2015](http://rrc.cvc.uab.es/?ch=4&com=downloads) 数据，用于快速验证。也可以参考[DTRB](https://github.com/clovaai/deep-text-recognition-benchmark#download-lmdb-dataset-for-traininig-and-evaluation-from-here)，下载 benchmark 所需的lmdb格式数据集。 -* 使用自己数据集 +* 使用自己数据集： 若您希望使用自己的数据进行训练，请参考下文组织您的数据。 @@ -35,6 +37,7 @@ train_data/train_0002.jpg 用科技让复杂的世界更简单 最终训练集应有如下文件结构： +``` |-train_data |- rec_gt_train.txt |- train_imags @@ -42,11 +45,13 @@ train_data/train_0002.jpg 用科技让复杂的世界更简单 |- train_002.jpg |- train_003.jpg | ... +``` - 评估集 同训练集类似，评估集也需要提供一个包含所有图片的文件夹（eval_images）和一个rec_gt_eval.txt，评估集的结构如下所示： +``` |-train_data |- rec_gt_eval.txt |- eval_imags @@ -54,21 +59,22 @@ train_data/train_0002.jpg 用科技让复杂的世界更简单 |- eval_002.jpg |- eval_003.jpg | ... - +``` - 字典 最后需要提供一个字典（{word_dict_name}.txt），使模型在训练时，可以将所有出现的字符映射为字典的索引。 -因此字典需要包含所有希望被正确识别的字符，{word_dict_name}.txt需要写成如下格式： - +因此字典需要包含所有希望被正确识别的字符，{word_dict_name}.txt需要写成如下格式，并以 `utf-8` 编码格式保存： -L +``` +l d a -D -R +d +r n +``` word_dict.txt 每行有一个单字，将字符与数字索引映射在一起，“and” 将被映射成 [2 5 1] @@ -79,7 +85,7 @@ word_dict.txt 每行有一个单字，将字符与数字索引映射在一起， ### 启动训练 -PaddleOCR提供了训练脚本、评估脚本和预测脚本，本节将以RCNN中文识别模型为例： +PaddleOCR提供了训练脚本、评估脚本和预测脚本，本节将以 CRNN 识别模型为例： ``` # 设置PYTHONPATH路径 @@ -89,30 +95,32 @@ export CUDA_VISIBLE_DEVICES=0,1,2,3 python tools/train.py -c configs/rec/rec_icdar15_train.yml ``` -PaddleOCR支持训练和评估交替进行, 可以在 `configs/rec/rec_icdar15_train.yml` 中修改 `eval_batch_step` 设置评估频率，默认每2000个iter评估一次。评估过程中默认将最佳acc模型，保存为 `output/rec/best_accuracy` 。 +PaddleOCR支持训练和评估交替进行, 可以在 `configs/rec/rec_icdar15_train.yml` 中修改 `eval_batch_step` 设置评估频率，默认每2000个iter评估一次。评估过程中默认将最佳acc模型，保存为 `output/rec_CRNN/best_accuracy` 。 如果验证集很大，测试将会比较耗时，建议减少评估次数，或训练完再进行评估。 +* 提示： 可通过 -c 参数选择 `configs/rec/` 路径下的多种模型配置进行训练 + ### 评估 评估数据集可以通过 `configs/rec/rec_icdar15_reader.yml` 修改EvalReader中的 `label_file_path` 设置。 ``` export CUDA_VISIBLE_DEVICES=0 -# GPU 评估， Global.pretrain_weights 为待测权重 -python tools/eval.py -c configs/rec/rec_chinese_lite_train.yml -o Global.pretrain_weights={path/to/weights}/best_accuracy +# GPU 评估， Global.checkpoints 为待测权重 +python tools/eval.py -c configs/rec/rec_chinese_lite_train.yml -o Global.checkpoints={path/to/weights}/best_accuracy ``` -### 测试 +### 预测 * 训练引擎的预测 -PaddleOCR 提供了训练好的中文模型，可以使用 +PaddleOCR 提供了训练好的中文模型，可以[下载](todo: add)进行快速预测。 -默认预测图片存储在 `infer_img` 里，通过 Global.pretrain_weights 指定权重： +默认预测图片存储在 `infer_img` 里，通过 `-o Global.checkpoints` 指定权重： ``` -python tools/infer_rec.py -c configs/rec/rec_chinese_lite_train.yml -o Global.pretrain_weights={path/to/weights}/best_accuracy +python tools/infer_rec.py -c configs/rec/rec_chinese_lite_train.yml -o Global.checkpoints={path/to/weights}/best_accuracy ``` 得到输入图像的预测结果： @@ -125,10 +133,3 @@ infer_img: infer_img/328_4.jpg 冷库专用冷冻液/载冷剂 ``` -得到预测结果后，脚本会自动将权重转换为inference model 并保存在 rec_inference 下： - -|-rec_inference - |- model - |- params - -