训练时候只有1000条测试样本, tester却显示有124W条

[linrongyi]

我split了1000条样本作为dev set, 可是在训练过程中, 打印出来的tester信息显示有100多W条. 在test过程中, 停顿了许久, 所以应该是eval了这么多条数据.

我训练的命令是

${TRAINER_BIN} \
	--job=train \
	--config=trainer_config.conf \
	--save_dir=output \
	--trainer_count=11 \
	--use_gpu=0 \
	--save_dir=./output.${TAG} \
	--dot_period=100 \
	--log_period=1000 \
	--test_period=10000 \
	--num_passes=15 \
	--init_model_path=./model.init \
	--load_missing_parameter_strategy=rand \
	--test_wait=1  --show_parameter_stats_period=1000

打印出来的log

I1112 16:08:26.652833  8142 TrainerInternal.cpp:182]  Pass=0 Batch=15091 samples=1931613 AvgCost=0.481067 Eval: err_rate_out1=0.0968464 
I1112 16:09:07.795814  8142 Tester.cpp:127]  Test samples=1248750 cost=0.488171 Eval: err_rate_out1=0.0605288 

我在dataprovider里面打了debug, 确认data_provider只load了1000条数据

0 insts loaded
0 insts loaded
[999] instances loaded from /home/aladdin/paddle_tasks/tagging/data/caipu.refined.test [load结束打出的日志]
100000 insts loaded
200000 insts loaded
300000 insts loaded
400000 insts loaded
500000 insts loaded
I1112 16:04:13.903460  8165 ThreadLocal.cpp:37] thread use undeterministic rand seed:8166
...600000 insts loaded
....700000 insts loaded

[backyes]

@linrongyi
能否提供，

• 至少模型配置中数据部分
• dataprovider的test部分

确保能从一一有迹可循，上面的内容还是不够全面。

[linrongyi]

我后来试了一下, 是这个参数引起的--test_period=10000, 去掉以后就正常了.
不过按照paddle_trainer的help, 这个argument的含义是, 每10000个batch测试一下, 好像从这个现象上看也不太符合预期

[qingqing01]

@linrongyi 训练的命令参数里加上 --test_all_data_in_one_period=true，这样会测试全部样本。 如果不加会依据testPeriod测试，这个特性目前正在 #411 里修正。 一般都用会 --test_all_data_in_one_period=true。

[linrongyi]

好的. 谢谢各位