imdb
Tests:
protocol=APP
n_prevalences=21
repreats=1000
 
binary
base true estim errors
0 1 T0 F1 F0 T1 T0 F1 F0 T1 ae f1_true f1_estim f1_dist
0 0.0000 1.0000 0.0000 0.0000 0.1100 0.8900 0.0038 0.0108 0.1062 0.8792 0.0073 NaN 0.0565 NaN
1 0.0500 0.9500 0.0448 0.0052 0.1050 0.8450 0.0454 0.0110 0.1044 0.8392 0.0164 0.4570 0.4274 0.1598
2 0.1000 0.9000 0.0890 0.0110 0.0981 0.8019 0.0928 0.0134 0.0943 0.7995 0.0194 0.6247 0.6280 0.1120
3 0.1500 0.8500 0.1329 0.0171 0.0948 0.7552 0.1394 0.0157 0.0883 0.7566 0.0245 0.7062 0.7237 0.1044
4 0.2000 0.8000 0.1776 0.0224 0.0870 0.7130 0.1860 0.0167 0.0785 0.7188 0.0256 0.7661 0.7942 0.0858
5 0.2500 0.7500 0.2225 0.0275 0.0837 0.6663 0.2324 0.0192 0.0738 0.6746 0.0282 0.8013 0.8316 0.0781
6 0.3000 0.7000 0.2668 0.0332 0.0760 0.6240 0.2773 0.0219 0.0655 0.6353 0.0293 0.8306 0.8623 0.0677
7 0.3500 0.6500 0.3100 0.0400 0.0712 0.5788 0.3252 0.0264 0.0560 0.5924 0.0324 0.8480 0.8867 0.0677
8 0.4000 0.6000 0.3550 0.0450 0.0648 0.5352 0.3682 0.0282 0.0516 0.5520 0.0315 0.8661 0.9017 0.0589
9 0.4500 0.5500 0.3988 0.0512 0.0600 0.4900 0.4127 0.0335 0.0461 0.5078 0.0326 0.8776 0.9115 0.0549
10 0.5000 0.5000 0.4439 0.0561 0.0547 0.4453 0.4580 0.0370 0.0405 0.4644 0.0333 0.8889 0.9217 0.0507
11 0.5500 0.4500 0.4895 0.0605 0.0498 0.4002 0.5014 0.0428 0.0379 0.4179 0.0337 0.8985 0.9252 0.0465
12 0.6000 0.4000 0.5318 0.0683 0.0437 0.3563 0.5446 0.0465 0.0309 0.3781 0.0333 0.9045 0.9336 0.0441
13 0.6500 0.3500 0.5755 0.0745 0.0392 0.3108 0.5843 0.0537 0.0304 0.3316 0.0327 0.9098 0.9326 0.0396
14 0.7000 0.3000 0.6219 0.0781 0.0326 0.2674 0.6292 0.0579 0.0253 0.2876 0.0313 0.9181 0.9379 0.0350
15 0.7500 0.2500 0.6641 0.0859 0.0273 0.2227 0.6708 0.0669 0.0206 0.2417 0.0300 0.9212 0.9389 0.0317
16 0.8000 0.2000 0.7084 0.0916 0.0226 0.1774 0.7120 0.0728 0.0190 0.1963 0.0286 0.9252 0.9393 0.0283
17 0.8500 0.1500 0.7536 0.0964 0.0167 0.1333 0.7533 0.0816 0.0170 0.1481 0.0251 0.9300 0.9384 0.0230
18 0.9000 0.1000 0.8009 0.0991 0.0109 0.0891 0.7979 0.0872 0.0139 0.1010 0.0225 0.9355 0.9402 0.0203
19 0.9500 0.0500 0.8437 0.1063 0.0057 0.0443 0.8364 0.0994 0.0130 0.0512 0.0181 0.9374 0.9367 0.0154
20 1.0000 0.0000 0.8886 0.1114 0.0000 0.0000 0.8790 0.1018 0.0096 0.0096 0.0096 0.9407 0.9400 0.0082
 
multiclass
base true estim errors
0 1 T0 F1 F0 T1 T0 F1 F0 T1 ae f1_true f1_estim f1_dist
0 0.0000 1.0000 0.0000 0.0000 0.1100 0.8900 0.0057 0.0143 0.1012 0.8788 0.0125 NaN 0.0854 NaN
1 0.0500 0.9500 0.0448 0.0052 0.1050 0.8450 0.0505 0.0143 0.0970 0.8382 0.0197 0.4570 0.4651 0.1655
2 0.1000 0.9000 0.0890 0.0110 0.0981 0.8019 0.0982 0.0162 0.0865 0.7991 0.0222 0.6247 0.6541 0.1180
3 0.1500 0.8500 0.1329 0.0171 0.0948 0.7552 0.1452 0.0189 0.0803 0.7556 0.0274 0.7062 0.7421 0.1113
4 0.2000 0.8000 0.1776 0.0224 0.0870 0.7130 0.1919 0.0197 0.0706 0.7177 0.0280 0.7661 0.8081 0.0927
5 0.2500 0.7500 0.2225 0.0275 0.0837 0.6663 0.2378 0.0224 0.0669 0.6729 0.0306 0.8013 0.8408 0.0818
6 0.3000 0.7000 0.2668 0.0332 0.0760 0.6240 0.2824 0.0256 0.0586 0.6334 0.0315 0.8306 0.8693 0.0711
7 0.3500 0.6500 0.3100 0.0400 0.0712 0.5788 0.3296 0.0295 0.0503 0.5905 0.0339 0.8480 0.8913 0.0696
8 0.4000 0.6000 0.3550 0.0450 0.0648 0.5352 0.3726 0.0312 0.0462 0.5501 0.0336 0.8661 0.9055 0.0610
9 0.4500 0.5500 0.3988 0.0512 0.0600 0.4900 0.4160 0.0355 0.0422 0.5064 0.0339 0.8776 0.9141 0.0554
10 0.5000 0.5000 0.4439 0.0561 0.0547 0.4453 0.4608 0.0373 0.0382 0.4637 0.0346 0.8889 0.9241 0.0516
11 0.5500 0.4500 0.4895 0.0605 0.0498 0.4002 0.5044 0.0425 0.0355 0.4176 0.0346 0.8985 0.9280 0.0471
12 0.6000 0.4000 0.5318 0.0683 0.0437 0.3563 0.5468 0.0452 0.0296 0.3783 0.0344 0.9045 0.9359 0.0448
13 0.6500 0.3500 0.5755 0.0745 0.0392 0.3108 0.5866 0.0518 0.0293 0.3323 0.0338 0.9098 0.9352 0.0403
14 0.7000 0.3000 0.6219 0.0781 0.0326 0.2674 0.6312 0.0534 0.0258 0.2896 0.0331 0.9181 0.9408 0.0367
15 0.7500 0.2500 0.6641 0.0859 0.0273 0.2227 0.6730 0.0619 0.0207 0.2445 0.0322 0.9212 0.9423 0.0335
16 0.8000 0.2000 0.7084 0.0916 0.0226 0.1774 0.7141 0.0657 0.0200 0.2001 0.0309 0.9252 0.9431 0.0304
17 0.8500 0.1500 0.7536 0.0964 0.0167 0.1333 0.7556 0.0756 0.0171 0.1517 0.0274 0.9300 0.9420 0.0247
18 0.9000 0.1000 0.8009 0.0991 0.0109 0.0891 0.8000 0.0799 0.0150 0.1050 0.0250 0.9355 0.9437 0.0223
19 0.9500 0.0500 0.8437 0.1063 0.0057 0.0443 0.8389 0.0916 0.0140 0.0555 0.0209 0.9374 0.9405 0.0167
20 1.0000 0.0000 0.8886 0.1114 0.0000 0.0000 0.8811 0.0965 0.0108 0.0116 0.0135 0.9407 0.9422 0.0108