From 6a5a7a01534b1bab352ce3dd92b4ee818ef7d33a Mon Sep 17 00:00:00 2001 From: Lorenzo Volpi Date: Mon, 23 Oct 2023 13:45:06 +0200 Subject: [PATCH] TODO updated --- TODO.md | 26 +++++++++++++++++++++++++- 1 file changed, 25 insertions(+), 1 deletion(-) diff --git a/TODO.md b/TODO.md index d7012a1..0bb2cb4 100644 --- a/TODO.md +++ b/TODO.md @@ -3,4 +3,28 @@ - [ ] sistemare kfcv baseline - [x] aggiungere metodo con CC oltre SLD - [x] prendere classe più popolosa di rcv1, togliere negativi fino a raggiungere 50/50; poi fare subsampling con 9 training prvalences (da 0.1-0.9 a 0.9-0.1) -- [x] variare parametro recalibration in SLD \ No newline at end of file +- [x] variare parametro recalibration in SLD + + +- [ ] plot collettivo, con sulla x lo shift e prenda in considerazione tutti i training set, facendo la media sui 9 casi (ogni line è un metodo), risultati non ottimizzati e ottimizzati +- [ ] varianti recalib: bcts, SLD (provare exact_train_prev=False) +- [ ] vedere cosa usa garg di validation size +- [ ] per model selection testare il parametro c del classificatore, si esplora in np.logscale(-3,3, 7) oppure np.logscale(-4, 4, 9), parametro class_weight si esplora in None oppure "balanced"; va usato qp.model_selection.GridSearchQ in funzione di mae come errore, UPP come protocollo + - qp.train_test_split per avere val_train e val_val + - GridSearchQ( + model: BaseQuantifier, + param_grid: { + 'classifier__C': np.logspace(-3,3,7), + 'classifier__class_weight': [None, 'balanced'], + 'recalib': [None, 'bcts'] + }, + protocol: UPP(V_val, repeats=1000), + error = qp.error.mae, + refit=True, + timeout=-1, + n_jobs=-2, + verbose=True).fit(V_tr) + - salvare il best score ottenuto da ogni applicazione di GridSearchQ + - nel caso di bin fare media dei due best score + +- seaborn example gallery \ No newline at end of file