Aggiungere per ogni algoritmo delle misure di "efficienza" (tempo/memoria?) about neural_registration_comparison HOT 11 CLOSED

Va bene

from neural_registration_comparison.

Ho messo qui (https://github.com/iralabdisco/neural_registration_comparison/wiki/Time-and-Memory-performances) la spiegazione delle due misure.

from neural_registration_comparison.

Per quanto riguarda l'uso esclusivo di i7, ci penso io. Oggi parlo con Sorrenti.
Per la maggior parte degli approcci dovremmo separare i tempi dei vari step. Ad esempio, 3DSmoothNet ha i tempi per la voxelizzazione, quelli per estrarre le feature e quelli per allinearli (con RANSA, FastGlobal e TEASER).

Per quanto riguarda la memoria, userei come indicatore il numero di parametri del modello.

from neural_registration_comparison.

Aggiungi nel Wiki una pagina dove spieghi come misuri il tutto e il formato dei file in cui salvi i dati dei tempi

from neural_registration_comparison.

Per quanto riguarda la memoria, userei come indicatore il numero di parametri del modello.

Non ho capito

from neural_registration_comparison.

@simone-fontana una soluzione (vagamente brutale) per la memoria è monitorarne costantemente l'utilizzo con nvidia-smi, redirezionare l'output su un file csv e calcolarci media/varianza/max (da decidere) per ogni sequenza.

nvidia-smi --query-gpu=timestamp,memory.used -i 1 --format=csv -lms 100

con -i N gli stai dicendo di monitorare la gpu N, -lms 100 specifica di tirare fuori le statistiche ogni 100 ms.

E in output abbiamo:

timestamp, memory.used [MiB]
2023/10/05 10:31:59.828, 6 MiB
2023/10/05 10:31:59.928, 6 MiB
2023/10/05 10:32:00.028, 6 MiB
2023/10/05 10:32:00.129, 6 MiB
2023/10/05 10:32:00.229, 6 MiB
2023/10/05 10:32:00.329, 6 MiB
2023/10/05 10:32:00.429, 6 MiB
2023/10/05 10:32:00.529, 6 MiB

IMHO questo tipo di misura è abbastanza in tema con " Practical Applicability" del titolo.

from neural_registration_comparison.

Per quanto riguarda il tempo, cosa ne dici di fare un banale time esperimenti.sh, guardare il tempo finale e dividere per numero esperimenti @simone-fontana ? Non è il massimo, ma ci evita di dover andare a toccare il codice di ogni esperimento.
Per gli algoritmo che sono divisi in più step banalmente prendiamo il tempo dei singoli pezzi e li sommiamo.
Facendo così ci va di mezzo anche il tempo per caricare pc/salvare risultati, ma se si usa solo come comparazione tra i vari algoritmi e non come tempo assoluto dovrebbe essere ok.

from neural_registration_comparison.

Va bene, tanto alla fine riportiamo comunque il tempo medio, non i singoli.

from neural_registration_comparison.

Ho aggiunto nella cartella utilities gli script per guardare tempo/memoria

from neural_registration_comparison.

(parentesi piccolissima, i creatori di GNU parallel [tool che sto usando per far le misure di performance] chiedono di essere citati se il tool viene usato per cose scientifiche):

When using programs that use GNU Parallel to process data for publication
please cite:

O. Tange (2011): GNU Parallel - The Command-Line Power Tool,
;login: The USENIX Magazine, February 2011:42-47.

This helps funding further development; AND IT WON'T COST YOU A CENT.
If you pay 10000 EUR you should feel free to use GNU Parallel without citing.

from neural_registration_comparison.

@simone-fontana se mi confermi che per te questo tipo di misure (https://github.com/iralabdisco/neural_registration_comparison/wiki/Time-and-Memory-performances) va bene chiudo.

from neural_registration_comparison.