Vai al contenuto
code-to-code

Apro l'indice…

↑ ↓ per scegliere, Invio per aprire, Esc per chiudere

Il banco di lavoro4. Lanciare i testp. 82

Lanciare i test

Dare l'ordine giusto a pytest, e leggere cosa risponde

  • 12 minuti di lettura

Scrivere un test è una cosa. Lanciarlo e capire cosa risponde è un'altra, e la metà dei guai con i test sta qui: la cartella sbagliata, una lettera che non si sa leggere, un rosso che sembra un errore tuo e invece no.

In questo capitolo il codice non si scrive. Si lancia pytest e si legge. Come si scrive un test lo trovi nel libro Codice pulito e test.

Il progetto di prova

Per tutto il capitolo useremo la biglietteria di Largo Lista: un file con il codice e due file di test.

biglietteria/
├── biglietti.py           il codice: prezzo(), resto(), con_sconto()
├── test_biglietti.py      4 test
└── test_sconti.py         3 test

Dalla sua cartella, nel terminale:

Terminale
pytest
============================= test session starts ==============================
platform darwin -- Python 3.12.13, pytest-9.2.0, pluggy-1.7.0
rootdir: /Users/marta/corso/biglietteria
collected 7 items

test_biglietti.py ..F.                                                   [ 57%]
test_sconti.py ...                                                       [100%]

=================================== FAILURES ===================================
_________________________ test_resto_di_una_banconota __________________________

    def test_resto_di_una_banconota():
>       assert resto(5, 3.10) == 1.90
E       assert 8.1 == 1.9
E        +  where 8.1 = resto(5, 3.1)

test_biglietti.py:13: AssertionError
=========================== short test summary info ============================
FAILED test_biglietti.py::test_resto_di_una_banconota - assert 8.1 == 1.9
========================= 1 failed, 6 passed in 0.03s ==========================

Sembra tanto. In realtà sono cinque pezzi, sempre nello stesso ordine.

Come si legge l'output

test session starts      1. L'intestazione: versioni, rootdir, quanti test ha trovato
test_biglietti.py ..F.   2. Le righe di punti: un carattere per test, file per file
FAILURES                 3. I dettagli di ogni test rosso (solo se ce n'è)
short test summary info  4. L'elenco dei rossi, uno per riga: nome del file, ::, nome del test
1 failed, 6 passed       5. L'ultima riga: i conti

Si legge dal fondo. L'ultima riga ti dice se è andata bene (tutta verde) e quanti sono i rossi. La short test summary ti dà i nomi. Solo se serve scendi nei dettagli.

Punti e lettere

Ogni test lanciato lascia un carattere, nell'ordine in cui è stato lanciato.

CarattereSi leggeVuol dire
. (un punto)passedIl test è passato
FfailedIl test è partito, e un assert è risultato falso
EerrorIl test non è nemmeno partito: qualcosa è saltato prima, per esempio una fixture che non si trova
sskippedIl test è stato saltato apposta

Nell'esempio, ..F. vuol dire: i primi due passano, il terzo fallisce, il quarto passa. Il terzo è test_resto_di_una_banconota, perché i test partono nell'ordine in cui sono scritti nel file.

La differenza nell'assert

Il blocco di un test rosso ha sempre la stessa forma. Le righe che cominciano con E sono quelle che contano.

>       assert resto(5, 3.10) == 1.90
E       assert 8.1 == 1.9
E        +  where 8.1 = resto(5, 3.1)
  • La riga con > è l'assert che è fallito.
  • assert 8.1 == 1.9: a sinistra c'è quello che ha dato il tuo codice, a destra quello che il test si aspettava.
  • where 8.1 = resto(5, 3.1) ti dice da quale chiamata arriva il valore di sinistra: la funzione resto, con 5 e 3.1.

Quindi: il test pretendeva 1.9 e la funzione ha restituito 8.1. Il resto di 5 euro su un biglietto da 3,10 è 1,90: il test ha ragione. Guarda la funzione (qui c'è un + che doveva essere un -).

Quando i due valori sono testo, pytest li mette uno sotto l'altro: la riga con - è l'atteso, quella con + è il dato. Lo vedrai negli esercizi.

Le opzioni che usi ogni giorno

Si scrivono dopo pytest. Si possono mettere insieme.

ComandoCosa fa
pytest -vverboso: una riga per test, con il nome intero e PASSED o FAILED
pytest -qquiet: meno righe (niente intestazione)
pytest -k scontoLancia solo i test che hanno sconto nel nome
pytest -k "sconto and not zero"Combinazioni: and, or, not, con le virgolette
pytest -xSi ferma al primo rosso. Il resto non parte
pytest test_sconti.pySolo i test di quel file
pytest test_sconti.py::test_nessuno_scontoSolo quel test: il file, due volte i due punti, il nome
pytest --collect-only -qNon lancia niente: elenca i test che troverebbe e li conta

Con -v ogni test ha la sua riga:

Terminale
pytest -v
============================= test session starts ==============================
platform darwin -- Python 3.12.13, pytest-9.2.0, pluggy-1.7.0 -- /Users/marta/corso/biglietteria/.venv/bin/python3.12
cachedir: .pytest_cache
rootdir: /Users/marta/corso/biglietteria
collected 7 items

test_biglietti.py::test_prezzo_zona_uno PASSED                           [ 14%]
test_biglietti.py::test_prezzo_zona_due PASSED                           [ 28%]
test_biglietti.py::test_resto_di_una_banconota FAILED                    [ 42%]
test_biglietti.py::test_prezzo_zona_tre PASSED                           [ 57%]
test_sconti.py::test_sconto_del_dieci_per_cento PASSED                   [ 71%]
test_sconti.py::test_sconto_del_cinquanta_per_cento PASSED               [ 85%]
test_sconti.py::test_nessuno_sconto PASSED                               [100%]

(Ho tolto tutto quello che viene dopo l'elenco: FAILURES, riepilogo e ultima riga sono uguali a prima.) Quello che si legge nelle righe è il nome completo di un test: file::test. Ti serve per lanciarlo da solo.

-k guarda anche il nome del file

-k cerca la parola nel nome del test e nel nome del file. Con -k biglietti partono 4 test, anche se nessuno si chiama «biglietti»: sono tutti dentro test_biglietti.py.

Terminale
pytest -k biglietti -q
..F.                                                                     [100%]
=================================== FAILURES ===================================
_________________________ test_resto_di_una_banconota __________________________

    def test_resto_di_una_banconota():
>       assert resto(5, 3.10) == 1.90
E       assert 8.1 == 1.9
E        +  where 8.1 = resto(5, 3.1)

test_biglietti.py:13: AssertionError
=========================== short test summary info ============================
FAILED test_biglietti.py::test_resto_di_una_banconota - assert 8.1 == 1.9
1 failed, 3 passed, 3 deselected in 0.02s

3 deselected sono i tre test che -k ha lasciato fuori.

-x: fermarsi al primo rosso

Quando hai dieci rossi uguali, leggerli tutti non serve. pytest -x si ferma al primo e ti mostra solo quello. Lo risolvi, rilanci, e passi al successivo.

F contro E: il test sbagliato, o il test che non parte

La lettera conta, perché la cura è diversa.

F · failedE · error
Cosa è successoIl test è partito e l'assert è falsoQualcosa è saltato prima dell'assert
Dove guardiLa riga E sotto il >: valore dato contro valore attesoLa riga E dice cosa manca: ModuleNotFoundError, fixture '…' not found
Di chi è la colpa, di solitoDel codice che stai provandoDel test, dell'ambiente o dei nomi

Il caso classico è un import che non funziona. Il file test_abbonamenti.py importa una funzione che nel codice non esiste ancora:

============================= test session starts ==============================
platform darwin -- Python 3.12.13, pytest-9.2.0, pluggy-1.7.0
rootdir: /Users/marta/corso/biglietteria
collected 7 items / 1 error

==================================== ERRORS ====================================
_____________________ ERROR collecting test_abbonamenti.py _____________________
ImportError while importing test module '/Users/marta/corso/biglietteria/test_abbonamenti.py'.
Hint: make sure your test modules/packages have valid Python names.
Traceback:
/usr/lib/python3.12/importlib/__init__.py:90: in import_module
    return _bootstrap._gcd_import(name[level:], package, level)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
test_abbonamenti.py:1: in <module>
    from biglietti import abbonamento
E   ImportError: cannot import name 'abbonamento' from 'biglietti' (/Users/marta/corso/biglietteria/biglietti.py)
=========================== short test summary info ============================
ERROR test_abbonamenti.py
!!!!!!!!!!!!!!!!!!!! Interrupted: 1 error during collection !!!!!!!!!!!!!!!!!!!!
1 error in 0.05s

Guarda cosa è successo: collected 7 items / 1 error, e in fondo Interrupted. pytest non ha lanciato nessun test, nemmeno i sette che erano a posto. Un errore nel leggere un file interrompe tutto.

Dell'ultima riga del traceback (E ImportError: …) ti serve solo quella: ti dice che abbonamento non c'è dentro biglietti.py. Il traceback intero lo impari a leggere in Leggere un traceback.

Dove lanci pytest conta

pytest lavora da dove sei. Parte dalla cartella corrente e cerca, dentro, i file test_*.py (o *_test.py) e dentro i file le funzioni che cominciano per test_. Se la cartella è vuota non c'è niente da fare:

Terminale
pytest
============================= test session starts ==============================
platform darwin -- Python 3.12.13, pytest-9.2.0, pluggy-1.7.0
rootdir: /Users/marta/corso/vuota
collected 0 items

============================ no tests ran in 0.00s =============================

no tests ran non vuol dire «sono tutti verdi»: vuol dire «non ho trovato niente». Controlla con pwd dove sei.

La riga rootdir ti dice da dove pytest sta contando. È la prima cosa da guardare quando i test non si trovano.

pytest.ini: le regole del progetto

Un file chiamato pytest.ini, nella cartella del progetto, dà a pytest le sue regole. Il più usato:

ini
[pytest]
testpaths = prove
pythonpath = .
  • testpaths: lanciato senza argomenti, pytest cerca solo in queste cartelle.
  • pythonpath: dove cercare i file .py da importare (. è la cartella di pytest.ini).

Ecco una biglietteria più ordinata, con i test in prove/ e un file di bozze, che non vogliamo lanciare ogni volta:

biglietteria_nuova/
├── pytest.ini
├── biglietti.py
├── prove/
│   ├── test_biglietti.py
│   └── test_sconti.py
└── bozze/
    └── test_studenti.py

L'intestazione, adesso, ha due righe in più:

============================= test session starts ==============================
platform darwin -- Python 3.12.13, pytest-9.2.0, pluggy-1.7.0
rootdir: /Users/marta/corso/biglietteria_nuova
configfile: pytest.ini
testpaths: prove
collected 7 items

configfile dice quale file di regole è stato letto, testpaths dove cerca. Contiamo i test che trova, senza lanciarli:

Terminale
pytest --collect-only -q
prove/test_biglietti.py::test_prezzo_zona_uno
prove/test_biglietti.py::test_prezzo_zona_due
prove/test_biglietti.py::test_resto_di_una_banconota
prove/test_biglietti.py::test_prezzo_zona_tre
prove/test_sconti.py::test_sconto_del_dieci_per_cento
prove/test_sconti.py::test_sconto_del_cinquanta_per_cento
prove/test_sconti.py::test_nessuno_sconto

7 tests collected in 0.00s

Sette: le bozze non ci sono. Se nell'intestazione manca la riga configfile, nessun pytest.ini è stato trovato (come nella biglietteria di prima).

Ma con un argomento, testpaths non conta più:

Terminale
pytest . --collect-only -q
bozze/test_studenti.py::test_sconto_studenti
prove/test_biglietti.py::test_prezzo_zona_uno
prove/test_biglietti.py::test_prezzo_zona_due
prove/test_biglietti.py::test_resto_di_una_banconota
prove/test_biglietti.py::test_prezzo_zona_tre
prove/test_sconti.py::test_sconto_del_dieci_per_cento
prove/test_sconti.py::test_sconto_del_cinquanta_per_cento
prove/test_sconti.py::test_nessuno_sconto

8 tests collected in 0.00s

Otto. Quello che scrivi tu, dopo pytest, batte sempre il testpaths del file.

Gli zip di questo sito hanno tutti un pytest.ini alla radice, già pronto: è quello che ti fa lanciare pytest dalla cartella dello zip e trovare solo i test giusti.

Il pannello Testing di VS Code

VS Code ha un pulsante per lanciare i test: nella barra a sinistra, l'icona a forma di provetta (Testing). Fa la stessa cosa che fai tu nel terminale: lancia pytest. Cosa vedi, dopo che VS Code ha trovato i test:

  • un albero: cartella, file, test, esattamente come file::test;
  • accanto a ogni riga un triangolo ▶: lancia quel test, quel file o quella cartella (lo stesso di pytest file::test);
  • in cima, i pulsanti per lanciarli tutti e per ricaricare l'elenco (Refresh): se hai appena scritto un test nuovo e non compare, è lì che premi;
  • un segno verde per i test passati, uno rosso per quelli che non lo sono: la F e la E per il pannello sono tutte e due rosse. Per sapere quale delle due è, apri il messaggio del test: è lo stesso testo del terminale.

Se il pannello è vuoto, o dice che non trova pytest, non è un problema dei test: è l'interprete scelto, ed è il lavoro del capitolo VS Code per Python. Gli zip di questo sito hanno già le impostazioni giuste in .vscode/settings.json.

Ho modificato il test per sbaglio

Succede: un test è rosso, cerchi di sistemare, e invece di cambiare il codice cambi il test, magari per farlo passare. Se la cartella è un repository git, il test torna com'era con un comando. Prima guardi cosa è cambiato:

Terminale
git status
On branch main
Changes not staged for commit:
  (use "git add <file>..." to update what will be committed)
  (use "git restore <file>..." to discard changes in working directory)
	modified:   test_biglietti.py

no changes added to commit (use "git add" and/or "git commit -a")

Poi lo riporti all'ultimo commit:

Terminale
git restore test_biglietti.py
git status
On branch main
nothing to commit, working tree clean

Cancella tutte le modifiche a quel file, senza cestino: usalo solo se sei sicuro. Il giro di git di ogni giorno è in Il giro di ogni giorno, e come tornare indietro in Rimettere a posto. Se la cartella non è un repository (il caso dei nostri zip), resta una sola strada: scompatta di nuovo lo zip in un'altra cartella e riprendi il file originale da lì.

Ricorda

  • pytest si lancia dalla cartella del progetto: pwd, e guarda rootdir.
  • Si legge dal fondo: ultima riga, poi la short test summary, poi i dettagli.
  • . passa, F fallisce, E non è partito. La cura è diversa.
  • assert 8.1 == 1.9: a sinistra quello che dà il codice, a destra quello che il test si aspetta.
  • -v nomi interi, -k per parola (anche nel nome del file), -x si ferma al primo rosso, file::test ne lancia uno.
  • Con un argomento, testpaths di pytest.ini non conta più.
  • no tests ran o deselected ovunque: non ha trovato niente, non è «tutto verde».