Lanciare i test
Dare l'ordine giusto a pytest, e leggere cosa risponde
- 12 minuti di lettura
Scrivere un test è una cosa. Lanciarlo e capire cosa risponde è un'altra, e la metà dei guai con i test sta qui: la cartella sbagliata, una lettera che non si sa leggere, un rosso che sembra un errore tuo e invece no.
In questo capitolo il codice non si scrive. Si lancia pytest e si legge. Come si scrive un test lo trovi nel libro Codice pulito e test.
Il progetto di prova
Per tutto il capitolo useremo la biglietteria di Largo Lista: un file con il codice e due file di test.
biglietteria/
├── biglietti.py il codice: prezzo(), resto(), con_sconto()
├── test_biglietti.py 4 test
└── test_sconti.py 3 testDalla sua cartella, nel terminale:
pytest============================= test session starts ==============================
platform darwin -- Python 3.12.13, pytest-9.2.0, pluggy-1.7.0
rootdir: /Users/marta/corso/biglietteria
collected 7 items
test_biglietti.py ..F. [ 57%]
test_sconti.py ... [100%]
=================================== FAILURES ===================================
_________________________ test_resto_di_una_banconota __________________________
def test_resto_di_una_banconota():
> assert resto(5, 3.10) == 1.90
E assert 8.1 == 1.9
E + where 8.1 = resto(5, 3.1)
test_biglietti.py:13: AssertionError
=========================== short test summary info ============================
FAILED test_biglietti.py::test_resto_di_una_banconota - assert 8.1 == 1.9
========================= 1 failed, 6 passed in 0.03s ==========================Sembra tanto. In realtà sono cinque pezzi, sempre nello stesso ordine.
Come si legge l'output
test session starts 1. L'intestazione: versioni, rootdir, quanti test ha trovato
test_biglietti.py ..F. 2. Le righe di punti: un carattere per test, file per file
FAILURES 3. I dettagli di ogni test rosso (solo se ce n'è)
short test summary info 4. L'elenco dei rossi, uno per riga: nome del file, ::, nome del test
1 failed, 6 passed 5. L'ultima riga: i contiSi legge dal fondo. L'ultima riga ti dice se è andata bene (tutta verde) e quanti sono i rossi. La short test summary ti dà i nomi. Solo se serve scendi nei dettagli.
Punti e lettere
Ogni test lanciato lascia un carattere, nell'ordine in cui è stato lanciato.
| Carattere | Si legge | Vuol dire |
|---|---|---|
. (un punto) | passed | Il test è passato |
F | failed | Il test è partito, e un assert è risultato falso |
E | error | Il test non è nemmeno partito: qualcosa è saltato prima, per esempio una fixture che non si trova |
s | skipped | Il test è stato saltato apposta |
Nell'esempio, ..F. vuol dire: i primi due passano, il terzo fallisce, il quarto passa. Il terzo è test_resto_di_una_banconota, perché i test partono nell'ordine in cui sono scritti nel file.
La differenza nell'assert
Il blocco di un test rosso ha sempre la stessa forma. Le righe che cominciano con E sono quelle che contano.
> assert resto(5, 3.10) == 1.90
E assert 8.1 == 1.9
E + where 8.1 = resto(5, 3.1)- La riga con
>è l'assertche è fallito. assert 8.1 == 1.9: a sinistra c'è quello che ha dato il tuo codice, a destra quello che il test si aspettava.where 8.1 = resto(5, 3.1)ti dice da quale chiamata arriva il valore di sinistra: la funzioneresto, con 5 e 3.1.
Quindi: il test pretendeva 1.9 e la funzione ha restituito 8.1. Il resto di 5 euro su un biglietto da 3,10 è 1,90: il test ha ragione. Guarda la funzione (qui c'è un + che doveva essere un -).
Quando i due valori sono testo, pytest li mette uno sotto l'altro: la riga con - è l'atteso, quella con + è il dato. Lo vedrai negli esercizi.
Le opzioni che usi ogni giorno
Si scrivono dopo pytest. Si possono mettere insieme.
| Comando | Cosa fa |
|---|---|
pytest -v | verboso: una riga per test, con il nome intero e PASSED o FAILED |
pytest -q | quiet: meno righe (niente intestazione) |
pytest -k sconto | Lancia solo i test che hanno sconto nel nome |
pytest -k "sconto and not zero" | Combinazioni: and, or, not, con le virgolette |
pytest -x | Si ferma al primo rosso. Il resto non parte |
pytest test_sconti.py | Solo i test di quel file |
pytest test_sconti.py::test_nessuno_sconto | Solo quel test: il file, due volte i due punti, il nome |
pytest --collect-only -q | Non lancia niente: elenca i test che troverebbe e li conta |
Con -v ogni test ha la sua riga:
pytest -v============================= test session starts ==============================
platform darwin -- Python 3.12.13, pytest-9.2.0, pluggy-1.7.0 -- /Users/marta/corso/biglietteria/.venv/bin/python3.12
cachedir: .pytest_cache
rootdir: /Users/marta/corso/biglietteria
collected 7 items
test_biglietti.py::test_prezzo_zona_uno PASSED [ 14%]
test_biglietti.py::test_prezzo_zona_due PASSED [ 28%]
test_biglietti.py::test_resto_di_una_banconota FAILED [ 42%]
test_biglietti.py::test_prezzo_zona_tre PASSED [ 57%]
test_sconti.py::test_sconto_del_dieci_per_cento PASSED [ 71%]
test_sconti.py::test_sconto_del_cinquanta_per_cento PASSED [ 85%]
test_sconti.py::test_nessuno_sconto PASSED [100%](Ho tolto tutto quello che viene dopo l'elenco: FAILURES, riepilogo e ultima riga sono uguali a prima.) Quello che si legge nelle righe è il nome completo di un test: file::test. Ti serve per lanciarlo da solo.
-k guarda anche il nome del file
-k cerca la parola nel nome del test e nel nome del file. Con -k biglietti partono 4 test, anche se nessuno si chiama «biglietti»: sono tutti dentro test_biglietti.py.
pytest -k biglietti -q..F. [100%]
=================================== FAILURES ===================================
_________________________ test_resto_di_una_banconota __________________________
def test_resto_di_una_banconota():
> assert resto(5, 3.10) == 1.90
E assert 8.1 == 1.9
E + where 8.1 = resto(5, 3.1)
test_biglietti.py:13: AssertionError
=========================== short test summary info ============================
FAILED test_biglietti.py::test_resto_di_una_banconota - assert 8.1 == 1.9
1 failed, 3 passed, 3 deselected in 0.02s3 deselected sono i tre test che -k ha lasciato fuori.
-x: fermarsi al primo rosso
Quando hai dieci rossi uguali, leggerli tutti non serve. pytest -x si ferma al primo e ti mostra solo quello. Lo risolvi, rilanci, e passi al successivo.
F contro E: il test sbagliato, o il test che non parte
La lettera conta, perché la cura è diversa.
F · failed | E · error | |
|---|---|---|
| Cosa è successo | Il test è partito e l'assert è falso | Qualcosa è saltato prima dell'assert |
| Dove guardi | La riga E sotto il >: valore dato contro valore atteso | La riga E dice cosa manca: ModuleNotFoundError, fixture '…' not found |
| Di chi è la colpa, di solito | Del codice che stai provando | Del test, dell'ambiente o dei nomi |
Il caso classico è un import che non funziona. Il file test_abbonamenti.py importa una funzione che nel codice non esiste ancora:
============================= test session starts ==============================
platform darwin -- Python 3.12.13, pytest-9.2.0, pluggy-1.7.0
rootdir: /Users/marta/corso/biglietteria
collected 7 items / 1 error
==================================== ERRORS ====================================
_____________________ ERROR collecting test_abbonamenti.py _____________________
ImportError while importing test module '/Users/marta/corso/biglietteria/test_abbonamenti.py'.
Hint: make sure your test modules/packages have valid Python names.
Traceback:
/usr/lib/python3.12/importlib/__init__.py:90: in import_module
return _bootstrap._gcd_import(name[level:], package, level)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
test_abbonamenti.py:1: in <module>
from biglietti import abbonamento
E ImportError: cannot import name 'abbonamento' from 'biglietti' (/Users/marta/corso/biglietteria/biglietti.py)
=========================== short test summary info ============================
ERROR test_abbonamenti.py
!!!!!!!!!!!!!!!!!!!! Interrupted: 1 error during collection !!!!!!!!!!!!!!!!!!!!
1 error in 0.05sGuarda cosa è successo: collected 7 items / 1 error, e in fondo Interrupted. pytest non ha lanciato nessun test, nemmeno i sette che erano a posto. Un errore nel leggere un file interrompe tutto.
Dell'ultima riga del traceback (E ImportError: …) ti serve solo quella: ti dice che abbonamento non c'è dentro biglietti.py. Il traceback intero lo impari a leggere in Leggere un traceback.
Dove lanci pytest conta
pytest lavora da dove sei. Parte dalla cartella corrente e cerca, dentro, i file test_*.py (o *_test.py) e dentro i file le funzioni che cominciano per test_. Se la cartella è vuota non c'è niente da fare:
pytest============================= test session starts ==============================
platform darwin -- Python 3.12.13, pytest-9.2.0, pluggy-1.7.0
rootdir: /Users/marta/corso/vuota
collected 0 items
============================ no tests ran in 0.00s =============================no tests ran non vuol dire «sono tutti verdi»: vuol dire «non ho trovato niente». Controlla con pwd dove sei.
La riga rootdir ti dice da dove pytest sta contando. È la prima cosa da guardare quando i test non si trovano.
pytest.ini: le regole del progetto
Un file chiamato pytest.ini, nella cartella del progetto, dà a pytest le sue regole. Il più usato:
[pytest]
testpaths = prove
pythonpath = .testpaths: lanciato senza argomenti, pytest cerca solo in queste cartelle.pythonpath: dove cercare i file.pyda importare (.è la cartella dipytest.ini).
Ecco una biglietteria più ordinata, con i test in prove/ e un file di bozze, che non vogliamo lanciare ogni volta:
biglietteria_nuova/
├── pytest.ini
├── biglietti.py
├── prove/
│ ├── test_biglietti.py
│ └── test_sconti.py
└── bozze/
└── test_studenti.pyL'intestazione, adesso, ha due righe in più:
============================= test session starts ==============================
platform darwin -- Python 3.12.13, pytest-9.2.0, pluggy-1.7.0
rootdir: /Users/marta/corso/biglietteria_nuova
configfile: pytest.ini
testpaths: prove
collected 7 itemsconfigfile dice quale file di regole è stato letto, testpaths dove cerca. Contiamo i test che trova, senza lanciarli:
pytest --collect-only -qprove/test_biglietti.py::test_prezzo_zona_uno
prove/test_biglietti.py::test_prezzo_zona_due
prove/test_biglietti.py::test_resto_di_una_banconota
prove/test_biglietti.py::test_prezzo_zona_tre
prove/test_sconti.py::test_sconto_del_dieci_per_cento
prove/test_sconti.py::test_sconto_del_cinquanta_per_cento
prove/test_sconti.py::test_nessuno_sconto
7 tests collected in 0.00sSette: le bozze non ci sono. Se nell'intestazione manca la riga configfile, nessun pytest.ini è stato trovato (come nella biglietteria di prima).
Ma con un argomento, testpaths non conta più:
pytest . --collect-only -qbozze/test_studenti.py::test_sconto_studenti
prove/test_biglietti.py::test_prezzo_zona_uno
prove/test_biglietti.py::test_prezzo_zona_due
prove/test_biglietti.py::test_resto_di_una_banconota
prove/test_biglietti.py::test_prezzo_zona_tre
prove/test_sconti.py::test_sconto_del_dieci_per_cento
prove/test_sconti.py::test_sconto_del_cinquanta_per_cento
prove/test_sconti.py::test_nessuno_sconto
8 tests collected in 0.00sOtto. Quello che scrivi tu, dopo pytest, batte sempre il testpaths del file.
Gli zip di questo sito hanno tutti un pytest.ini alla radice, già pronto: è quello che ti fa lanciare pytest dalla cartella dello zip e trovare solo i test giusti.
Il pannello Testing di VS Code
VS Code ha un pulsante per lanciare i test: nella barra a sinistra, l'icona a forma di provetta (Testing). Fa la stessa cosa che fai tu nel terminale: lancia pytest. Cosa vedi, dopo che VS Code ha trovato i test:
- un albero: cartella, file, test, esattamente come
file::test; - accanto a ogni riga un triangolo ▶: lancia quel test, quel file o quella cartella (lo stesso di
pytest file::test); - in cima, i pulsanti per lanciarli tutti e per ricaricare l'elenco (Refresh): se hai appena scritto un test nuovo e non compare, è lì che premi;
- un segno verde per i test passati, uno rosso per quelli che non lo sono: la
Fe laEper il pannello sono tutte e due rosse. Per sapere quale delle due è, apri il messaggio del test: è lo stesso testo del terminale.
Se il pannello è vuoto, o dice che non trova pytest, non è un problema dei test: è l'interprete scelto, ed è il lavoro del capitolo VS Code per Python. Gli zip di questo sito hanno già le impostazioni giuste in .vscode/settings.json.
Ho modificato il test per sbaglio
Succede: un test è rosso, cerchi di sistemare, e invece di cambiare il codice cambi il test, magari per farlo passare. Se la cartella è un repository git, il test torna com'era con un comando. Prima guardi cosa è cambiato:
git statusOn branch main
Changes not staged for commit:
(use "git add <file>..." to update what will be committed)
(use "git restore <file>..." to discard changes in working directory)
modified: test_biglietti.py
no changes added to commit (use "git add" and/or "git commit -a")Poi lo riporti all'ultimo commit:
git restore test_biglietti.py
git statusOn branch main
nothing to commit, working tree cleanCancella tutte le modifiche a quel file, senza cestino: usalo solo se sei sicuro. Il giro di git di ogni giorno è in Il giro di ogni giorno, e come tornare indietro in Rimettere a posto. Se la cartella non è un repository (il caso dei nostri zip), resta una sola strada: scompatta di nuovo lo zip in un'altra cartella e riprendi il file originale da lì.
Ricorda
pytestsi lancia dalla cartella del progetto:pwd, e guardarootdir.- Si legge dal fondo: ultima riga, poi la short test summary, poi i dettagli.
.passa,Ffallisce,Enon è partito. La cura è diversa.assert 8.1 == 1.9: a sinistra quello che dà il codice, a destra quello che il test si aspetta.-vnomi interi,-kper parola (anche nel nome del file),-xsi ferma al primo rosso,file::testne lancia uno.- Con un argomento,
testpathsdipytest.ininon conta più. no tests ranodeselectedovunque: non ha trovato niente, non è «tutto verde».