Lanciare i test, esercizi spiegati
Cinque schermate di pytest, lette una riga alla volta
- 20 minuti di lettura
Cinque esempi, dal più semplice. Qui non si scrive codice: si legge un output. Tutti vengono dallo stesso progetto, i tornelli di Ponte Ciclo, che ha tre file di test e un pytest.ini.
tornelli/
├── pytest.ini testpaths = prove, pythonpath = .
├── tornelli.py il codice
├── prove/
│ ├── test_badge.py
│ ├── test_riepilogo.py
│ └── test_tornelli.py
└── archivio/
└── test_vecchio.py vecchi test, fuori da prove/Ogni esempio ha lo stesso ritmo:
- Prevedi: guarda la schermata e rispondi su un foglio. Prima di aprire la risposta.
- In italiano: cosa dice pytest, a parole.
- Passo per passo: dove si guarda, nell'ordine.
- Cosa portiamo a casa: la cosa da ricordare.
Le schermate qui sotto sono quelle vere, copiate da pytest: nello zip della palestra ce n'è un altro, di progetto, da leggere tu.
A · La riga di punti
Hai lanciato pytest dalla cartella tornelli. L'inizio dell'output:
============================= test session starts ==============================
platform darwin -- Python 3.12.13, pytest-9.2.0, pluggy-1.7.0
rootdir: /Users/marta/corso/tornelli
configfile: pytest.ini
testpaths: prove
collected 13 items
prove/test_badge.py ..F. [ 30%]
prove/test_riepilogo.py FEE. [ 61%]
prove/test_tornelli.py ....F [100%]E la fine:
=========================== short test summary info ============================
FAILED prove/test_badge.py::test_badge_troppo_lungo - AssertionError: assert not True
FAILED prove/test_riepilogo.py::test_il_messaggio_del_tabellone - AssertionError: assert 'Treno in ritardo di 5 minuti' == 'Treno in ritardo ...
FAILED prove/test_tornelli.py::test_ora_di_punta_al_limite - assert False
ERROR prove/test_riepilogo.py::test_il_totale_della_notte
ERROR prove/test_riepilogo.py::test_la_prima_timbratura
==================== 3 failed, 8 passed, 2 errors in 0.03s =====================(Fra le due parti c'è il dettaglio dei rossi: lo leggiamo negli esempi C e D.)
Quanti test ha trovato pytest? Quanti passano? Quanti sono F e quanti E? Quale file ha le due E?
Prevedi Scrivi su un foglio cosa ti aspetti, poi apri.
13 trovati · 8 passano · 3 F · 2 E · le E sono in test_riepilogo.pycollected 13 items: ne ha trovati 13...F.sono 4 test (3 punti, una F),FEE.4 (una F, due E, un punto),....F5 (4 punti, una F): 4 + 4 + 5 = 13.- Punti: 3 + 1 + 4 = 8. F: 3. E: 2. L'ultima riga lo dice con le parole:
3 failed, 8 passed, 2 errors. - Le E stanno nella riga
FEE., quella ditest_riepilogo.py. Anche la short test summary lo dice: due righeERROR.
In italiano. pytest ha cercato i test dove gli diceva testpaths (la cartella prove), ne ha trovati 13 in tre file e per ogni test ha scritto un carattere. A ogni file una riga, come fosse un registro.
Passo per passo.
| Cosa guardi | Dove | Cosa leggi |
|---|---|---|
| Quanti test | collected 13 items | 13 |
| Come è andato, in grande | ultima riga | 3 failed, 8 passed, 2 errors |
| Dove sono i rossi | le righe di punti | uno per file, nell'ordine in cui i test sono scritti |
| Come si chiamano | short test summary | FAILED file::test e ERROR file::test |
Cosa portiamo a casa. I tre numeri dell'ultima riga devono sommare al numero di collected: 3 + 8 + 2 = 13. Se la somma non torna, hai letto male una riga.
B · Quanti test sceglie -k
Tutti i nomi dei test che pytest trova nella cartella:
prove/test_badge.py::test_badge_di_nadia
prove/test_badge.py::test_badge_senza_trattino
prove/test_badge.py::test_badge_troppo_lungo
prove/test_badge.py::test_badge_vuoto
prove/test_riepilogo.py::test_il_messaggio_del_tabellone
prove/test_riepilogo.py::test_il_totale_della_notte
prove/test_riepilogo.py::test_la_prima_timbratura
prove/test_riepilogo.py::test_riepilogo_vuoto
prove/test_tornelli.py::test_conta_una_sola_ora
prove/test_tornelli.py::test_ora_senza_passaggi
prove/test_tornelli.py::test_un_badge_non_e_un_passaggio
prove/test_tornelli.py::test_ora_di_punta
prove/test_tornelli.py::test_ora_di_punta_al_limite(È l'output di pytest --collect-only -q, senza l'ultima riga.) Poi lanci:
pytest -k badge -vQuanti test partono? Quali?
Prevedi Scrivi su un foglio cosa ti aspetti, poi apri.
collected 13 items / 8 deselected / 5 selected
prove/test_badge.py::test_badge_di_nadia PASSED [ 20%]
prove/test_badge.py::test_badge_senza_trattino PASSED [ 40%]
prove/test_badge.py::test_badge_troppo_lungo FAILED [ 60%]
prove/test_badge.py::test_badge_vuoto PASSED [ 80%]
prove/test_tornelli.py::test_un_badge_non_e_un_passaggio PASSED [100%]Cinque. I quattro del file test_badge.py (il file ha badge nel nome) più test_un_badge_non_e_un_passaggio, che sta in un altro file ma ha badge nel suo nome. In fondo: 1 failed, 4 passed, 8 deselected.
In italiano. -k badge vuol dire: tieni i test che hanno «badge» da qualche parte, nel nome del test o nel nome del file. Tutto il resto resta fuori (deselected): 13 − 5 = 8.
E se aggiungi and not troppo?
pytest -k "badge and not troppo" -qPrevedi Scrivi su un foglio cosa ti aspetti, poi apri.
.... [100%]
4 passed, 9 deselected in 0.01sQuattro: via test_badge_troppo_lungo, resta tutto il resto. Ed è tutto verde, perché l'unico rosso era quello che hai escluso.
Passo per passo.
| Comando | Regola | Selezionati |
|---|---|---|
-k badge | badge nel nome del test o del file | 5 |
-k "badge and not troppo" | come sopra, ma senza quelli con troppo | 4 |
Cosa portiamo a casa. Il conto fatto a mente è un modo di controllare di aver capito: prima della schermata, scrivi quanti test ti aspetti. E ricordati le virgolette quando nel -k ci sono degli spazi.
C · La differenza nell'assert
Dal blocco FAILURES dello stesso output, tre test rossi. Per ognuno: cosa ha dato il codice, cosa voleva il test, dov'è il guaio?
C1
def test_badge_troppo_lungo():
> assert not badge_valido("B-123")
E AssertionError: assert not True
E + where True = badge_valido('B-123')C2
def test_il_messaggio_del_tabellone():
> assert messaggio_ritardo(5) == "Treno in ritardo di 5 min"
E AssertionError: assert 'Treno in ritardo di 5 minuti' == 'Treno in ritardo di 5 min'
E
E - Treno in ritardo di 5 min
E + Treno in ritardo di 5 minuti
E ? +++C3
def test_ora_di_punta_al_limite():
> assert e_ora_di_punta(100)
E assert False
E + where False = e_ora_di_punta(100)Prevedi Scrivi su un foglio cosa ti aspetti, poi apri.
C1. Il test voleva che "B-123" non fosse un badge valido (not): la funzione ha risposto True, cioè «valido». Il guaio è nel codice: accetta qualsiasi cosa cominci per B-.
C2. Il test voleva 'Treno in ritardo di 5 min', la funzione ha dato 'Treno in ritardo di 5 minuti'. Le righe sotto lo mostrano: la riga con - è l'atteso, quella con + è il dato, e la riga con ? mette i +++ sotto le lettere in più, «uti». Qui è questione di mettersi d'accordo su quale scritta è giusta: il test o il codice? Si chiede a chi ha deciso il testo del tabellone.
C3. Il test voleva che e_ora_di_punta(100) fosse vero. Ha dato False. Il commento nel codice dice «da 100 passaggi in su»: il codice usa > dove ci voleva >=. Il test ha ragione.
In italiano. Ogni test rosso racconta due cose: cosa voleva e cosa ha ricevuto. Se la prova è un confronto con ==, i due valori sono ai lati. Se non c'è un confronto (C1 e C3), il valore è uno solo, e where dice da quale chiamata viene.
Passo per passo.
| Dove | Cosa guardi | C1 | C2 | C3 |
|---|---|---|---|---|
La riga con > | l'assert che è fallito | not badge_valido("B-123") | messaggio_ritardo(5) == "…5 min" | e_ora_di_punta(100) |
Prima riga E | cosa ha trovato pytest | not True | testo con «minuti» contro testo con «min» | False |
La riga where | da quale chiamata viene | badge_valido('B-123') dà True | — (si vede a sinistra del ==) | e_ora_di_punta(100) dà False |
Dopo test_…py: | riga del file | 13 | 5 | 21 |
Cosa portiamo a casa. Prima di toccare il codice, dì a voce: «il test voleva ___ e il codice ha dato ___». Se non sai riempire i due spazi, non hai ancora letto il rosso.
D · Una E, non una F
Lanci solo il file del riepilogo:
pytest prove/test_riepilogo.py -vcollected 4 items
prove/test_riepilogo.py::test_il_messaggio_del_tabellone FAILED [ 25%]
prove/test_riepilogo.py::test_il_totale_della_notte ERROR [ 50%]
prove/test_riepilogo.py::test_la_prima_timbratura ERROR [ 75%]
prove/test_riepilogo.py::test_riepilogo_vuoto PASSED [100%]
==================================== ERRORS ====================================
_________________ ERROR at setup of test_il_totale_della_notte _________________
file /Users/marta/corso/tornelli/prove/test_riepilogo.py, line 8
def test_il_totale_della_notte(timbrature_di_stanotte):
E fixture 'timbrature_di_stanotte' not found
> available fixtures: cache, capfd, capfdbinary, caplog, capsys, capsysbinary, capteesys, doctest_namespace, monkeypatch, pytestconfig, record_property, record_testsuite_property, record_xml_attribute, recwarn, subtests, tmp_path, tmp_path_factory, tmpdir, tmpdir_factory
> use 'pytest --fixtures [testpath]' for help on them.(Ho tolto le righe di intestazione, il secondo errore, uguale al primo, e la parte FAILURES.)
Il codice di totale_della_notte è sbagliato? Quale riga leggi per scoprirlo? Gli altri test sono partiti?
Prevedi Scrivi su un foglio cosa ti aspetti, poi apri.
Non lo sappiamo: quei due test non sono nemmeno partiti. ERROR at setup vuol dire che pytest è saltato in preparazione, prima di arrivare alla funzione. La riga che conta è la prima E: fixture 'timbrature_di_stanotte' not found. Il test chiede un ingrediente (la fixture) che nessuno ha preparato: il nome è scritto male, o non è mai stato scritto.
Le altre righe che cominciano con > sono un elenco di quelli che pytest conosce: non c'è da leggerlo. Gli altri test sono partiti normalmente: uno è passato, uno è rosso per i fatti suoi (FAILED).
In italiano. Una E dice: «non sono riuscito a preparare il test». Ci sono due modi in cui succede, e vale la pena riconoscerli.
Il disegno.
| Quello che vedi | Cosa è successo | Quanti test salta |
|---|---|---|
ERROR collecting file.py e Interrupted | Il file non si legge (un import che non funziona, per esempio) | Tutti: non parte niente |
ERROR at setup of test_… e fixture '…' not found | Il test chiede una fixture che non c'è | Solo i test che la chiedono |
Passo per passo.
| Giro | Cosa guardi | Cosa leggi |
|---|---|---|
| 1 | La lettera | E, non F: il test non è partito |
| 2 | L'intestazione del blocco | ERROR at setup of test_il_totale_della_notte |
| 3 | La prima riga E | fixture 'timbrature_di_stanotte' not found |
| 4 | Il resto | l'elenco delle fixture note: non serve |
| 5 | La cura | controlla il nome nel test: scritto bene? Esiste? Se non esiste, va scritta (libro Codice pulito e test) |
Cosa portiamo a casa. Il muro di righe sotto la E è lungo ma la riga che serve è una, la prima. E con una E non cercare il bug nella funzione: non è stata ancora chiamata.
E · La cartella e il pytest.ini
Il progetto ha testpaths = prove e, accanto, una cartella archivio con due vecchi test. Tre comandi, tre conti:
pytest --collect-only -q # quanti ne trova?
pytest . --collect-only -q # e con il punto?
pytest archivio -q # e solo la cartella vecchia?Prevedi Scrivi su un foglio cosa ti aspetti, poi apri.
13 tests collected in 0.00s (pytest --collect-only -q)
15 tests collected in 0.00s (pytest . --collect-only -q)
1 failed, 1 passed in 0.02s (pytest archivio -q)- Il primo: niente argomenti, vale
testpaths: soloprove, 13 test. - Il secondo: con un argomento,
testpathsnon conta..vuol dire «cerca in questa cartella», earchivioè dentro: 13 + 2 = 15. - Il terzo: l'argomento è
archivio, dunque solo i suoi 2 test. Uno passa e uno è rosso:
.F [100%]
=================================== FAILURES ===================================
_______________________ test_vecchio_conteggio_di_notte ________________________
def test_vecchio_conteggio_di_notte():
> assert passaggi_all_ora(["00:30"], 0) == 2
E AssertionError: assert 1 == 2
E + where 1 = passaggi_all_ora(['00:30'], 0)
archivio/test_vecchio.py:9: AssertionError
=========================== short test summary info ============================
FAILED archivio/test_vecchio.py::test_vecchio_conteggio_di_notte - AssertionError: assert 1 == 2
1 failed, 1 passed in 0.02sIn italiano. Il pytest.ini decide dove pytest cerca quando non gli dici niente. Se gli dici tu dove, comandi tu.
Passo per passo.
| Comando | Chi decide dove cercare | Dove cerca | Test |
|---|---|---|---|
pytest | testpaths | prove/ | 13 |
pytest . | tu: il punto è la cartella corrente | tutto, anche archivio/ | 15 |
pytest archivio | tu | solo archivio/ | 2 |
Cosa portiamo a casa. Se i numeri dei test non tornano con quelli di un compagno che lancia lo stesso progetto, guarda le righe configfile e testpaths dell'intestazione, e come sei stato a lanciare: con o senza argomenti.