Vai al contenuto
code-to-code

Apro l'indice…

↑ ↓ per scegliere, Invio per aprire, Esc per chiudere

Il banco di lavoro4. Lanciare i testp. 90

Lanciare i test, esercizi spiegati

Cinque schermate di pytest, lette una riga alla volta

  • 20 minuti di lettura

Cinque esempi, dal più semplice. Qui non si scrive codice: si legge un output. Tutti vengono dallo stesso progetto, i tornelli di Ponte Ciclo, che ha tre file di test e un pytest.ini.

tornelli/
├── pytest.ini             testpaths = prove, pythonpath = .
├── tornelli.py            il codice
├── prove/
│   ├── test_badge.py
│   ├── test_riepilogo.py
│   └── test_tornelli.py
└── archivio/
    └── test_vecchio.py    vecchi test, fuori da prove/

Ogni esempio ha lo stesso ritmo:

  1. Prevedi: guarda la schermata e rispondi su un foglio. Prima di aprire la risposta.
  2. In italiano: cosa dice pytest, a parole.
  3. Passo per passo: dove si guarda, nell'ordine.
  4. Cosa portiamo a casa: la cosa da ricordare.

Le schermate qui sotto sono quelle vere, copiate da pytest: nello zip della palestra ce n'è un altro, di progetto, da leggere tu.


A · La riga di punti

Hai lanciato pytest dalla cartella tornelli. L'inizio dell'output:

============================= test session starts ==============================
platform darwin -- Python 3.12.13, pytest-9.2.0, pluggy-1.7.0
rootdir: /Users/marta/corso/tornelli
configfile: pytest.ini
testpaths: prove
collected 13 items

prove/test_badge.py ..F.                                                 [ 30%]
prove/test_riepilogo.py FEE.                                             [ 61%]
prove/test_tornelli.py ....F                                             [100%]

E la fine:

=========================== short test summary info ============================
FAILED prove/test_badge.py::test_badge_troppo_lungo - AssertionError: assert not True
FAILED prove/test_riepilogo.py::test_il_messaggio_del_tabellone - AssertionError: assert 'Treno in ritardo di 5 minuti' == 'Treno in ritardo ...
FAILED prove/test_tornelli.py::test_ora_di_punta_al_limite - assert False
ERROR prove/test_riepilogo.py::test_il_totale_della_notte
ERROR prove/test_riepilogo.py::test_la_prima_timbratura
==================== 3 failed, 8 passed, 2 errors in 0.03s =====================

(Fra le due parti c'è il dettaglio dei rossi: lo leggiamo negli esempi C e D.)

Quanti test ha trovato pytest? Quanti passano? Quanti sono F e quanti E? Quale file ha le due E?

Prevedi Scrivi su un foglio cosa ti aspetti, poi apri.
13 trovati · 8 passano · 3 F · 2 E · le E sono in test_riepilogo.py
  • collected 13 items: ne ha trovati 13.
  • ..F. sono 4 test (3 punti, una F), FEE. 4 (una F, due E, un punto), ....F 5 (4 punti, una F): 4 + 4 + 5 = 13.
  • Punti: 3 + 1 + 4 = 8. F: 3. E: 2. L'ultima riga lo dice con le parole: 3 failed, 8 passed, 2 errors.
  • Le E stanno nella riga FEE., quella di test_riepilogo.py. Anche la short test summary lo dice: due righe ERROR.

In italiano. pytest ha cercato i test dove gli diceva testpaths (la cartella prove), ne ha trovati 13 in tre file e per ogni test ha scritto un carattere. A ogni file una riga, come fosse un registro.

Passo per passo.

Cosa guardiDoveCosa leggi
Quanti testcollected 13 items13
Come è andato, in grandeultima riga3 failed, 8 passed, 2 errors
Dove sono i rossile righe di puntiuno per file, nell'ordine in cui i test sono scritti
Come si chiamanoshort test summaryFAILED file::test e ERROR file::test

Cosa portiamo a casa. I tre numeri dell'ultima riga devono sommare al numero di collected: 3 + 8 + 2 = 13. Se la somma non torna, hai letto male una riga.


B · Quanti test sceglie -k

Tutti i nomi dei test che pytest trova nella cartella:

prove/test_badge.py::test_badge_di_nadia
prove/test_badge.py::test_badge_senza_trattino
prove/test_badge.py::test_badge_troppo_lungo
prove/test_badge.py::test_badge_vuoto
prove/test_riepilogo.py::test_il_messaggio_del_tabellone
prove/test_riepilogo.py::test_il_totale_della_notte
prove/test_riepilogo.py::test_la_prima_timbratura
prove/test_riepilogo.py::test_riepilogo_vuoto
prove/test_tornelli.py::test_conta_una_sola_ora
prove/test_tornelli.py::test_ora_senza_passaggi
prove/test_tornelli.py::test_un_badge_non_e_un_passaggio
prove/test_tornelli.py::test_ora_di_punta
prove/test_tornelli.py::test_ora_di_punta_al_limite

(È l'output di pytest --collect-only -q, senza l'ultima riga.) Poi lanci:

Terminale
pytest -k badge -v

Quanti test partono? Quali?

Prevedi Scrivi su un foglio cosa ti aspetti, poi apri.
collected 13 items / 8 deselected / 5 selected

prove/test_badge.py::test_badge_di_nadia PASSED                          [ 20%]
prove/test_badge.py::test_badge_senza_trattino PASSED                    [ 40%]
prove/test_badge.py::test_badge_troppo_lungo FAILED                      [ 60%]
prove/test_badge.py::test_badge_vuoto PASSED                             [ 80%]
prove/test_tornelli.py::test_un_badge_non_e_un_passaggio PASSED          [100%]

Cinque. I quattro del file test_badge.py (il file ha badge nel nome) più test_un_badge_non_e_un_passaggio, che sta in un altro file ma ha badge nel suo nome. In fondo: 1 failed, 4 passed, 8 deselected.

In italiano. -k badge vuol dire: tieni i test che hanno «badge» da qualche parte, nel nome del test o nel nome del file. Tutto il resto resta fuori (deselected): 13 − 5 = 8.

E se aggiungi and not troppo?

Terminale
pytest -k "badge and not troppo" -q
Prevedi Scrivi su un foglio cosa ti aspetti, poi apri.
....                                                                     [100%]
4 passed, 9 deselected in 0.01s

Quattro: via test_badge_troppo_lungo, resta tutto il resto. Ed è tutto verde, perché l'unico rosso era quello che hai escluso.

Passo per passo.

ComandoRegolaSelezionati
-k badgebadge nel nome del test o del file5
-k "badge and not troppo"come sopra, ma senza quelli con troppo4

Cosa portiamo a casa. Il conto fatto a mente è un modo di controllare di aver capito: prima della schermata, scrivi quanti test ti aspetti. E ricordati le virgolette quando nel -k ci sono degli spazi.


C · La differenza nell'assert

Dal blocco FAILURES dello stesso output, tre test rossi. Per ognuno: cosa ha dato il codice, cosa voleva il test, dov'è il guaio?

C1

    def test_badge_troppo_lungo():
>       assert not badge_valido("B-123")
E       AssertionError: assert not True
E        +  where True = badge_valido('B-123')

C2

    def test_il_messaggio_del_tabellone():
>       assert messaggio_ritardo(5) == "Treno in ritardo di 5 min"
E       AssertionError: assert 'Treno in ritardo di 5 minuti' == 'Treno in ritardo di 5 min'
E
E         - Treno in ritardo di 5 min
E         + Treno in ritardo di 5 minuti
E         ?                          +++

C3

    def test_ora_di_punta_al_limite():
>       assert e_ora_di_punta(100)
E       assert False
E        +  where False = e_ora_di_punta(100)
Prevedi Scrivi su un foglio cosa ti aspetti, poi apri.

C1. Il test voleva che "B-123" non fosse un badge valido (not): la funzione ha risposto True, cioè «valido». Il guaio è nel codice: accetta qualsiasi cosa cominci per B-.

C2. Il test voleva 'Treno in ritardo di 5 min', la funzione ha dato 'Treno in ritardo di 5 minuti'. Le righe sotto lo mostrano: la riga con - è l'atteso, quella con + è il dato, e la riga con ? mette i +++ sotto le lettere in più, «uti». Qui è questione di mettersi d'accordo su quale scritta è giusta: il test o il codice? Si chiede a chi ha deciso il testo del tabellone.

C3. Il test voleva che e_ora_di_punta(100) fosse vero. Ha dato False. Il commento nel codice dice «da 100 passaggi in su»: il codice usa > dove ci voleva >=. Il test ha ragione.

In italiano. Ogni test rosso racconta due cose: cosa voleva e cosa ha ricevuto. Se la prova è un confronto con ==, i due valori sono ai lati. Se non c'è un confronto (C1 e C3), il valore è uno solo, e where dice da quale chiamata viene.

Passo per passo.

DoveCosa guardiC1C2C3
La riga con >l'assert che è fallitonot badge_valido("B-123")messaggio_ritardo(5) == "…5 min"e_ora_di_punta(100)
Prima riga Ecosa ha trovato pytestnot Truetesto con «minuti» contro testo con «min»False
La riga whereda quale chiamata vienebadge_valido('B-123') dà True— (si vede a sinistra del ==)e_ora_di_punta(100) dà False
Dopo test_…py:riga del file13521

Cosa portiamo a casa. Prima di toccare il codice, dì a voce: «il test voleva ___ e il codice ha dato ___». Se non sai riempire i due spazi, non hai ancora letto il rosso.


D · Una E, non una F

Lanci solo il file del riepilogo:

Terminale
pytest prove/test_riepilogo.py -v
collected 4 items

prove/test_riepilogo.py::test_il_messaggio_del_tabellone FAILED          [ 25%]
prove/test_riepilogo.py::test_il_totale_della_notte ERROR                [ 50%]
prove/test_riepilogo.py::test_la_prima_timbratura ERROR                  [ 75%]
prove/test_riepilogo.py::test_riepilogo_vuoto PASSED                     [100%]

==================================== ERRORS ====================================
_________________ ERROR at setup of test_il_totale_della_notte _________________
file /Users/marta/corso/tornelli/prove/test_riepilogo.py, line 8
  def test_il_totale_della_notte(timbrature_di_stanotte):
E       fixture 'timbrature_di_stanotte' not found
>       available fixtures: cache, capfd, capfdbinary, caplog, capsys, capsysbinary, capteesys, doctest_namespace, monkeypatch, pytestconfig, record_property, record_testsuite_property, record_xml_attribute, recwarn, subtests, tmp_path, tmp_path_factory, tmpdir, tmpdir_factory
>       use 'pytest --fixtures [testpath]' for help on them.

(Ho tolto le righe di intestazione, il secondo errore, uguale al primo, e la parte FAILURES.)

Il codice di totale_della_notte è sbagliato? Quale riga leggi per scoprirlo? Gli altri test sono partiti?

Prevedi Scrivi su un foglio cosa ti aspetti, poi apri.

Non lo sappiamo: quei due test non sono nemmeno partiti. ERROR at setup vuol dire che pytest è saltato in preparazione, prima di arrivare alla funzione. La riga che conta è la prima E: fixture 'timbrature_di_stanotte' not found. Il test chiede un ingrediente (la fixture) che nessuno ha preparato: il nome è scritto male, o non è mai stato scritto.

Le altre righe che cominciano con > sono un elenco di quelli che pytest conosce: non c'è da leggerlo. Gli altri test sono partiti normalmente: uno è passato, uno è rosso per i fatti suoi (FAILED).

In italiano. Una E dice: «non sono riuscito a preparare il test». Ci sono due modi in cui succede, e vale la pena riconoscerli.

Il disegno.

inizio guardi la lettera del test se è una E sì: se ERROR collecting file sì: passo nessun test parte no: passo fixture mancante passo leggi la prima riga E no: passo F: test rosso fineguardi la lettera del testè una EF: test rossoERROR collectingfilefixture mancantenessun test parteleggi la prima riga Efinenosìnosì
F o E
Quello che vediCosa è successoQuanti test salta
ERROR collecting file.py e InterruptedIl file non si legge (un import che non funziona, per esempio)Tutti: non parte niente
ERROR at setup of test_… e fixture '…' not foundIl test chiede una fixture che non c'èSolo i test che la chiedono

Passo per passo.

GiroCosa guardiCosa leggi
1La letteraE, non F: il test non è partito
2L'intestazione del bloccoERROR at setup of test_il_totale_della_notte
3La prima riga Efixture 'timbrature_di_stanotte' not found
4Il restol'elenco delle fixture note: non serve
5La curacontrolla il nome nel test: scritto bene? Esiste? Se non esiste, va scritta (libro Codice pulito e test)

Cosa portiamo a casa. Il muro di righe sotto la E è lungo ma la riga che serve è una, la prima. E con una E non cercare il bug nella funzione: non è stata ancora chiamata.


E · La cartella e il pytest.ini

Il progetto ha testpaths = prove e, accanto, una cartella archivio con due vecchi test. Tre comandi, tre conti:

Terminale
pytest --collect-only -q        # quanti ne trova?
pytest . --collect-only -q      # e con il punto?
pytest archivio -q              # e solo la cartella vecchia?
Prevedi Scrivi su un foglio cosa ti aspetti, poi apri.
13 tests collected in 0.00s     (pytest --collect-only -q)
15 tests collected in 0.00s     (pytest . --collect-only -q)
1 failed, 1 passed in 0.02s     (pytest archivio -q)
  • Il primo: niente argomenti, vale testpaths: solo prove, 13 test.
  • Il secondo: con un argomento, testpaths non conta. . vuol dire «cerca in questa cartella», e archivio è dentro: 13 + 2 = 15.
  • Il terzo: l'argomento è archivio, dunque solo i suoi 2 test. Uno passa e uno è rosso:
.F                                                                       [100%]
=================================== FAILURES ===================================
_______________________ test_vecchio_conteggio_di_notte ________________________

    def test_vecchio_conteggio_di_notte():
>       assert passaggi_all_ora(["00:30"], 0) == 2
E       AssertionError: assert 1 == 2
E        +  where 1 = passaggi_all_ora(['00:30'], 0)

archivio/test_vecchio.py:9: AssertionError
=========================== short test summary info ============================
FAILED archivio/test_vecchio.py::test_vecchio_conteggio_di_notte - AssertionError: assert 1 == 2
1 failed, 1 passed in 0.02s

In italiano. Il pytest.ini decide dove pytest cerca quando non gli dici niente. Se gli dici tu dove, comandi tu.

Passo per passo.

ComandoChi decide dove cercareDove cercaTest
pytesttestpathsprove/13
pytest .tu: il punto è la cartella correntetutto, anche archivio/15
pytest archiviotusolo archivio/2

Cosa portiamo a casa. Se i numeri dei test non tornano con quelli di un compagno che lancia lo stesso progetto, guarda le righe configfile e testpaths dell'intestazione, e come sei stato a lanciare: con o senza argomenti.