Testowanie i jakość oprogramowania

Adam Roman

Uzyskaj dostęp

Zakup książkę

ISBN/ISSN:

978-83-01-18392-9

DOI:

Wydawnictwo:

Wydawnictwo Naukowe PWN

Rok wydania:

2015

Liczba stron:

1129

XML:ISBN/ISSN:

ONIX MARC21

Bibliografia:

Roman, Adam. Testowanie i jakość oprogramowania. Red. . Warszawa: Wydawnictwo Naukowe PWN, 2015, 1129 s. ISBN 978-83-01-18392-9

Bibliografia refWorks:

RT Book, Whole

SR Electronic(1)

A1 Roman, A.

T1 Testowanie i jakość oprogramowania

PB Wydawnictwo Naukowe PWN

PP Warszawa

YR 2015

SN 978-83-01-18392-9

Bibliografia BibTex:

@Book{ 142201, author = "Roman, Adam", editor = "", title = "Testowanie i jakość oprogramowania", publisher = "Wydawnictwo Naukowe PWN", year = "2015", address = "Warszawa", isbn = "978-83-01-18392-9" }

Bibliografia endNote:

TY - BOOK

AU - Roman, Adam

ED -

TI - Testowanie i jakość oprogramowania

PB - Wydawnictwo Naukowe PWN

CY - Warszawa

PY - 2015

SN - 978-83-01-18392-9

ER -

Netografia (standard APA):

Roman, Adam. Testowanie i jakość oprogramowania [baza danych online] Warszawa: Wydawnictwo Naukowe PWN, 2015 [dostęp: 03 07 2024]. Dostęp w Ibuk Libra: https://libra.ibuk.pl/reader/testowanie-i-jakosc-oprogramowania-adam-roman-142201.

pomiar, projektowanie testów, dokumentowanie procesu testowego, zarządzanie zespołem testerów, automatyzacja testów, doskonalenie procesu testowego

Testowanie oprogramowania, choć kluczowe dla powodzenia projektów IT, wciąż jest niedocenianą dziedziną inżynierii oprogramowania. Jednym z powodów jest brak rzetelnych i wiarygodnych źródeł informacji o tej dyscyplinie. Niniejsza pozycja stanowi ...

Więcej

ISBN/ISSN:

978-83-01-18392-9

DOI:

Wydawnictwo:

Wydawnictwo Naukowe PWN

Rok wydania:

2015

Liczba stron:

1129

XML:ISBN/ISSN:

ONIX MARC21

Spis ilustracji29
Spis tabel36
Spis listingów41
Znaki handlowe43
Wstęp45
CZĘŚĆ I. PODSTAWY TESTOWANIA49
1. Wprowadzenie do testowania51
1.1. Dlaczego testowanie jest niezbędne51
1.2. Definicja testowania52
1.3. Słynne przykłady awarii oprogramowania55
1.4. Rys historyczny59
1.5. Ogólne zasady testowania62
1.6. Jak dużo testować i kiedy skończyć?66
1.7. Psychologia testowania67
1.8. Kodeks etyczny testera69
1.9. Role związane z testowaniem70
2. Podstawowe definicje73
3. Proces testowy80
3.1. Podstawowy proces testowy81
3.1.1. Planowanie82
3.1.2. Monitorowanie i nadzór84
3.1.3. Analiza testów84
3.1.4. Projektowanie testów87
3.1.5. Implementacja testów91
3.1.6. Wykonanie testów94
3.1.7. Ocena spełnienia kryteriów wyjścia oraz raportowanie97
3.1.8. Czynności zamykające testowanie98
3.2. Proces testowy wg ISO/IEC/IEEE 29119100
4. Testowanie w cyklu życia oprogramowania103
4.1. Modele wytwarzania oprogramowania103
4.1.1. Model kaskadowy104
4.1.2. Model V105
4.1.3. Model W106
4.1.4. Rational Unified Process (RUP)107
4.1.5. Rapid Application Development (RAD)108
4.1.6. Model spiralny Boehma109
4.1.7. Metodyki zwinne110
4.1.8. Metodologia Cleanroom116
4.2. Weryfikacja i walidacja118
4.3. Poziomy testów120
4.3.1. Testy jednostkowe121
4.3.2. Testy integracyjne122
4.3.3. Testy systemowe126
4.3.4. Testy akceptacyjne127
4.3.5. Pozostałe poziomy testów128
4.4. Typy testów130
4.4.1. Testy funkcjonalne131
4.4.2. Testy niefunkcjonalne131
4.4.3. Testy strukturalne132
4.4.4. Testy związane ze zmianami133
4.5. Poziomy a typy testów134
CZĘŚĆ II. TECHNIKI PROJEKTOWANIA TESTÓW135
5. Testowanie oparte na modelu137
5.1. Cechy dobrego modelu137
5.2. Taksonomia modeli139
5.3. Przykład wykorzystania modelu141
5.4. Modele działania oprogramowania144
5.4.1. Graf przepływu sterowania145
5.4.2. Ograniczenia w stosowaniu grafu przepływu sterowania150
5.4.3. Graf przepływu danych151
5.4.4. Ścieżki, ścieżki testowe i ścieżki nieosiągalne153
6. Techniki testowania statycznego155
6.1. Przeglądy156
6.1.1. Proces dla testowania statycznego158
6.1.2. Metody sprawdzania oraz możliwe wyniki przeglądu159
6.1.3. Role160
6.1.4. Aspekt psychologiczny przeglądów161
6.1.5. Typy przeglądów162
6.1.6. Biznesowa wartość przeglądów171
6.1.7. Wdrażanie przeglądów172
6.1.8. Kryteria sukcesu przeglądów174
6.2. Analiza statyczna175
6.2.1. Analiza przepływu sterowania175
6.2.2. Poprawność sekwencji operacji176
6.2.3. Analiza przepływu danych178
6.2.4. Narzędzia do parsowania kodu180
6.2.5. Testowanie zgodności ze standardami oprogramowania182
6.2.6. Metryki złożoności kodu182
6.2.7. Formalne dowodzenie poprawności185
6.2.8. Symboliczne wykonywanie kodu188
6.2.9 Analiza statyczna strony internetowej191
6.2.10. Grafy wywołań192
7. Analiza dynamiczna197
7.1. Wykrywanie wycieków pamięci199
7.2. Wykrywanie dzikich i wiszących wskaźników200
7.3. Błędy API201
7.4. Analiza wydajności (profiling)202
8. Techniki oparte na specyfikacji (czarnoskrzynkowe)206
8.1. Podział na klasy równoważności207
8.1.1. Opis metody207
8.1.2. Formalna definicja podziału209
8.1.3. Poprawne i niepoprawne klasy równoważności210
8.1.4. Procedura tworzenia przypadków testowych211
8.1.5. Przykład213
8.1.6. Przykład śledzenia artefaktów procesu testowego217
8.2. Analiza wartości brzegowych219
8.2.1. Opis metody219
8.2.2. Metody dwóch oraz trzech wartości granicznych220
8.2.3. Które wartości rozważać jako brzegowe?223
8.2.4. Przypadek zmiennych ciągłych226
8.2.5. Przykład226
8.3. Tablice decyzyjne229
8.3.1. Opis metody229
8.3.2. Wartości nieistotne i minimalizacja tablicy decyzyjnej233
8.3.3. Przykład237
8.4. Grafy przyczynowo-skutkowe239
8.4.1. Opis metody239
8.4.2. Przekształcanie między grafami P-S i tablicami decyzyjnymi242
8.4.3. Metoda śledzenia wstecznego – redukcja liczby testów245
8.4.4. Przykład249
8.5. Testowanie przejść między stanami250
8.5.1. Opis metody250
8.5.2. Tabelaryczne reprezentacje przejść254
8.5.3. Kryteria pokrycia dla maszyny stanowej256
8.5.4. Diagram maszyny stanowej w UML260
8.5.5. Przykład261
8.6. Kategoria-podział (Category-Partition)264
8.6.1. Opis metody264
8.6.2. Przykład265
8.7. Drzewa klasyfikacji270
8.7.1. Opis metody270
8.7.2. Budowa drzewa klasyfikacji270
8.7.3. Asortyment produktów programowych i model cech272
8.7.4. Przykład275
8.8. Metody kombinacyjne277
8.8.1. Opis metody277
8.8.2. Each Choice278
8.8.3. Base Choice279
8.8.4. Multiple Base Choice280
8.8.5. Pair-wise testing281
8.8.6. Pokrycie n-tupletów (n-wise)287
8.8.7. Pełne pokrycie kombinatoryczne288
8.8.8. Subsumpcja kryteriów kombinacyjnych288
8.9. Testowanie dziedziny289
8.9.1. Opis metody289
8.9.2. Hiperpłaszczyzny i podprzestrzenie290
8.9.3. Wyznaczanie hiperpłaszczyzny przez punkty291
8.9.4. Punkty IN, OUT, ON i OFF292
8.9.5. Strategia IN-OUT dla testowania dziedziny293
8.9.6. Strategia N-ON × M-OFF dla testowania wartości brzegowych293
8.9.7. Ograniczenia nieliniowe295
8.9.8. Przykład296
8.10. Testowanie oparte na przypadkach użycia299
8.10.1. Opis metody299
8.10.2. Przykład300
8.11. Testowanie oparte na scenariuszach305
8.11.1. Opis metody305
8.11.2. Przykład305
8.12. Testowanie oparte na historyjkach użytkownika310
8.12.1. Opis metody310
8.12.2. Przykład312
8.13. Testowanie losowe314
8.13.1. Opis metody314
8.13.2. Wady i zalety testowania losowego314
8.13.3. Automatyzacja i problem wyroczni315
8.13.4. Adaptive Random Testing (ART)316
8.13.5. Losowanie danych wejściowych317
8.13.6. Przykład318
8.14. Testowanie oparte na składni320
8.14.1. Opis metody320
8.14.2. Notacja Backusa–Naura (BNF)321
8.14.3. Tworzenie przypadków testowych322
8.14.4. Przykład323
8.15. Testowanie CRUD325
8.15.1. Opis metody325
8.15.2. Rozszerzenie metody326
8.15.3. Przykład328
8.16. Wybór i łączenie technik ze sobą331
9. Techniki oparte na strukturze (białoskrzynkowe)332
9.1. Testowanie instrukcji333
9.1.1. Opis metody333
9.1.2. Przykład335
9.2. Testowanie gałęzi337
9.2.1. Opis metody337
9.2.2. Przykład338
9.3. Testowanie decyzji340
9.3.1. Opis metody340
9.3.2. Testowanie decyzji a testowanie gałęzi342
9.3.3. Przykład343
9.4. Testowanie warunków346
9.4.1. Opis metody346
9.4.2. Przykład348
9.5. Testowanie warunków/decyzji349
9.5.1. Opis metody349
9.5.2. Przykład350
9.6. Testowanie wielokrotnych warunków351
9.6.1. Opis metody351
9.6.2. Zwarcie (semantyka short-circuit)352
9.6.3. Nieosiągalne kombinacje warunków353
9.6.4. Przykład354
9.7. Testowanie warunków znaczących (MC/DC)356
9.7.1. Opis metody356
9.7.2. Dwa warianty kryterium MC/DC357
9.7.3. Skorelowane a ścisłe pokrycie warunków znaczących359
9.7.4. Wyznaczanie wartości warunków pobocznych dla warunku znaczącego361
9.7.5. Przykład363
9.8. Pokrycie MUMCUT oraz kryteria z nim związane365
9.8.1. Opis metody365
9.8.2. Kryteria MUTP, MNFP, CUTPNFP i MUMCUT365
9.8.3. Przykład366
9.8.4. Zdolność metody MUMCUT do wykrywania określonych typów błędów367
9.9. Testowanie pętli368
9.9.1. Opis metody368
9.9.2. Pętle zagnieżdżone369
9.9.3. Testowanie wzorców pętli369
9.9.4. Przykład372
9.10. Liniowa sekwencja kodu i skok (LSKiS)374
9.10.1. Opis metody374
9.10.2. Przykład376
9.10.3. LSKiS a DD-ścieżki i bloki podstawowe378
9.11. Testowanie ścieżek pierwszych380
9.11.1. Opis metody380
9.11.2. Algorytm wyznaczania ścieżek pierwszych382
9.11.3. Przykład383
9.12. Analiza ścieżek386
9.12.1. Wstęp386
9.12.2. Testowanie wszystkich ścieżek387
9.12.3. Ścieżki liniowo niezależne i testowanie ścieżek bazowych387
9.12.4. Wyznaczanie ścieżek bazowych391
9.12.5. Przykład393
9.12.6. Inne kryteria pokrycia związane z testowaniem ścieżek395
9.13. Testowanie przepływu danych396
9.13.1. Wstęp396
9.13.2. Pokrycie wszystkich definicji (all-defs)398
9.13.3. Pokrycie wszystkich użyć (all-uses)399
9.13.4. Pokrycie wszystkich du-ścieżek (all-du-paths)399
9.13.5. Uwagi o kryteriach pokrycia przepływu danych400
9.13.6. Przykład400
9.14. Objazdy i ścieżki poboczne (detours, sidetrips)404
9.15. Testowanie mutacyjne405
9.15.1. Wstęp405
9.15.2. Rodzaje mutantów409
9.15.3. Proces testowania mutacyjnego410
9.15.4. Operatory mutacyjne411
9.16. Subsumpcja kryteriów416
10. Techniki oparte na defektach i na doświadczeniu417
10.1. Wstrzykiwanie błędów418
10.2. Taksonomie420
10.3. Zgadywanie błędów423
10.3.1. Opis metody423
10.3.2. Przykład423
10.4. Testowanie oparte na liście kontrolnej424
10.5. Testowanie eksploracyjne425
10.5.1. Opis metody425
10.5.2. Przykład sesji testowania eksploracyjnego427
10.6. Ataki usterkowe430
10.7. Testowanie ad hoc432
11. Wybór odpowiednich technik433
12. Priorytetyzacja przypadków testowych436
12.1. Wprowadzenie436
12.2. Ocena priorytetyzacji – miara APFD437
12.3. Techniki priorytetyzacji439
CZĘŚĆ III. TESTOWANIE CHARAKTERYSTYK JAKOŚCIOWYCH441
13. Model jakości według ISO 9126443
14. Modele jakości według ISO 25010445
15. Testowanie jakości użytkowej449
15.1. Testowanie efektywności (effectiveness)449
15.2. Testowanie wydajności (efficiency)449
15.3. Testowanie satysfakcji (satisfaction)450
15.3.1. Przydatność (usefulness)450
15.3.2. Zaufanie (trust)450
15.4. Testowanie wolności od ryzyka (freedom from risk)451
15.3.3. Przyjemność (pleasure)451
15.3.4. Komfort (comfort)451
15.4.1. Ryzyko ekonomiczne (economic risk)451
15.5. Testowanie kontekstu użycia (context coverage)452
15.4.2. Ryzyko dotyczące zdrowia i bezpieczeństwa (health and safety risk)452
15.4.3. Ryzyko związane ze środowiskiem (environmental risk)452
15.5.1. Zupełność kontekstu (context completeness)452
15.5.2. Elastyczność (flexibility)453
16. Testowanie jakości produktu454
16.1. Testowanie funkcjonalnej przydatności (functional suitability)454
16.1.1. Zupełność funkcjonalności (functional completeness)455
16.1.2. Poprawność funkcjonalności (functional correctness)455
16.2. Testowanie wydajności w działaniu (performance efficiency)456
16.1.3. Stosowność funkcjonalności (functional appropriateness)456
16.2.1. Zachowanie w czasie (time behaviour)457
16.2.2. Zużycie zasobów (resource utilization)457
16.2.3. Pojemność (capacity)458
16.2.4. Techniki testowania wydajności458
16.3. Testowanie zgodności (compatibility)461
16.3.1. Współistnienie (co-existence)461
16.3.2. Współdziałanie (interoperability)462
16.3.3. Przykład462
16.4. Testowanie użyteczności (usability)463
16.4.1. Zrozumiałość (appropriateness recognizability)465
16.4.2. Łatwość nauki (learnability)466
16.4.3. Łatwość użycia (operability)466
16.4.4. Ochrona przed błędami użytkownika (user error protection)466
16.4.5. Estetyka interfejsu użytkownika (user interface aesthetics)467
16.4.6. Dostęp (accessibility)467
16.5. Heurystyki dotyczące użyteczności468
16.5.1. Heurystyki Nielsena468
16.5.2. Laboratorium badania użyteczności (usability lab)474
16.6. Testowanie niezawodności (reliability)476
16.6.1. Dojrzałość (maturity)477
16.6.2. Odporność na błędy (fault tolerance, robustness)479
16.6.3. Odtwarzalność (recoverability)479
16.7. Testowanie zabezpieczeń (security)480
16.6.4. Dostępność (availability)480
16.7.1. Poufność (confidentiality)481
16.7.2. Integralność (integrity)481
16.7.3. Niezaprzeczalność (non-repudiation)481
16.7.4. Odpowiedzialność (accountability)481
16.8. Testowanie pielęgnowalności (maintainability)482
16.7.5. Uwierzytelnianie (authenticity)482
16.8.1. Modularność (modularity)482
16.8.2. Powtórne użycie (reusability)484
16.8.3. Analizowalność (analyzability)484
16.8.4. Modyfikowalność (modifiability)485
16.8.5. Testowalność (testability)485
16.9. Testowanie przenaszalności (portability)488
16.9.1. Adaptowalność (adaptability)488
16.9.2. Instalowalność (installability)489
16.9.3. Zastępowalność (replaceability)490
17. Testowanie jakości danych491
17.1. Model jakości danych491
17.2. Charakterystyki inherentne492
17.2.1. Dokładność (accuracy)492
17.2.2. Zupełność (completeness)493
17.2.3. Spójność (consistency)494
17.2.4. Wiarygodność (credibility)494
17.2.5. Aktualność (currentness)494
17.3. Charakterystyki inherentne i zależne od systemu495
17.3.1. Dostępność (accessibility)495
17.3.2. Zgodność (compliance)495
17.3.3. Poufność (confidentiality)496
17.3.4. Wydajność (efficiency)496
17.3.5. Precyzja (precision)497
17.3.6. Identyfikowalność (traceability)497
17.4. Charakterystyki zależne od systemu498
17.3.7. Zrozumiałość (understandability)498
17.4.1. Dostępność (availability)498
17.4.2. Przenaszalność (portability)498
17.4.3. Odtwarzalność (recoverability)498
CZĘŚĆ IV. ZARZĄDZANIE TESTOWANIEM501
18. Zarządzanie testowaniem w kontekście503
18.1. Kontekst ograniczeń projektowych504
18.2. Kontekst interesariuszy procesu testowego504
18.3. Kontekst produkcji oprogramowania506
18.4. Kontekst cyklu życia oprogramowania508
18.5. Kontekst testów508
18.6. Kontekst czynnika ludzkiego509
19. Testowanie oparte na ryzyku510
19.1. Czym jest ryzyko?511
19.2. Zalety testowania opartego na ryzyku514
19.3. Rodzaje ryzyka516
19.4. Zarządzanie ryzykiem w cyklu życia517
19.5. Identyfikacja ryzyka519
19.5.1. Analiza interesariuszy (stakeholder analysis)519
19.5.2. Technika „władza versus zainteresowanie”521
19.5.3. Techniki identyfikacji ryzyk522
19.5.4. Przykłady ryzyk produktowych524
19.6. Analiza ryzyka526
19.6.1. Klasyfikacja ryzyk526
19.6.2. Czynniki wpływające na prawdopodobieństwo i wpływ ryzyka527
19.6.3. Ilościowa i jakościowa ocena ryzyka produktowego528
19.6.4. Osiąganie konsensusu w procesie decyzyjnym529
19.6.5. Priorytetyzacja ryzyk530
19.7. Łagodzenie ryzyka532
19.7.1. Sposoby łagodzenia ryzyka532
19.7.2. Łagodzenie ryzyka przez testowanie533
19.7.3. Estymacja kosztów łagodzenia ryzyka535
19.8. Monitorowanie ryzyka537
19.8.1. Macierz identyfikowalności ryzyk538
19.8.2. Aktualizacja ryzyk oraz ich parametrów539
19.8.3. Raportowanie540
19.9. Techniki analizy ryzyka541
19.9.1. PRAM (Pragmatic Risk Analysis and Management)542
19.9.2. SST (Systematic Software Testing)544
19.9.3. Przykład: zastosowanie SST do systemu ELROJ547
19.9.4. PRisMa (Product Risk Management)548
19.9.5. Przykład: zastosowanie PRisMa do systemu ELROJ556
19.9.6. Analiza zagrożeń (hazard analysis)559
19.9.7. Koszt ekspozycji ryzyka (cost of exposure)561
19.9.8. FMEA (Failure Mode and Effect Analysis)563
19.9.9. Przykład: zastosowanie FMEA do systemu ELROJ565
19.9.10. QFD (Quality Function Deployment)566
19.9.11. Przykład: zastosowanie QFD do systemu ELROJ569
19.9.12. FTA (Fault Tree Analysis)571
19.9.13. Przykład: zastosowanie FTA do systemu ELROJ575
19.10. TMap (Test Management Approach)577
19.11. TestGoal – testowanie oparte na wynikach578
20. Pozostałe strategie testowania581
20.1. Testowanie oparte na wymaganiach581
20.1.1. Testowanie wymagań582
20.1.2. Projektowanie testów opartych na wymaganiach585
20.1.3. Przykład: obliczanie punktacji w grze w kręgle586
20.2. Podejście oparte na modelu (profile operacyjne)588
20.3. Podejście metodyczne (listy kontrolne)590
20.4. Podejście oparte na standardzie591
20.5. Inne podejścia593
20.5.1. Podejście reaktywne593
20.5.2. Podejście good enough594
20.5.3. Podejście konsultacyjne594
21. Dokumentacja w zarządzaniu testowaniem595
21.1. Dokumenty organizacyjnego procesu testowego598
21.1.1. Polityka testów598
21.1.2. Przykład polityki testów599
21.1.3. Organizacyjna strategia testowania601
21.1.4. Przykład organizacyjnej strategii testowania603
21.2. Dokumenty procesu zarządzania testowaniem606
21.2.1. Plan testów (test plan)606
21.2.2. Przykład planu testów608
21.2.3. Jednopoziomowy plan testów (level test plan)614
21.2.4. Przykład jednopoziomowego planu testów616
21.2.5. Raport o stanie testów (test status report)619
21.2.6. Przykład raportu o stanie testów619
21.2.7. Raport końcowy z testowania (test completion report)620
21.2.8. Przykład raportu końcowego z testowania621
21.3. Dokumenty dynamicznych procesów testowych622
21.3.1. Specyfikacja testów (test design specification)622
21.3.2. Przykład specyfikacji testów623
21.3.3. Specyfikacja przypadku testowego (test case specification)624
21.3.4. Przykład specyfikacji przypadku testowego625
21.3.5. Specyfikacja procedury testowej (test procedure specification)625
21.3.6. Przykład specyfikacji procedury testowej626
21.3.7. Wymagania co do danych testowych (test data requirements)627
21.3.8. Przykład wymagania co do danych testowych628
21.3.9. Wymagania co do środowiska testowego (test environment requirements)629
21.3.10. Przykład wymagań co do środowiska testowego630
21.3.11. Raport o gotowości danych testowych (test data readiness report)631
21.3.12. Raport o gotowości środowiska testowego (test environment readiness report)631
21.3.13. Otrzymane wyniki (actual results)631
21.3.14. Wynik testu (test result)631
21.3.15. Dziennik wykonania testów (test execution log)632
21.3.16. Raport o incydencie (test incident report)632
21.3.17. Raport z sesji testowania eksploracyjnego (exploratory testing session report)633
21.3.18. Przykład raportu z sesji testowania eksploracyjnego633
22. Szacowanie testów635
22.1. Czynniki wpływające na szacowanie636
22.2. Techniki szacowania638
22.2.1. Intuicja, zgadywanie, doświadczenie638
22.2.2. Estymacja przez analogię639
22.2.3. Struktura podziału prac (Work Breakdown Structure, WBS)639
22.2.4. Estymacja grupowa640
22.2.5. Dane przemysłowe641
22.2.6. Analiza punktów testowych (Test Point Analysis)642
22.3. Negocjacje i redukcja zakresu testów647
22.2.7. Modele matematyczne (parametryczne)647
23. Nadzór i kontrola postępu testów649
23.1. Wprowadzenie649
23.2. Przykłady metryk652
23.2.1. Metryki ryzyka produktowego653
23.2.2. Metryki defektów653
23.2.3. Metryki przypadków testowych656
23.2.4. Metryki pokrycia657
23.2.5. Metryki pewności658
23.3. Zarządzanie testowaniem opartym na sesji659
24. Biznesowa wartość testowania661
24.1. Wprowadzenie661
24.2. Koszt jakości662
24.3. Wartość ekonomiczna oprogramowania i problemy z nią związane665
24.4. Dług technologiczny w kontekście testowania666
25. Testowanie rozproszone, zakontraktowane i zewnętrzne668
25.1. Zespoły w ramach organizacji669
25.2. Zespoły w ramach innych oddziałów organizacji670
25.3. Dostawcy sprzętu i oprogramowania671
25.4. Dostawcy usług testowych671
25.5. TaaS (Testing as a Service)671
26. Zarządzanie wdrażaniem standardów przemysłowych674
27. Zarządzanie incydentami675
27.1. Cykl życia defektu676
27.2. Atrybuty defektu i ODC678
27.2.1. Atrybuty defektów678
27.2.2. ODC (Orthogonal Defect Classification)678
27.2.3. Przykładowe analizy przy użyciu ODC679
27.3. Metryki zarządzania incydentami681
27.4. Zawartość raportu o incydencie683
27.5. Komunikowanie incydentów684
CZĘŚĆ V. LUDZIE I NARZĘDZIA685
28. Ludzie i ich kompetencje – tworzenie zespołu687
28.1. Budowanie zespołu testowego688
28.1.1. Opis stanowiska689
28.1.2. Analiza CV691
28.1.3. Rozmowa kwalifikacyjna691
28.1.4. Asymilacja nowego członka zespołu694
28.1.5. Zakończenie zatrudnienia694
28.2. Rozwój zespołu testowego695
28.2.1. Indywidualny rozwój poszczególnych członków zespołu695
28.2.2. Wyznaczanie celów696
28.2.3. Dynamika zespołu testowego697
28.2.4. Określanie ról i odpowiedzialności699
28.2.5. Umiejętności zespołu jako całości: gap analysis700
28.2.6. Indywidualne osobowości i role w zespole702
28.2.7. Rozwój umiejętności i szkolenia705
28.2.8. Mentoring706
28.2.9. Okresowa ocena członków zespołu706
28.3. Przywództwo707
28.3.1. Zarządzanie a przywództwo707
28.3.2. Model zmiany według Satir707
28.3.3. Cechy charakteru lidera i zasady przywództwa708
28.3.4. Informowanie i komunikacja709
28.4. Poziomy niezależności zespołu testowego710
28.3.5. Lojalność, zaufanie i odpowiedzialność710
28.3.6. Budowanie zespołu710
28.5. Komunikacja712
29. Techniki pracy grupowej713
29.1. Proces podejmowania decyzji714
29.2. Techniki wspomagania kreatywności714
29.2.1. Burza mózgów714
29.2.2. NGT (Nominal Group Technique)715
29.3. Techniki porządkowania i priorytetyzacji716
29.2.3. Metoda analogii716
29.2.4. JAD (Joint Application Development)716
29.3.1. Diagram podobieństwa (affinity diagram)716
29.3.2. Macierz i graf priorytetyzacji717
29.4. Techniki szacowania i oceny719
29.3.3. Mapa myśli719
29.4.1. Wielokrotne głosowanie719
29.4.2. Metoda delficka i Wideband Delphi720
29.4.3. Poker planistyczny (planning poker)723
29.4.4. Model Saaty’ego (Analytic Hierarchy Process)724
29.5. Definiowanie problemu, przyczyny źródłowej lub możliwości726
29.5.1. Analiza pola sił (force field analysis)726
29.5.2. Immersja727
29.5.3. Diagram rybiej ości (diagram Ishikawy)728
30. Testowanie wspierane narzędziami730
30.1. Podstawowe zagadnienia związane z użyciem narzędzi731
30.1.1. Wybór odpowiedniego narzędzia732
30.1.2. Koszty wdrożenia narzędzia733
30.1.3. Ryzyka związane z wdrożeniem narzędzia734
30.1.4. Korzyści z wdrożenia narzędzia735
30.1.5. Strategie wdrażania automatyzacji736
30.1.6. Integracja i wymiana informacji między narzędziami736
30.1.7. Klasyfikacja narzędzi testowych737
30.2. Automatyzacja testów739
30.2.1. Czynniki sukcesu udanej automatyzacji739
30.2.2. Metryki dla automatyzacji testów740
30.3. Generyczna architektura automatyzacji testów741
30.3.1. Warstwa generowania testów743
30.3.2. Warstwa definiowania testów743
30.3.3. Warstwa wykonania testów743
30.3.4. Warstwa adaptacji testów744
30.3.5. Zarządzanie konfiguracją744
30.4. Automatyczna generacja danych testowych745
30.5. Metody i techniki automatyzacji testów747
30.5.1. Kroki procesu projektowania architektury747
30.5.2. Podejścia do automatyzacji przypadków testowych751
30.5.3. Podejście nagraj i odtwórz752
30.5.4. Skrypty linearne756
30.5.5. Skrypty zorganizowane759
30.5.6. Testowanie oparte na danych761
30.5.7. Testowanie oparte na słowach kluczowych763
30.5.8. Testowanie oparte na procesie767
30.5.9. Testowanie oparte na modelu769
30.5.10. Języki i notacje dla definicji testów770
30.6. Katalog narzędzi testowych777
30.6.1. Narzędzia do zarządzania testami778
30.6.2. Narzędzia do wykonywania/organizacji testów778
30.6.3. Narzędzia do testowania mutacyjnego, posiewu usterek i wstrzykiwania błędów779
30.6.4. Narzędzia do testów bezpieczeństwa779
30.6.5. Symulatory i emulatory779
30.6.6. Narzędzia do analizy statycznej i dynamicznej780
30.6.7. Narzędzia do testów wydajnościowych781
30.6.8. Narzędzia typu capture & replay781
30.6.9. Narzędzia do testów jednostkowych781
30.6.10. Testowanie w metodyce BDD782
30.6.11. Narzędzia dla testowania opartego na modelu783
30.6.12. Narzędzia do śledzenia defektów, zarządzania incydentami i raportowania783
30.7. Wdrażanie narzędzi w organizacji784
30.7.1. Cykl życia narzędzia784
30.7.2. Użycie narzędzi open source784
30.7.3. Przykładowe problemy związane z użyciem narzędzi786
CZĘŚĆ VI. UDOSKONALANIE PROCESU TESTOWEGO787
31. Kontekst udoskonalania procesu789
31.1. Po co udoskonalać?789
31.2. Co można udoskonalić?791
31.3. Spojrzenia na jakość793
31.3.1. Jakość oparta na produkcie793
31.3.2. Jakość oparta na użytkowniku793
31.3.3. Jakość oparta na wytwarzaniu794
31.3.4. Jakość oparta na wartości794
31.3.5. Jakość transcendentna794
31.4. Generyczny proces udoskonalania795
31.4.1. Cykl Deminga–Shewarta (PDCA)795
31.4.2. IDEAL797
31.4.3. Podstawowe zasady doskonałości (Fundamental Concepts of Excellence)799
31.5. Przegląd podejść do udoskonalania800
31.5.1. Podejścia oparte na modelu800
31.5.2. Podejścia analityczne803
31.5.3. Podejścia hybrydowe803
31.5.4. Inne podejścia do udoskonalania procesu testowego803
32. Udoskonalanie oparte na modelu806
32.1. Wprowadzenie806
32.2. Udoskonalanie procesów organizacyjnych i biznesowych807
32.2.1. TQM (Total Quality Management)808
32.2.2. ISO 9000809
32.2.3. EFQM Excellence Model809
32.2.4. Six Sigma810
32.2.5. Lean811
32.3. Udoskonalanie procesu produkcji oprogramowania812
32.3.1. CMMI812
32.3.2. ISO/IEC 15504814
32.3.3. ITIL (Information Technology Infrastructure Library)814
32.3.4. TSP (Team Software Process)815
32.3.5. BOOTSTRAP815
32.4. Udoskonalanie procesu testowego – modele referencyjne procesu816
32.4.1. TPI Next (Test Process Improvement)816
32.4.2. TMMi (Test Maturity Model integration)824
32.5. Udoskonalanie procesu testowego – modele referencyjne zawartości834
32.4.3. Porównanie TPI Next i TMMi834
32.5.1. STEP (Systematic Test and Evaluation Process)834
32.5.2. CTP (Critical Testing Processes)838
33. Podejście analityczne840
33.1. Wprowadzenie840
33.2. Analiza przyczynowa840
33.2.1. Opis metody840
33.2.2. Wybór elementów do analizy przyczynowej841
33.2.3. Zebranie i zorganizowanie informacji849
33.2.4. Identyfikacja przyczyny źródłowej przez analizę zebranych informacji850
33.2.5. Wyciągnięcie wniosków851
33.3. Podejście GQM (Goal–Question–Metric)852
33.3.1. Opis metody852
33.3.2. Fazy GQM852
33.3.3. Dwa paradygmaty metody GQM853
33.3.4. Wzorzec definiowania celu855
33.3.5. Siedem pytań855
33.3.6. Przykład856
33.4. Miary, metryki i wskaźniki857
34. Wybór metody usprawniania858
35. Proces udoskonalania860
35.1. Wprowadzenie860
35.2. Rozpoczęcie procesu doskonalenia861
35.2.1. Określenie powodu doskonalenia (stymulacja do zmiany)861
35.2.2. Ustanowienie celów dla doskonalenia testowania862
35.2.3. Określenie kontekstu865
35.2.4. Pozyskanie wsparcia866
35.2.5. Stworzenie infrastruktury dla procesu udoskonalania866
35.3. Diagnozowanie aktualnej sytuacji867
35.3.1. Scharakteryzowanie obecnego oraz pożądanego stanu procesu867
35.4. Ustanowienie planu doskonalenia procesu testowego869
35.3.2. Rekomendacje akcji naprawczych869
35.4.1. Ustanowienie priorytetów dla wdrażania planu doskonalenia869
35.4.2. Opracowanie podejścia do wdrożenia870
35.5. Działanie w celu wdrożenia udoskonaleń871
35.4.3. Zaplanowanie działań związanych z wdrożeniem871
35.5.1. Stworzenie rozwiązania872
35.5.2. Rozwiązania pilotażowe/testowe872
35.6. Wyciąganie wniosków z projektu doskonalenia testów873
35.5.3. Doprecyzowanie rozwiązania873
35.5.4. Zaimplementowanie rozwiązania873
35.6.1. Analiza i weryfikacja przeprowadzonych działań873
35.6.2. Propozycje przyszłych rozwiązań874
36. Organizacja, role i umiejętności875
36.1. Organizacja875
36.1.1. Zakres działań GPT875
36.1.2. Organizacja Grupy procesu testowego876
36.2. Role i umiejętności877
36.1.3. Właściwości Grupy procesu testowego877
36.2.1. Doskonalący proces testowy877
36.2.2. Główny oceniający879
36.2.3. Oceniający879
36.2.4. Umiejętności doskonalącego proces testowy880
37. Czynniki sukcesu883
CZĘŚĆ VII. JAKOŚĆ OPROGRAMOWANIA885
38. Czym jest jakość oprogramowania?887
38.1. Testowanie oprogramowania a jakość oprogramowania887
38.2. Model Kano888
38.3. Dojrzałość procesu i standardy jakości889
38.3.1. SPR890
38.4. Co mierzyć, jak mierzyć i po co mierzyć?891
38.3.2. Ocena Malcolma Baldridge’a891
39. Podstawy teorii pomiarów893
39.1. Metryka, miara, wskaźnik, pomiar893
39.2. Skale pomiarowe895
39.2.1. Skala nominalna895
39.2.2. Skala porządkowa896
39.2.3. Skala interwałowa897
39.2.4. Skala stosunkowa897
39.2.5. Podsumowanie rodzajów skal pomiarowych897
39.3. Typy metryk898
39.3.1. Metryka bezpośrednia (podstawowa)898
39.3.2. Suma/różnica898
39.3.3. Stosunek898
39.3.4. Proporcja899
39.3.5. Odsetek899
39.3.6. Miary iloczynowe899
39.4. Spójność i odpowiedniość pomiaru900
39.3.7. Tempo900
39.5. Błędy pomiarowe902
39.6. Podstawowe zasady analizy danych903
39.6.1. Miary tendencji centralnej903
39.6.2. Miary rozproszenia905
39.6.3. Korelacja i regresja liniowa906
39.6.4. Przyczynowość911
40. Narzędzia kontroli jakości913
40.1. Klasyfikacja narzędzi913
40.2. Rodzaje narzędzi oraz obszary ich zastosowań914
40.3. Statystyczna kontrola procesu914
40.3.1. Wykres przebiegu921
40.3.2. Karty kontrolne922
40.4. Wykres czasu cyklu928
40.5. Narzędzia analizy i zapobiegania przyczynom źródłowym928
40.5.1. 5 pytań „dlaczego?” i diagram „why–why”929
40.5.2. Macierz „jest–nie jest”930
40.5.3. Kaizen931
40.5.4. Poka yoke931
41. Metryki wielkości oprogramowania933
41.1. Metryki wolumenowe933
41.1.1. LOC934
41.1.2. Współczynnik produktywności języka936
41.1.3. Pomiar specyfikacji i projektu937
41.2. Metryki funkcjonalności938
41.2.1. Punkty funkcyjne938
41.2.2. Punkty obiektowe i rozszerzone punkty obiektowe945
41.2.3. Punkty cech945
41.2.4. Punkty przypadków użycia946
42. Metryki charakterystyk jakościowych949
42.1. Metryki dla funkcjonalności949
42.2. Metryki dla niezawodności950
42.3. Metryki dla użyteczności951
42.4. Metryki dla wydajności952
42.5. Metryki dla pielęgnowalności953
42.6. Metryki dla przenaszalności954
43. Metryki złożoności oprogramowania955
43.1. Metryki Halsteada955
43.2. Złożoność cyklomatyczna McCabe’a957
43.2.1. Gęstość złożoności cyklomatycznej959
43.2.2. ECC (Essential Cyclomatic Complexity)959
43.3. Konstrukcje składniowe962
43.4. Metryki struktur962
43.5. Metryki złożoności systemu963
43.5.1. Indeks utrzymywalności963
43.5.2. Metryka złożoności systemu Agrestiego–Carda–Glassa964
43.6. Metryki obiektowe966
43.6.1. Metryki Lorenza966
43.6.2. Metryki CK966
43.7. Metryki złożoności dokumentacji970
43.8. Metryki złożoności algorytmicznej971
44. Metryki i modele wysiłku972
44.1. Modele oparte na zgadywaniu i intuicji973
44.2. Modele oparte na dekompozycji973
44.3. Modele oparte na wiedzy eksperckiej974
44.4. Modele oparte na benchmarkach974
44.5. Modele oparte na porównaniu976
44.5.1. Porównanie proste (naiwne)976
44.5.2. Porównanie z uwzględnieniem różnic977
44.6. Modele parametryczne978
44.6.1. Tworzenie własnego modelu980
44.6.2. Model COCOMO II981
44.7. Łączenie modeli i uwagi na temat estymacji984
45. Metryki i modele dla defektów986
45.1. Natura defektów988
45.2. Metryki defektów989
45.3. Modele statyczne defektów991
45.3.1. Model wprowadzania/usuwania defektów991
45.3.2. Model fazowy993
45.3.3. Model dwufazowy994
45.3.4. Efektywność usuwania defektów i powstrzymanie fazowe995
45.3.5. Modele zmian w kodzie999
45.4. Modele dynamiczne defektów1001
45.4.1. Model Rayleigha1001
45.4.2. Model wykładniczy i S-kształtny1009
45.4.3. Model COQUALMO1010
45.5. Analiza mutacyjna1012
45.6. Metryki dynamicznej stylometrii1013
46. Metryki i modele przyrostu niezawodności1015
46.1. Wprowadzenie1015
46.2. Matematyczne podstawy teorii niezawodności1018
46.2.1. Funkcja niezawodności i funkcja awarii1018
46.2.2. Metryka MTTF (średniego czasu do awarii)1018
46.2.3. Rozkłady prawdopodobieństwa modelujące występowanie awarii1019
46.2.4. Rozkład wykładniczy i jego związek z metryką MTTF1019
46.2.5. Funkcja częstości awarii oraz ryzyko (hazard rate)1020
46.2.6. Prawdopodobieństwo awarii do czasu t1021
46.3. Modele przyrostu niezawodności1022
46.3.1. Model Jelinskiego–Morandy1023
46.3.2. Model niedoskonałego debugowania Goela–Okumoto1027
46.3.3. Niejednorodny model procesu Poissona Goela–Okumoto1027
46.3.4. Logarytmiczny model Poissona czasu wykonywania Musy–Okumoto1028
46.3.5. Model S-kształtny1029
46.3.6. Inne modele niezawodności1029
47. Metryki i modele dostępności1031
47.1. Dostępność1031
47.1.1. Dostępność ciągła a dostępność wysoka1032
47.1.2. Metody zwiększające dostępność systemu1033
47.1.3. Ilościowa miara dostępności i jej obliczanie1034
47.2. Odmładzanie oprogramowania1035
47.2.1. Powody degradacji i sposoby odmładzania oprogramowania1035
47.2.2. Wpływ odmładzania na dostępność systemu1036
48. Metryki dla procesu testowego1038
49. Metryki zadowolenia klienta1042
49.1. Proces pomiaru zadowolenia klienta1042
49.1.1. Wybór metody i sposobu przeprowadzenia badania1042
49.1.2. Opracowanie ankiety/kwestionariusza lub innego narzędzia badań1044
49.1.3. Wybór metody próbkowania1044
49.1.4. Wybór rozmiaru próby1045
49.1.5. Zebranie, opracowanie i analiza danych1047
49.2. Dział wsparcia klienta1049
50. Sposób prezentowania danych1051
50.1. Prezentowanie danych graficznych1051
50.2. Prezentowanie metryk1054
Dodatek A. Specyfikacja programu ELROJ1057
Dodatek B. Normy i standardy1061
Dodatek C. Matematyczny i teoretyczno-informatyczny1065
Dodatek D. Informacja o certyfikacji i egzaminach1077
Bibliografia1079
Skorowidz1095

1.3.SłynneprzykładyaWariioprogramoWania

zywaniaobecnościawariiwtestowanymprogramie,otyledebugowaniejestprocesem

usuwaniadefektówbędącychźródłemtychawarii,czylinaprawywadliwegooprogramo-

wania.Debugowaniejestoddzielnądyscyplinąinżynieriioprogramowania.Efektywne

debugowaniejestzwyklebardzotrudne.Teoriadebugowaniamabardzowielewyspecja-

lizowanych,skomplikowanychnarzędzisłużącychdoszybkiejanalizykoduorazizolacji

miejscazawierającegousterkę(patrznp.[16]).

1.3.

Słynneprzykładyawariioprogramowania

Wtympodrozdzialeprzedstawimysłynneprzykładyawariioprogramowania.Niektó-

resąśmieszne,innekosztowne,jeszczeinne–niestety–tragicznewskutkach.Każdy

znichstanowibardzopouczającąlekcjęmówiącąotym,jakważnejesttestowanieijak

poważneskutkiniesiezasobąjegobraklubniedbałewykonanie.Przykażdymprzy-

kładziezaznaczymy,jakietechnikitestowaniamogłybyćzastosowanetak,abyuniknąć

awarii.Technikitezostanąomówionedokładniewrozdziałach6–10.

DKrólLew”Disneya.W1994rokuDisneywydałnaświętaBożegoNarodzeniagrę

hKrólLew”napodstawieﬁlmuotymsamymtytule.Wowymczasiebyłtowielkihitki-

nowyiDisneyliczyłrównieżnadużezyskizesprzedażygry.Byłaonawydanawporozu-

mieniuzCompaqComputersjakopre-instalowanaaplikacjanalaptopachﬁrmy.Dzień

poWigiliicentrumwsparciatechnicznegoDisneyazostałozasypanelawinątelefonów

odzdenerwowanychklientów.Graniechciałasięuruchomićnakomputerachwięk-

szościklientów.Okazałosię,żeniezostałaprzetestowanananajbardziejpopularnych

konﬁguracjachsprzętowych,czyliniezostaławystarczającoprzetestowanapodkątem

przenaszalności.Możnabyłoużyćtutakichtechnikjakdrzewaklasyﬁkacjiczytestowa-

niekombinacyjne,np.testowaniepar.Awariataspowodowałaznaczneszkodywizerun-

kowepopularnejwytwórni.

RakietaAriane5.4czerwca1996rokuEuropejskaAgencjaKosmicznawystrzeliła

rakietęAriane5.Po39sekundachlotuoprogramowanierakietyuruchomiłoprocedu-

ręsamozniszczeniazewzględunaniespodziewanązmianętrajektoriilotu.Przyczyną

błędubyłakonwersjaliczby64-bitowejnaliczbę16-bitową[17],cospowodowałotzw.

błądoperandu.Konwertowanaliczbabyłazwiązanazwartościąprędkościhoryzontal-

nejiwpoprzedniejwersjirakiety,Ariane4,działałabezzarzutu.Niestety,wprzypadku

Ariane5,wartośćtejzmiennejmogłauzyskiwaćowielewyższewartościnaskutekin-

nejniżwAriane4trajektoriilotu.Większośćinstrukcjibyłachronionaprzedbłędami

przekroczeniawartości,jednakwtymprzypadkutonienastąpiło.Powodytegofaktusą

nieznane.Kosztcałejmisjito500milionówdolarów.Błądmożnabyłowykryć,stosując

statycznetechnikitestowania,takiejakprzeglądykoduoraztechnikidynamicznegote-

stowaniaopartegonaproﬁluoperacyjnym(czylioczekiwanysposóbużyciaoprogramo-

waniaprzezużytkownika).

AwariasieciAT&T.15stycznia1990rokunastąpiławielkaawariasiecitelekomuni-

kacyjnejwStanachZjednoczonych.Odgodziny2:25wnocycentrumoperacyjneAT&T

wBedminsterzaczęłoodbieraćkomunikatyostrzegawczezróżnychczęścisieci.Awaria

Brak wyników

Testowanie i jakość oprogramowania

Treść książki

Znajdź bibliotekę blisko siebie, i uzyskaj dostęp do ebooka w systemie IBUK Libra