Menu

8 nøgleindikatorer for kvalitetsudgivelser (Panaya Test Dynamix Review)

8 key performance indicators

Prøv Vores Instrument Til At Fjerne Problemer

Denne artikel forklarer 8 nøgleindikatorer for kvalitetsudgivelser ved hjælp af Panaya Test Dynamix end-to-end testløsning:

Det er ingen hemmelighed, at softwarekvalitetsledere står over for et stigende pres for at levere software af høj kvalitet med rekordhastighed.

Spørgsmålet, som vi ofte stiller, er - 'hvordan måler vi vores succes' med hensyn til softwarekvalitet?

Speed-to-market er en meget enklere beregning, men måling af vores præstationer i levering af software af høj kvalitet afhænger af en lang række faktorer som projektmetoden (vandfald, hybrid, smidig), softwarens kompleksitet, niveauet for teknisk involveret gæld, antallet af grænseflader og meget mere.

I en nøddeskal, antallet af variabler, der spiller ind på et acceptabelt niveau af høj sværhedsgrad defekter bør ikke undervurderes. Derfor, for at overleve på denne markedsplads, skal vi udvikle os kontinuerligt, både i vores meninger og vores målestokke.

Derfor har jeg udviklet denne liste over top 8 KPI'er, som du skal føje til dit Quality Scorecard og begynde at spore for at mindske frigørelsesrisiko, forbedre kvalitet og måle din succes med det samme.

Nøgleindikatorer

Hvad du lærer:

Nøgleindikatorer for kvalitetsudgivelser

# 1) Effektivitet ved detektering af fejl (DDE, AKA-detektionsprocent)

Dette er et mål for din samlet regressionstest effektivitet. Det beregnes som et forhold mellem mangler fundet før og efter frigivelse af dine kunder.

Mangler fundet efter frigivelse er typisk kendt som “Hændelser” og er logget i et helpdesk-system, mens de mangler, der blev fundet i testfaserne ( For eksempel. , Enhed, System, Regression eller UAT) identificeres inden frigivelse og dokumenteres med værktøjerne som f.eks Panaya Test Dynamix .

For at beregne denne KPI korrekt skal du altid kategorisere den softwareversion, som hver defekt blev identificeret inden, inden den frigives i dit produktionsmiljø.

Formlen, der ofte bruges til DDE:

Antal fejl identificeret i softwareversion frigivelse /

Antal fejl i softwareudgivelse + undslipte fejl identificeret af slutbrugere (For eksempel., Hændelser)

sql udvikler interview spørgsmål til 2-3 års erfaring

Her er en simpel illustration:

Antag, at der blev fundet 95 defekter under din regressionstestcyklus på den sidste månedlige SAP Service Pack, og 25 defekter blev logget efter frigivelsen. DDE beregnes som 95 divideret med (95 + 25) = 79%.

Husk, at DDE skal overvåges med et linjediagram, der starter 100% dagen efter frigivelse til produktion. Og når dine interne slutbrugere og kunder begynder at arbejde med din seneste SAP-servicepakke som et eksempel, logger de uundgåeligt et par hændelser.

Det har været min erfaring, at en 'fodringsvanskab' opstår inden for den første uge to dage efter, at en Service Pack rammer det produktive miljø. Det er her, du vil bemærke et hurtigt fald fra 100% til ca. 95%, når hændelser logges. Hvis din virksomhed har en månedlig Service Pack-frigivelseskadence, skal du måle DDE i en 30-dages periode på hver Service Pack.

På den anden side, hvis din virksomhed kun kører fire (4) større frigivelsescyklusser om året, skal du måle den i 90 dage for at se, hvordan den falder i løbet af denne tidsperiode.

Hvad betragtes som en 'god DDE'?

Det ligner de blodtryksmålinger, som enhver organisation og person udvikler sig over tid.

Selvom det medicinske samfund definerer den 'optimale' blodtryksmåling til at være 120/80 - er det naturligt at se en stigning i det systoliske blodtryk, når vi bliver ældre. Med DDE har industripraktikere og tankeledere været kendt for at sige, at 90% er prisværdigt i de fleste brancher.

Imidlertid har jeg set organisationer opnå> 95% DDE på et ensartet grundlag ved at skifte til venstre med ændringseffekt-simuleringsværktøjer som f.eks Panayas virkningsanalyse .

# 2) System-Wide Defects (SWD)

Har du nogensinde stødt på flere defekter, der er forbundet med de samme objekter? Det ville du helt sikkert have. Det er et almindeligt fænomen, som mange testledere støder på.

Pludselig ser du en enorm stigning i antallet af fejl rapporteret i en UAT-cyklus. Heldigvis vil jeg vædde på, at du er af den type, der overvåger defekter hvert 15. minut og manuelt 'linker' duplikaterne sammen eller læser igennem hver eneste beskrivelse for at skelne årsagen til dig selv, ikke? Tvivlsom.

Så hvad er dine muligheder for at styre det uundgåelige drama om 'defekt inflation?'

Dramaet, der opstår på den natlige sammenfatning med ledelsen i hovedkvarteret om 'Hvorfor en så pludselig stigning i mangler i dag?' (Pause ... Dyb indånding, før du reagerer) ... ”Jeg er i færd med at arbejde med vores funktionelle kundeemner for at udføre en manuel rodårsagsanalyse.

Men vi tror, ​​at mange af problemerne vedrører et fælles problem, men det er endnu ikke blevet identificeret ”, lyder bekendt?

Mit forslag er, at du begynder at spore, hvad Panaya kalder “System-wide defects” . At spore dette manuelt tager for evigt - tro mig, jeg har prøvet det mange gange. Det er også smertefuldt at gøre, når du bruger ældre ALM-værktøjer, hvor alt, hvad du har tilbage, er evnen til at forbinde manglerne med hinanden og tilføje en kommentar.

Wow, det hjalp virkelig! (fornemme sarkasmen?). Men hvis du ikke har et valg i værktøjer nu, bliver du nødt til at afsætte tiden til korrekt at spore systembrede defekter for tydeligt at 'forklare væk'? hvorfor bug trendlinjen bevæger sig opad mod slutningen af ​​en testcyklus snarere end ned.

Hvis du får en chance, skal du tjekke Panaya Test Dynamix, den har SWD indbygget i selve motoren, som automatisk beregner SWD for dig on-the-fly.

Systemdefekt

Spindelnettet - Bosat inden for denne risikos cockpit, er dette en kraftfuld, men alligevel enkel gengivelse af de 6 ekstra nøgleydelsesindikatorer, der afrunder de vigtigste KPI'er, som enhver kvalitets-, test- og frigivelsesmanager skal spore.

# 3) Afslutning af krav

QA-ledere forstår risikoen på et dybere niveau, der kun kan realiseres med en kode eller synlighed på transportniveau rullet op til hvert krav. Dette kræver det rigtige sæt værktøjer.

Panaya-værktøjet vil imødekomme behovene hos SAP-drevne organisationer, der søger intelligente forslag til enhedstest og risikoanalyse baseret på transportaktivitet.

Dette niveau af sporing er tilgængeligt inden for Panaya Release Dynamix (RDx) .

Afslutning af krav

# 4) Udførelse af udvikling

Vi lever i en æra, hvor kunderne er kongen, og dette driver enhver organisations digitale transformationsstrategi. I dag og tid har vi ikke råd til at blive tømt for vores tankegang eller vores organisatoriske tilgang til softwarekvalitetssikring og -levering.

Vores traditionelle ALM-modeller fra før var ikke designet til nutidens kontinuerlige leveringsmodel. For at bekæmpe denne gamle tankegang skal QA og testledere integrere sig i handlingen med applikationsudvikling, hvilket betyder at have en puls på leveringen af ​​brugerhistorier.

Det er ikke nok at 'sidde og vente' på, at en brugerhistorie når den færdige status. Vi skal snarere følge udviklingen i en brugerhistorie, deltage i daglige Scrum-møder og tale åbent om de risici, der udfolder sig med vigtige ændringer, der foretages i applikationen, der testes.

# 5) Testplandækning

Dette er en af ​​mine foretrukne KPI at spore, fordi jeg ikke er henvist til at spore systemet, integration, regression og UAT-dækning alene.

I den ægte ånd med at skifte til venstre er jeg begyndt at rådgive om vigtigheden af ​​at spore enhedens testdækning. Det lyder skørt, ikke? Det er ikke, især hvis du har de rigtige værktøjer til at gøre udførelsen af ​​enhedstest alene let, men gør det endda lettere at registrere de faktiske resultater (bevis).

Med Panaya Test Dynamix's indbyggede testoptagelses-og-afspilningsfunktion aktiveret, vil din deltagelse i enhedstest skyde i luften. Du kan ikke kun med stolthed vise en kravsporbarhedsmatrix, der viser en ende-til-slut-dækning, men vil også let vise de faktiske resultater til din revisionsafdeling fra enhed til regressionstest.

Sporbarhedskrav

# 6) Ændringsrisikoanalyse

En risiko er forbundet med enhver ændring, vi foretager i en applikation, der testes, men vi ved ikke altid, om vi tester de rigtige ting.

Mange organisationer har deres egen definition af, hvad 'ændringsrisiko' betyder for dem. Inden for 'Risk Cockpit' i Panaya's Release Dynamix (RDx) kan du tage gættet ud af at spore ændringerne med en konsekvensanalyse for dit projekt eller næste udgivelse.

RDx beregner systematisk risikoen for hvert krav og holder dig ajour med, hvordan det ændres, når du bevæger dig længere ind i leveringens livscyklus.

Ændre risikoanalyse

# 7) Testudførelsesrisiko

Det er for almindeligt for alle organisationer at spore KPI'er som forfattertest, bestået test, automatiserede tests og udførte tests, men hvad med at spore de faktiske trin udført inden for hver af testene?

Har du nogensinde bemærket, at mange af de populære ALM-platforme giver ikke out-of-the-box rapporteringsfunktioner til at spore test 'trin' udførelsesfremskridt? Når du har mange forskellige 'hand-offs', der forekommer på tværs af en UAT-cyklus , er det fornuftigt at spore testudførelsesrisiko og status, ikke kun på testniveau, men også på forretningsprocesniveau.

Panaya Test Dynamix gør det bare uden for kassen.

risiko for testudførelse

# 8) Fejludførelse

Sporingsfejl har i sig selv også en negativ konnotation.

Ud over at spore aktive mangler, defekter, der er rettet pr. Dag afviste mangler og alvorlige mangler, foreslår vi også at overvåge løsningen af ​​mangler, da de vedrører scoped-in-krav.

Mange organisationer har ikke et kravdrevet syn på mangelopløsning.

Hvorfor denne løsning til testning?

software engineering interview spørgsmål og svar pdf

Med en ende-til-ende sporbarhed indbygget i både Release Dynamix og Panaya Test Dynamix kan din organisation spore workflowet for defektopløsning fra start til slut på kravniveauet.

Dette er især nyttigt til frigivelse, kvalitet og testadministratorer, der søger et fugleperspektiv af et projekt eller en frigivelsescyklus.

Panaya fremskynder testprocessen for tekniske it- og forretningsbrugere og reducerer dermed den samlede testindsats med 30-50%:

  • Ledere: Realtidsadvarsler til test og mangler og forebyggelse af flaskehalse.
  • Forretningsbrugere: Automatiseret dokumentation af testbeviser og mangler.
  • Funktionelle analytikere: Automatisering af gentagne testaktiviteter.
  • Professionelle testere: Forbedrer problemfri registrering af forretningskendskab problemfrit.
  • Fejlløsere: Reducerer frem og tilbage med testerne.

Hvad skal du ellers vide om denne løsning

# 1) Panaya Test Dynamix er en SaaS-løsning hvilket betyder, at du får problemfri integration, hyppige og smertefri opgraderinger samt overvågning af lokale automatiseringsværktøjer.

# 2) Indbyggede samarbejdsværktøjer strømline testcyklusser med indbyggede meddelelser og kommunikationsværktøjer.

Automatisk aflevering af testtrin til den næste bruger eliminerer inaktiv tid, aflaster arbejdsbelastningsflaskehalse og sikrer optimale arbejdsgange.

# 3) Smart defektstyring giver brugerne mulighed for centralt at overvåge mangler, deres løsning og de forretningsprocesser, der er berørt af dem.

Når der findes en defekt, identificeres automatisk alle de andre test, der er berørt af den, og blokerer eller sender meddelelser til testere, indtil hovedfejlen er løst. Den løste fejl lukkes automatisk ved at eliminere mangelfuld efterslæb.

# 4) Med en forretningsprocescentreret tilgang til UAT og SIT, tværfunktionelle og geografisk spredte emneeksperter validerer UAT-cyklusser baseret på de faktiske forretningsprocesser (pakkede applikationer).

# 5) Test automatiseringsstik give en komplet integration af Panaya Test Dynamix med de eksisterende automatiseringsværktøjer til effektive regressionscyklusser på et minimum af tid og kræfter med holistiske sporings- og overvågningsfunktioner.

# 6) Testbevisautomatisering automatiserer manuel test, der traditionelt administreres i Excel og Word.

Sparer tid ved ubesværet at dokumentere hver testudførelse - inklusive testbevis og en registrering af trin til testreproduktion, samtidig med at man reducerer frem og tilbage mellem udviklere og testere. Dokumentation er revisionsklar , sikrer overholdelse af alle interne og eksterne kvalitetsstandarder.

# 7) Autonom testningSM til SAP muliggør zero touch-oprettelse og vedligeholdelse af testtilfælde, så du ikke længere behøver at håndtere de smerter, der er forbundet med erhvervsmæssig videnopsamling og processen med at oprette og vedligeholde manuelt konstruerede scripts.

Scripts kan tilpasses, mens maskinindlæring tilbyder validering og forslag baseret på crowd-analyse.

# 8) Automatiseret erhvervsvidenfangst - Omega opretter automatisk testsager i virkeligheden baseret på forretningsbrugeraktiviteter, der er problemfrit fanget i produktionen ved hjælp af maskinlæringsalgoritmer (SAP).

Konklusion

Software Quality Managers og alle relevante interessenter kan opfylde deres test-KPI'er for at skabe mere innovation og samtidig reducere indsatsen med 30-50% uden at gå på kompromis med omfanget eller kvaliteten ved hjælp af Panaya.

Standardiserer testprocessen og måler succes, da alle interessenter anvender den samme testmetode for at få synlighed i realtid over alle testcyklusser, inklusive UAT i stor skala.

For mere information kan du udforske Panaya Test Dynamix .

Fortæl os dine tanker / spørgsmål i kommentarerne nedenfor.

Anbefalet læsning

^