Menu

ETL Testing Tutorial Data Warehouse Testing Tutorial (En komplet guide)

etl testing data warehouse testing tutorial

Prøv Vores Instrument Til At Fjerne Problemer

ETL-test / datalagerproces og udfordringer:

I dag skal jeg tage et øjeblik og forklare min test-broderskab om en af ​​de meget efterspurgte og kommende færdigheder til mine testervenner, dvs. ETL-test (Extract, Transform, and Load).

Denne tutorial giver dig en komplet idé om ETL-test, og hvad vi gør for at teste ETL-processen.

Komplette listevejledninger i denne serie:

Det er blevet observeret, at uafhængig verifikation og validering vinder et enormt markedspotentiale, og mange virksomheder ser dette nu som en potentiel forretningsgevinst.

ETL Testing _ Data Warehouse Testing - Tips, teknikker, proces og udfordringer

Kunderne har fået tilbudt et andet produktudbud med hensyn til servicetilbud, fordelt på mange områder baseret på teknologi, proces og løsninger. ETL eller datalager er et af de tilbud, der udvikler sig hurtigt og med succes.

ETL-proces

Gennem ETL-processen hentes data fra kildesystemerne, transformeres i henhold til forretningsregler og til sidst indlæses i målsystemet (datalageret). Et datalager er en forretningsomfattende butik, der indeholder integrerede data, der hjælper i forretningsbeslutningsprocessen. Det er en del af business intelligence.

Hvad du lærer:

Hvorfor har organisationer brug for datalager?

Organisationer med organiseret it-praksis ser frem til at skabe det næste niveau af teknologisk transformation. De forsøger nu at gøre sig meget mere operationelle med let at interoperere data.

Når det er sagt, er data den vigtigste del af enhver organisation, det kan være daglige data eller historiske data. Data er rygraden i enhver rapport, og rapporter er basislinjen, som alle de vigtige ledelsesbeslutninger træffes på.

De fleste af virksomhederne tager et skridt fremad for at konstruere deres datalager til at gemme og overvåge realtidsdata såvel som historiske data. At skabe et effektivt datalager er ikke et let job. Mange organisationer har distribuerede afdelinger med forskellige applikationer, der kører på distribueret teknologi.

ETL-værktøj anvendes til at foretage en fejlfri integration mellem forskellige datakilder fra forskellige afdelinger. ETL-værktøjet fungerer som en integrator, der udtrækker data fra forskellige kilder; transformere det til det foretrukne format baseret på forretningsomdannelsesreglerne og indlæse det i sammenhængende DB, der er kendt, er Data Warehouse.

Godt planlagt, veldefineret og effektivt testomfang garanterer en jævn konvertering af projektet til produktionen. En virksomhed får den virkelige opdrift, når ETL-processerne er verificeret og valideret af en uafhængig gruppe eksperter for at sikre, at datalageret er konkret og robust.

ETL- eller datalagertest er kategoriseret i fire forskellige engagementer uanset teknologi eller ETL-værktøjer, der anvendes:

  • Ny datavarehustestning - Ny DW er bygget og verificeret fra bunden. Dataindgang er taget fra kundens krav og forskellige datakilder, og nyt datalager bygges og verificeres ved hjælp af ETL-værktøjer.
  • Migrationstest - I denne type projekt vil kunden have en eksisterende DW og ETL, der udfører jobbet, men de ønsker at pakke nyt værktøj for at forbedre effektiviteten.
  • Ændringsanmodning - I denne type projekt tilføjes nye data fra forskellige kilder til en eksisterende DW. Der kan også være en betingelse, hvor kunden skal ændre deres eksisterende forretningsregel, eller de kan integrere den nye regel.
  • Rapporttest - Rapport er slutresultatet af ethvert datalager og det grundlæggende forslag, som DW bygger til. Rapporten skal testes ved at validere layout, data i rapporten og beregning.

ETL-proces

( Bemærk : Klik på billedet for at se det større)

ETL-test

ETL testteknikker

1) Test af datatransformation : Kontroller, at data er transformeret korrekt i henhold til forskellige forretningskrav og regler.

2) Kilde til måltællingstest : Sørg for, at antallet af poster, der er indlæst i målet, stemmer overens med det forventede antal.

3) Kilde til måledatatestning : Sørg for, at alle projicerede data indlæses i datalageret uden datatab og trunkering.

4) Test af datakvalitet : Sørg for, at ETL-applikationen afviser korrekt, erstatter med standardværdier og rapporterer ugyldige data.

5) Ydelsestest : Sørg for, at data indlæses i datalager inden for foreskrevne og forventede tidsrammer for at bekræfte forbedret ydelse og skalerbarhed.

hvordan man sammenligner filer i linux

6) Test af produktionsvalidering: Valider dataene i produktionssystemet og sammenlign dem med kildedataene.

7) Test af dataintegration : Sørg for, at data fra forskellige kilder er indlæst korrekt i målsystemet, og at alle tærskelværdier er kontrolleret.

8) Test af applikationsmigration : I denne test sikres det, at ETL-applikationen fungerer fint med at flytte til en ny kasse eller platform.

9) Data- og begrænsningskontrol : Datatype, længde, indeks, begrænsninger osv. Testes i dette tilfælde.

10) Kopi af datakontrol : Test, om der er duplikatdata til stede i målsystemerne. Kopierede data kan føre til forkerte analytiske rapporter.

Bortset fra de ovennævnte ETL-testmetoder udføres også andre testmetoder som systemintegrationstest, brugeraccepteringstest, inkrementel test, regressionstest, gentestning og navigeringstest for at sikre, at alt er glat og pålideligt.

ETL / Data varehus Testproces

I lighed med enhver anden test, der ligger under uafhængig verifikation og validering, gennemgår ETL også den samme fase.

  • Kravsforståelse
  • Validerer
  • Testestimering baseret på et antal tabeller, kompleksiteten af ​​regler, datamængde og udførelse af et job.
  • Testplanlægning baseret på input fra testestimering og forretningskrav. Vi skal her identificere, at hvad der er inden for omfanget, og hvad der er uden for omfanget. Vi ser også efter afhængigheder, risici og afbødningsplaner i denne fase.
  • Design af testcases og test scenarier fra alle tilgængelige input. Vi skal også designe kortlægningsdokumenter og SQL-scripts.
  • Når alle testsagerne er klar og er godkendt, fortsætter testteamet til at udføre præ-eksekveringskontrol og forberedelse af testdata til test
  • Endelig udføres udførelse, indtil exitkriterierne er opfyldt. Så eksekveringsfasen inkluderer kørsel af ETL-job, overvågning af jobkørsler, SQL-script-udførelse, logning af mangler, mangeltestning og regressionstest.
  • Efter vellykket afslutning udarbejdes en sammenfattende rapport, og lukningsprocessen udføres. I denne fase gives afmelding for at promovere jobbet eller koden til den næste fase.

De første to faser, dvs. kravforståelse og validering, kan betragtes som før-trin i ETL-testprocessen.

Så hovedprocessen kan repræsenteres som nedenfor:

hovedproces

Det er nødvendigt at definere teststrategi, som gensidigt skal accepteres af interessenter, inden den faktiske test påbegyndes. En veldefineret teststrategi vil sikre, at den korrekte tilgang er blevet fulgt for at opfylde testaspirationen.

ETL / Data Warehouse-test kan kræve, at man skriver SQL-sætninger i vid udstrækning af testteamet eller måske skræddersy den SQL, der leveres af udviklingsholdet. Under alle omstændigheder skal et testteam være opmærksom på de resultater, de forsøger at få ved hjælp af disse SQL-sætninger.

Forskel mellem database og datavarehustestning

Der er en populær misforståelse om, at databasetest og data varehus er ens, mens faktum er, at begge holder forskellige retninger i testningen.

  • Databasetest udføres ved hjælp af en mindre dataskala, normalt med OLTP-databaser (online transaktionsbehandling), mens datalagertest udføres med store mængder med data, der involverer OLAP-databaser (online analytisk behandling).
  • I databasetest injiceres normalt data konsekvent fra ensartede kilder, mens de fleste data kommer fra forskellige slags datakilder, som er sekventielt inkonsekvente, i datalagertestning.
  • Vi udfører generelt den eneste CRUD (Opret, læse, opdatere og slette) operation i databasetest, mens vi i datalager test bruger skrivebeskyttet (Vælg) operation.
  • Normaliserede databaser bruges i DB-test, mens demoraliseret DB bruges i datalagertest.

Der er en række universelle verifikationer, der skal udføres for enhver form for datalagertest.

Nedenfor er listen over objekter, der behandles som vigtige for validering i denne test:

  • Kontroller, at datatransformation fra kilde til destination fungerer som forventet
  • Kontroller, at forventede data føjes til målsystemet
  • Kontroller, at alle DB-felter og feltdata er indlæst uden afkortning
  • Bekræft datakontrolsum for matchning af optælling
  • Kontroller, at der for afviste data genereres korrekte fejllogfiler med alle detaljer
  • Bekræft NULL-værdifelter
  • Kontroller, at duplikatdata ikke er indlæst
  • Bekræft dataintegritet

=> Kend til forskel mellem ETL / Data warehouse testing & Database Testing .

ETL-testudfordringer

Denne test er meget forskellig fra konventionel test. Der er mange udfordringer, vi stod overfor, når vi udførte datalagertest.

Her er få udfordringer, jeg har oplevet på mit projekt:

  • Uforenelige og duplikerede data
  • Tab af data under ETL-processen
  • Utilgængelighed af den inkluderende testbed
  • Testere har ingen privilegier til at udføre ETL-job alene
  • Volumen og kompleksitet af data er meget enorme
  • Fejl i forretningsprocesser og procedurer
  • Problemer med at indhente og oprette testdata
  • Ustabilt testmiljø
  • Manglende oplysninger om forretningsstrøm

Data er vigtige for virksomhederne for at tage de kritiske forretningsbeslutninger. ETL-test spiller en væsentlig rolle ved validering og sikring af, at forretningsoplysningerne er nøjagtige, konsekvente og pålidelige. Det minimerer også faren for datatab i produktionen.

Håber disse tip hjælper med at sikre, at din ETL-proces er nøjagtig, og datalageropbygningen ved dette er en konkurrencemæssig fordel for din virksomhed.

Komplet liste over ETL-testvejledninger:

Dette er et gæstepost af Vishal Chhaperia, der arbejder i et MNC i en testledelsesrolle. Han har omfattende erfaring med at styre multiteknologi QA-projekter, processer og teams.

Har du arbejdet med ETL-test? Del dine ETL / DW testtips og udfordringer nedenfor.

Anbefalet læsning

^