ETL vs. DB-test - Et nærmere kig på ETL-testbehov, planlægning og ETL-værktøjer

etl vs db testing closer look etl testing need

Softwaretest har en række områder, der skal koncentreres. Hovedvarianter er funktionel og ikke-funktionel test. Funktionstest er den proceduremæssige måde at sikre, at den udviklede funktionalitet fungerer som forventet. Ikke-funktionel test er den tilgang, hvormed de ikke-funktionelle aspekter som forbedret eller ydeevne på et acceptabelt niveau kan sikres.

Der er en anden smag af test kaldet DB-test . Data er organiseret i databasen i form af tabeller. For erhvervslivet kan der være strømme hvor dataene fra de flere tabeller kan flettes eller behandles til en enkelt tabel og omvendt.

ETL-test er hinanden slags test, der foretrækkes i forretningssagen, hvor kunderne søger en slags rapporteringsbehov. Rapporteringen søges for at analysere kravene, behovene og udbuddet, så kunder, virksomheder og slutbrugere er meget godt tjent og nydt godt.

Hvad vil du lære i denne vejledning?

I denne vejledning lærer du, hvad der er databasetest, hvad der er ETL-test, en forskel mellem DB-test og ETL-test og flere detaljer om ETL-testbehov, proces og planlægning med reelle eksempler.

Vi har også dækket ETL-test mere detaljeret på nedenstående side. Se også på det.

=> ETL Test / Data Warehouse Test Tips og teknikker

Hvad du vil lære:

• DB-test vs. ETL-test
  • Sammenlignende undersøgelse af ETL- og DB-test
  • Hvorfor skal virksomheden gå efter ETL?
  • ETL-testplanlægning
  • Kritiske ETL-behov
  • Grundlæggende problemer i ETL-test
  • Point at huske mens ETL-testplanlægning og -udførelse
  • ETL-værktøjer og deres betydelige anvendelse
  • Konklusion
  • Anbefalet læsning

DB-test vs. ETL-test

De fleste af os er lidt forvirrede over at overveje, at både databasetest og ETL-test er ens og de samme. Faktum er, at de er ens, men ikke de samme.

DB-test:

DB-test bruges normalt meget i forretningsstrømmene, hvor der forekommer flere datastrømme i applikationen fra flere datakilder til en enkelt tabel. Datakilden kan være en tabel, en flad fil, en applikation eller noget andet, der kan give nogle outputdata.

Til gengæld kan de opnåede outputdata stadig bruges som input til den sekventielle forretningsstrøm. Derfor, når vi udfører DB-test, er det vigtigste, der skal fanges, den måde, dataene kan blive transformeret fra kilden sammen med, hvordan de bliver gemt på destinationsplaceringen.

Synkronisering er en vigtig, og det væsentlige, der skal tages i betragtning, når du udfører DB-test. På grund af applikationens placering i det arkitektoniske flow kan der være få problemer med data- eller DB-synkronisering. Derfor skal dette tages hånd om under udførelsen af ​​testen, da dette kan overvinde potentialet ugyldige mangler eller bugs.

Eksempel nr. 1:

Projekt 'A' har integreret arkitektur, hvor den bestemte applikation bruger data fra flere andre heterogene datakilder. Derfor skal integriteten af ​​disse data med destinationsplaceringen udføres sammen med valideringerne for følgende:

• Validering af primær fremmed nøgle
• Kolonne værdier integritet
• Nulværdier for alle kolonner

Hvad er ETL-test?

ETL Testing er en speciel type test, som klienten ønsker at have det gjort til deres prognoser og analyse af deres forretning. Dette bruges mest til rapporteringsformål. For eksempel, hvis kunderne skal have rapporteret om de kunder, der bruger eller går efter deres produkt baseret på den dag, de køber, er de nødt til at gøre brug af ETL-rapporterne.

Stolpe analyse og rapportering , disse data er datalageret til et datalager, hvor de gamle historiske forretningsdata skal flyttes.

bedste salgssystem til iPad

Dette er en test på flere niveauer, da dataene fra kilden omdannes til flere miljøer, inden de når den endelige bestemmelsessted.

Eksempel 2:

Vi vil overveje en gruppe 'A', der driver detailkundeforretning gennem et shoppingmarked, hvor kunden kan købe de husholdningsartikler, der er nødvendige for deres daglige overlevelse. Her får alle de besøgende kunder et unikt medlemskabs-id, som de kan få point hver gang de kommer for at købe ting fra shoppingmarkedet.

De regler, der er leveret af gruppen, siger, at de opnåede point udløber hvert år. Og afhængigt af deres anvendelse kan medlemskabet enten opgraderes til et medlem af højere klasse eller nedgraderes til et medlem af lavere klasse sammenlignet med den nuværende karakter.

Efter 5 års shoppingmarkedsetablering leder ledelsen efter at skalere deres forretning sammen med indtægter.

Derfor krævede de få forretningsrapporter, så de kunne promovere deres kunder.

I databasetest udfører vi følgende:

# 1) Valideringer på måltabellerne, der er oprettet med kolonner med logiske beregninger som beskrevet i det logiske kortlægningsark og datarutedokumentet.

#to) Manipulationer som indsættelse, opdatering og sletning af kundedata kan udføres på enhver slutbruger POS-applikation i et integreret system sammen med backend-databasen, så de samme ændringer afspejles i slutsystemet.

# 3) DB-test skal sikre, at der ikke er kundedata, der er fejlagtigt fortolket eller endda afkortet. Dette kan føre til alvorlige problemer som forkert kortlægning af kundedata med deres loyalitet

I ETL-test kontrollerer vi for følgende:

# 1) Forudsat at der er 100 kunder i kilden, vil du kontrollere, om alle disse kunder sammen med deres data fra de 100 rækker er flyttet fra kildesystemet til målet. Dette er kendt som verifikation af Datafuldstændighedskontrol.

#to) Kontrollerer, om kundedataene er korrekt manipuleret og demonstreret i de 100 rækker. Dette kaldes simpelthen verifikation af Datanøjagtighedskontrol .

# 3) Rapporter for de kunder, der har fået point mere end x-værdier inden for en bestemt periode.

Sammenlignende undersøgelse af ETL- og DB-test

ETL- og DB-test har få af de aspekter, der adskiller sig i sig selv, hvilket er mere vigtigt at forstå, før de udføres. Dette hjælper os med at forstå testens værdier og betydning og den måde, det hjælper virksomheden på.

Følgende er en tabelformular, der beskriver den grundlæggende opførsel af begge testformater.

Hvorfor skal virksomheden gå efter ETL?

Der er masser af forretningsbehov til rådighed for dem at overveje ETL-test. Hver virksomhed skal have sin unikke mission og branche. Alle forretninger har sin produktlivscyklus, der tager den generiske form:

Det er meget klart, at ethvert nyt produkt kommer ind på markedet med en enorm vækst i salget og indtil et stadium kaldet modenhed og derefter falder i salget. Denne gradvise ændring vidner om et klart fald i forretningsvæksten. Derfor er det vigtigere at analysere kundernes behov for forretningsvæksten og andre faktorer, der kræves for at gøre organisationen mere rentabel.

Så i virkeligheden ønsker klienterne at analysere de historiske data og komme med nogle rapporter strategisk.

ETL-testplanlægning

Et af hovedtrinene i ETL-test handler om planlægning af den test, der skal udføres. Det vil ligne Testplan for systemtest der udføres normalt undtagen få attributter som krav og testcases.

Her er kravene ikke andet end a kortlægningsark der vil have en slags kortlægning mellem data inden for forskellige databaser. Som vi er opmærksomme på, at ETL-testen finder sted på flere niveauer, er der forskellige tilknytninger nødvendige for at validere dette.

For det meste er dataene fanget fra kildedatabaserne ikke direkte. Alle kildedata har oversigten over tabellerne, hvorfra dataene kan bruges.

Eksempel: Følgende er et eksempel på, hvordan kortlægningerne kan leveres. De to kolonner VIEW_NAME og TABLE_NAME kan bruges til at repræsentere visningerne til læsning af data fra henholdsvis kilden og tabellen i ETL-miljøet.

Det tilrådes at opretholde navngivningskonventionen, der kan hjælpe os, mens vi planlægger at automatisere. Generisk notation, der kan bruges, er bare forud for navnet på miljøet.

Den mest vigtige ting i ETL handler om at identificere de væsentlige data og tabellerne fra kilden. Det næste vigtige trin er kortlægningen af ​​tabeller fra kilden til ETL-miljøet.

Følgende er et eksempel på, hvordan kortlægningen mellem tabellerne fra de forskellige miljøer kan relateres til ETL-formålet.

Ovenstående kortlægning antager dataene fra kildetabellen til iscenesættelsestabellen. Og fra da af til bordene i EDW og derefter til OLAP hvilket er det endelige rapporteringsmiljø. Derfor er datasynkronisering på ethvert tidspunkt meget vigtig for ETL's skyld.

hvad er den bedste downloader til musik til pc

Kritiske ETL-behov

Som vi forstår, er ETL behovet for prognoser, rapportering og analyse af forretningen for at fange kundens behov på en mere successiv måde. Dette vil gøre det muligt for virksomheden at have højere krav end tidligere.

Her er få af de kritiske behov, uden hvilke ETL-test ikke kan opnås:

1. Data og tabeller identifikation : Dette er vigtigt, da der kan være mange andre irrelevante og unødvendige data, der kan være mindst vigtige, når man forudsiger og analyserer kundens behov. Derfor skal de relevante data og tabeller vælges, før ETL-værker startes.
2. Kortlægningsark : Dette er et af de kritiske behov, når man laver ETL-værker. Kortlægning af den rigtige tabel fra kilden til destinationen er obligatorisk, og eventuelle problemer eller forkerte data i dette ark kan påvirke hele den leverede ETL.
3. Tabeldesign og data, kolonnetype : Dette er det næste store trin, når man overvejer kortlægning af kildetabeller til de bestemte tabeller. Kolonnetypen skal matche bordene begge steder osv.
4. Adgang til database : Det vigtigste er adgang til den database, hvor ETL fortsætter. Eventuelle begrænsninger i adgangen vil have en tilsvarende indvirkning.

ETL rapportering og test

Rapportering i ETL er vigtigere, da det forklarer og dirigerer de kunder, kunden har brug for. Ved dette kan de forudsige og analysere de nøjagtige kundebehov

Eksempel 3:

Et firma, der fremstiller silke, ønskede at analysere deres årlige salg. Ved gennemgang af deres årlige salg fandt de i august og september måned, at der var et enormt fald i salget ved brug af den rapport, de genererede.

Derfor besluttede de at udrulle reklametilbudet som udveksling, rabatter osv., Der forbedrede deres salg.

Grundlæggende problemer i ETL-test

Der kan være en række problemer under udførelse af ETL-test som følgende:

• Enten er adgangen til kildetabellerne eller visningerne ikke gyldige.
• Kolonnenavnet og datatypen fra kilden til det næste lag stemmer muligvis ikke overens.
• Et antal poster fra kildetabellen til den angivne tabel er muligvis ikke ens.

Og der kan være meget mere.

Følgende er et eksempel på kortlægningsark, hvor der er kolonner som VIEW_NAME, COLUMN_NAME, DATA_TYPE, TABLE_NAME, COLUMN_NAME, DATA_TYPE og TRANSFORMATION LOGIC.

De første 3 kolonner repræsenterer detaljerne i kildedatabasen, og de næste 3 er detaljerne for den umiddelbart foregående database. Den sidste kolonne er meget vigtig. Transformationslogik er den måde, hvorpå data fra kilden læses og lagres i den bestemte database. Dette afhænger af forretnings- og ETL-behov.

Point at huske, mens ETL-testplanlægning og -udførelse

Det vigtigste ved ETL-test er indlæsning af data baseret på ekstraktionskriterier fra kilden DB. Når dette kriterium er ugyldigt eller forældet, vil der ikke være nogen data i tabellen til at udføre ETL-test, der virkelig bringer flere problemer med.

Følgende er et par af de punkter, der skal tages hånd om, mens ETL-testplanlægning og -udførelse:

# 1) Data udvindes fra de heterogene datakilder
#to) ETL-proceshåndtering i det integrerede miljø, der har forskellige:

• DBMS
• DU
• Hardware
• Kommunikationsprotokoller

# 3) Nødvendigheden af ​​at have et logisk datakorteark, før de fysiske data kan transformeres
# 4) Forståelse og undersøgelse af datakilderne
# 5) Indledende belastning og den inkrementelle belastning
# 6) Revisionskolonner
# 7) Indlæser fakta og dimensioner

ETL-værktøjer og deres betydelige anvendelse

ETL-værktøjer bruges dybest set til at opbygge og konvertere transformation logik ved at føre data fra kilden til en anden, der anvender transformationslogikken. Du kan også kortlægge skemaerne fra kilden til destinationen, som forekommer på unikke måder, transformere og rydde op i data, før de kan flyttes til destinationen sammen med indlæsning på destinationen på en effektiv måde.

Dette kan reducere den manuelle indsats betydeligt, da kortlægningen kan udføres, der bruges til næsten al ETL-validering og verifikation.

ETL-værktøjer :

1. Informatik - PowerCenter - er et af de populære ETL-værktøjer, der er introduceret af Informatica Corporation. Dette har en meget god kundebase, der dækker store områder. De vigtigste komponenter i værktøjet er dets værktøjer til klienter og arkiveringsværktøjerne og serverne. Klik på for at vide mere om værktøjet her
2. IBM - Infosphere Information Server - IBM, der er markedsleder inden for computerteknologi, har udviklet Infosphere Information-serveren, der blev brugt til informationsintegration og -styring i år 2008. For at vide mere om værktøjet skal du klikke her
3. Oracle - dataintegrator - Oracle Corporation har udviklet sit ETL-værktøj i navnet Oracle - Data Integrator. Deres stigende kundesupport har fået dem til at opdatere deres ETL-værktøjer i forskellige versioner. Klik på for at vide mere om værktøjet her

Flere eksempler på brugen af ​​ETL-test:

I betragtning af nogle flyselskaber, der ønsker at implementere kampagner og tilbud om at tiltrække kunderne strategisk. For det første vil de forsøge at forstå kravene og behovene i kundens specifikationer. For at opnå dette vil de kræve de historiske data, helst de foregående 2 års data. Ved hjælp af data analyserer de og udarbejder nogle rapporter, der kan hjælpe med at forstå kundernes behov.

Rapporterne kan være af følgende art:

1. Kunder fra region A, der rejser til region B på bestemte datoer
2. Kunder med et specifikt alderskriterium rejser til by XX

Og der kan være mange andre rapporter.

Analysering af disse rapporter hjælper klienterne med at identificere den slags kampagner og tilbud, der kommer kunderne til gode og samtidig kan gavne virksomheder, hvor dette kan blive en Win-Win-situation. Dette kan let opnås ved ETL-test og rapporter.

forretningsanalytiker interview spørgsmål og svar ppt

Parallelt står IT-segmentet over for et seriøst DB-problem, der er blevet bemærket, der har stoppet flere tjenester, som igen har potentiale til at forårsage påvirkninger i virksomheden. Efter undersøgelsen blev det identificeret, at nogle ugyldige data har ødelagt et par databaser, der skulle rettes manuelt.

I det tidligere tilfælde er det ETL-rapporter og test, der kræves.

Mens sidstnævnte tilfælde er, hvor DB-testen skal udføres ordentligt for at løse problemer med ugyldige data.

Konklusion

Håber ovenstående tutorial har givet et simpelt og klart overblik over, hvad ETL-test er, og hvorfor det skal gøres sammen med de forretningseffekter eller fordele, de giver. Dette stopper ikke her, men det kan udvides til at sætte fremsyn for vækst i erhvervslivet.

Om forfatteren: Denne tutorial er skrevet af Nagarajan. Han er en testleder med over 6 års erfaring med softwaretest inden for forskellige funktionelle områder som bank, luftfartsselskaber og telekommunikation med hensyn til både manuel og automatisering.

Fortæl os dine tanker / spørgsmål i kommentarerne nedenfor.

Anbefalet læsning

• ETL Testing Interview Spørgsmål og svar
• ETL Testing Data Warehouse Testing Tutorial (En komplet guide)
• Top 10 ETL-testværktøjer i 2021
• Sådan udføres ETL-test ved hjælp af Informatica PowerCenter-værktøjet
• 31 Top Database Testing Interview Spørgsmål og svar
• 40+ bedste databasetestværktøjer - Populære datatestløsninger
• Komplet guide til databasetest (hvorfor, hvad og hvordan man tester data)
• Selenium Database Testing (Brug af WebDriver og JDBC API)