Een centrale plek voor al uw data

Maak data een centrale factor binnen uw onderneming

Datawarehousing

Datawarehouse Automatisering

Als bedrijf een datawarehouse hebben is geen doel op zich, maar een middel. U wilt inzichten in uw bedrijfsvoering via rapporten en dashboards, u bent niet per se op zoek naar een datawarehouse. Daarom hebben we ervoor gekozen om BIML te gebruiken. Deze afkorting staat voor Business Intelligence Markup Language en we kunnen er een datawarehouse mee genereren nadat we samen hebben bepaald hoe deze eruit moet zien. De voordelen zijn:

Snelheid

En hiermee dus ook lagere kosten.

Data kwaliteit is ingebouwd

Het is mogelijk om de datakwaliteit centraal te controleren.

Versiebeheer

Houdt de veranderingen bij van de code die het datawarehouse genereert.

Flexibiliteit

BIML maakt het mogelijk om één aanpassing, bijvoorbeeld het toevoegen van logging, in één keer overal door te voeren.

Uniformiteit

Met BIML is het makkelijker om iedereen in het team dezelfde werkwijze te laten aanhouden.

Meer inzicht

De werking van het datawarehousing is beter te begrijpen, omdat we makkelijker documentatie kunnen maken en bijwerken.

Voor Microsoft Dynamics AX hebben we een specifieke datawarehouseversneller gebouwd zodat u al heel snel naar uw eerste rapporten en dashboards kunt kijken. Dus wilt u wel de voordelen van een datawarehouse, maar alleen investeren in werkzaamheden die echt waarde toevoegen? Bel ons dan voor meer informatie.

Rechts ziet u het business intelligence maturity model van Gartner. Alle modellen zijn een vereenvoudigde weergave van de werkelijkheid, maar deze werkt tot nu toe heel prettig om samen met u te kijken waar u staat en waar u heen wilt. Een datawarehouse is meestal rond level 3 ‘Focused’ aan de orde. U loopt dan tegen vraagstukken aan als:

  • mijn rapportages zijn traag en/of mijn ERP-systeem wordt traag als gebruikers zware rapporten draaien
  • onze controllers zijn vooral bezig met rapporteren, terwijl ik liever zou zien dat ze gaan analyseren
  • ik wil gegevens uit meerdere bronsystemen combineren in 1 rapportage
  • ik heb het gevoel dat ik meerdere keren ongeveer hetzelfde moet doen voor verschillende rapportages (bijvoorbeeld dat ene testfiliaal uitfilteren)
  • ik heb regelmatig verschillen tussen rapportages, die over hetzelfde zouden moeten gaan
  • mijn bronsysteem houdt onvoldoende historie vast
  • in ons woud van Excelsheets raak ik het overzicht een beetje kwijt / als onze Excelgoeroe zijn baan opzegt dan zitten we met een geweldig probleem
  • managers willen direct de laatste stand van zaken inzien in plaats van wachten tot de rapportages de volgende maand worden verstuurd
  • we willen meer controle over wie welke data mag zien
  • onze data moet beter en meer gestructureerd opgeschoond worden voordat er over gerapporteerd kan worden
gartner business intelligence maturity model
Als u een of meer van deze vragen herkent dan is het voor u en uw organisatie zeker interessant om eens samen met ons naar de mogelijkheden van een datawarehouse te kijken.

Data kwaliteit in het data warehouse

Bij het opzetten van een data warehouse kunnen we direct rekening houden met datakwaliteit. Uiteraard wordt data standaard al schoon gemaakt als het in het datawarehouse wordt geladen. Hier is echter ook meer mogelijk zoals per record zogeheten metadata (data over data) bij te houden. Hierbij kunt u denken aan:

  • Waar komt deze data vandaan?
  • Welke bewerkingen zijn erop uitgevoerd tijdens het laden?
  • Is dit waarschijnlijk een outlier? Erg hoog of juist erg laag bijvoorbeeld.
  • Welke versie van de data warehouse omgeving heeft dit record geladen?

En nog veel meer. Hierdoor behoort het zelfs tot de mogelijkheden om in een rapport iets aan te geven als “4% van de records die leidden tot de cijfers in dit rapport bevat mogelijk data van mindere kwaliteit, bekijk hier om welke issues het gaat”. Dit houdt het hogere management ook alert op data kwaliteit en ze kunnen er rekening mee houden bij het nemen van beslissingen.

Dynamic info goed in Data Warehousing

Data Vault

Datawarehouses gebaseerd op de Kimball methodologie zijn prima voor kleinere bedrijven met beperkte hoeveelheden data. In complexere bedrijfsomgevingen zijn er 5 issues waar business intelligence teams last van hebben tijdens bij implementatie en onderhoud van een Kimball data warehouse, waar Data Vault een antwoord op heeft.

Kimball (oud) vs Data Vault (nieuw)

  1. In het geval er echt sprake is van big data dan wordt de tijd die nodig is om data op te schonen en te verwerken al snel te lang. Omdat Data Vaults alle data in ruw formaat opslaan in de zogeheten Raw Data Vault, gaat dit sneller dan wanneer er nog een schoonmaakproces tussen zit.
  2. “The one constant is change”. Bedrijven veranderen continu hun processen en de manier waarop ze willen sturen. Hierdoor komt er regelmatig nieuwe data in het datawarehouse. Een Data Vault datamodel is makkelijker aanpasbaar aan de nieuwe werkelijkheid.
  3. Complexiteit. Data vault versimpelt het design en vermijd dus complexiteit. Hierdoor kan er beter worden ingespeeld worden op de wensen van de klant in plaats van aan te geven dat het technisch moeilijk / onmogelijk is waardoor de klant gedwongen wordt naar de techniek te luisteren.
  4. Data Vaults kunnen nog makkelijker automatisch worden gegenereerd dan een Kimball model.
  5. Historie bijhouden is lastig in een Kimball model, zeker als er nieuwe data binnenkomt waardoor berekeningen soms met terugwerkende kracht opnieuw moeten worden uitgevoerd. In Data Vault is historie ingebakken doordat alles met een timestamp wordt opgeslagen zodat je precies weet welke waarheid wanneer geldig was.
  6. Inmiddels is Data Vault 2.0 uit, waardoor er nog beter kan worden omgegaan met de soorten data die in de huidige tijd worden opgeslagen (meer ongestructureerd, NoSQL databases etc.)

Kimball en Data Vault visueel naast elkaar

Data Vault vs Kimball

Data Vault (links) en Kimball (rechts) bron: Supercharge your datawarehouse (Linstedt)

Links ziet u de Data Vault bestaande uit links, hubs en satellites. Rechts het Kimball model bestaande uit facts en dimensies. Als je het DataVault model vertaalt naar het Kimball model dan zou er een fact tabel fact_Order zijn met meetwaarden zoals orderbedrag en links naar de dimensietabellen. Zowel dim_Product als dim_Customer zou dan een dimensietabel worden. Hiermee kun je het totaal orderbedrag per klant en per product analyseren en ook oprollen naar hogere niveaus zoals het totaal orderbedrag per productgroep. Omdat dit zo prettig werkt voor analisten zie je vaak een Kimball model bovenop de Data Vault, zodat de Data Vault zich kan concentreren op het historisch juist en volledig vastleggen van de data en het Kimball model dan op de businessvragen kan worden toegespitst.

Een typische Data Vault architectuur

Het Duitse bedrijf Dörffler & Partner, waar Data Vault goeroe Michael Olschimke werkte, heeft een goed architectuurplaatje gemaakt van een typische Data Vault architectuur:

Data Vault schema

De architectuur bestaat uit de volgende stappen (tussen haakjes de naamgeving in de architectuur):

  1. Kopiëren van data uit de verschillende bron systemen (source systems) naar de staging omgeving.
  2. Laden van de Raw Vault, die 100% van alle data bevat uit de bronsystemen en waar eventueel data uit een Enterprise Service Bus (bijvoorbeeld BizTalk) kan worden toegevoegd.
  3. Daarna wordt de Business Vault geladen, waarbij business rules worden toegepast. Hier wordt data opgeschoond, kunnen foute records worden verwijderd, enzovoort. De Business Vault bevat dus niet noodzakelijkerwijs 100% van de data.
  4. De Business Vault is op zijn beurt weer bron voor
    • een Kimball model (star schema)
    • Raw data marts (ongeschoonde data, deze marts bevatten 100% van de data, ook de fouten)
    • Rapportages
    • Error data marts: bevat de slechte data, deze data is inzichtelijk voor medewerkers die verantwoordelijk zijn voor datakwaliteit

Wanneer een Data Vault?

In tegenstelling tot veel andere business intelligence consultants geloven wij niet blind in Data Vault. We hebben het zelfs wel eens uitgefaseerd toen bleek dat een klant Data Vault om de verkeerde redenen had ingevoerd. Toch zien we ook de meerwaarde als uw bedrijf:

  • in een snel veranderende omgeving werkt
  • met big data werkt
  • moet kunnen verantwoorden hoe tot bepaalde cijfers is gekomen (auditability)
  • goed moet kunnen rapporteren over historische veranderingen

Voor meer informatie over een Data Vault implementatie, of als u twijfelt tussen Data Vault en andere methoden, neem dan contact met ons op.

Geïnteresseerd? Vraag een gratis demo aan!

Wij zullen binnen een werkdag contact met u opnemen om een afspraak in te plannen.

Demo aanvragen

Contact

Geïnteresseerd in een van onze producten of ons bedrijf? Vul onderstaand formulier in of stuur een mailtje naar info@dynamicinfo.nl. We nemen binnen een dag contact met u op!

Dynamic Info

Gebouw 'Vonk 360'
Traverse 3
3905 NL Veenendaal

Gebouw ‘Koningshof’
Schipluidenlaan 4
1062 HE Amsterdam

Tel. +31 (0) 203 032 470
Fax. +31 (0) 848 388 100
E-mail. info@dynamicinfo.nl

Kamer van Koophandel: 65061284
BTW-nummer: NL855965265B01