Waarom een Data Lake je leven makkelijker maakt

Data Lake vs Data Warehouse

Een Data Warehouse wordt vooraf gevoed met gestructureerde data. Business en IT hebben dan samen bepaald welke bouwblokken modulair naar het Data Warehouse ‘vervoerd’ worden. Data wordt gemigreerd naar een Datawarehouse in de Cloud. Zodra de data modulair is opgeslagen in het Data Warehouse vertalen we stapsgewijs jouw wensen naar relevante inzichten.  

Een Data Lake, het woord zegt het al, is een meer aan data. Deze bestaat uit veel ruwere data. Je kunt je historie en tijdelijke data dus opslaan en makkelijk oproepen. In een Data Lake sla je vaak complexere en grotere massa’s data op. Een Data Lake biedt de oplossing om alle beschikbare data, gestructureerd en ongestructureerd, op te slaan. Nog zonder beoogde toepassing.

Het grootste verschil tussen een Data Lake en een Data warehouse is dus de manier hoe data wordt opgeslagen en hoe makkelijk je ongestructureerde data kunt aanspreken.

De grootste voordelen van een Data Lake

Goed dat we nu het verschil weten, maar is het een beter dan het ander? Het een is vooral meer dan het ander. Dan bedoelen we niet ‘de Lake’, maar de hoeveelheid aan data. De grootste voordelen die wij zien in de praktijk?  

• Het maakt het leven van Data Engineers, Business Intelligence Consultants en Data Scientists makkelijker, want een Data Lake is veel flexibeler dan een Data Warehouse. Een experiment is maar een paar minuten van je verwijderd
• Het opbouwen van een goed Data Warehouse kost veel tijd in vergelijking tot een Data Lake. Functionaliteiten zijn makkelijker en sneller op te roepen. Waar je eerst werkte met een database kun je nu werken met data en informatie (afgeleide data) op verschillende lagen voor verschillende use cases en doelgroepen binnen de Azure Data Lake Storage Gen2:

1. Curated zone (analytics, star schema's)
2. Cleansed zone (business driven)
3. Sensitive zone (PII data)
4. Laboratory zone (data science)
5. Raw zone (immutable data)

• Een zogenoemde Proof of Value staat sneller, waardoor eerder getest kan worden en waardoor de business sneller waarde geleverd krijgt
• Je zoekt makkelijker in ongestructureerde data, waardoor je sneller nieuwe inzichten paraat hebt. Onderlinge relaties en verbanden tussen nieuwe data zijn het ontdekken waard
• Een Data Lake is onderdeel van een Modern Datawarehouse. Met de nieuwste architectuur die Microsoft beschikbaar stelt, de Data Lake Architecture, wordt het automatiseren van processen simpel en ook nog eens auditeerbaar en GDPR compliant

Onze BI collega's: ‘’Het maakt ons leven makkelijker en daardoor houden we meer tijd over om aan toffere puzzels te werken die waarde leveren. Je hoeft niet meer maanden lang aan de oplevering van een Data Warehouse te werken’’.

Vanuit het Golden Path principe willen wij - just-in-time, meetbaar, onweerlegbaar en schaalbaar werken. Veilig in de cloud en op de Agile Scrum way of work. Nieuwe tech trends zoals het opzetten van een Data Lake volgen we op de voet.

Het kiezen van jouw Data Management strategie

Het wil niet per definitie zeggen dat een Data Lake beter is dan een Data warehouse. De toepassing hiervan verschilt per organisatie en is afhankelijk van het doel dat ermee wordt nagestreefd. Het is bij een weloverwogen keuze handig de volgende punten in acht te nemen bij het kiezen van jouw Data Management strategie:  

1. Welke business strategie hebben we? En welke data strategie past daar goed bij?  

2. Met welke wet- & regelgeving hebben we te maken? Met welke optie zorgen we ervoor dat we het beste kunnen voldoen aan onze Data Governance eisen?  

3. Is onze data trusted, understood and accurate? Met andere woorden – hoe ziet onze huidige Data Architecture eruit? Hoe is de Data Security geregeld? En hoe willen we in de toekomst omgaan met Data Storage?  

Wij kiezen daarom bij al onze nieuwe projecten voor deze architectuur omdat dit mee kan groeien met toekomstige klantvragen. En onze opdrachtgevers zijn daarmee flexibel en schaalbaar.  

• ‍Lees hoe wij Humanitas hielpen aan een Modern Datawarehouse ‍
• Hoe we samen met Air Miles groeien naar data capability?

Wil je weten hoe je de eerste stappen zet in het kiezen van jouw Data Management strategie, welke architectuur keuzes je tegenkomt en wat de roadmap betekent voor interne & externe stakeholders? Dat lees je in de volgende blog!

Een Data Lake maakt je leven makkelijker maar is niet de enige optie

Welke keuze je ook maakt met je organisatie. Je hoeft niet perse alles in één enkele tool of database te zetten. Wij geven altijd het advies om de beste oplossing te kiezen uit de Azure Stack. Het Data Lake is in onze ogen een economische en veilige keuze als je kijkt naar de huidige datavragen in de markt en de snel veranderende business rules. Je Data Lake kan ook weer makkelijk gekoppeld worden met de Azure Data Factory en data kan via Azure Synapse (tijdelijk) opgeslagen worden in Workspaces. Inzichten? Die worden ofwel vanuit de SQL-database of direct vanuit het Data Lake ingeladen en gepresenteerd via Power BI. Futureproof gegarandeerd!  

Wil je eens vrijblijvend sparren over de beste oplossing voor jouw organisatie? Contact Hans. Wil je weten hoe collega’s Xander en Stephan deze toepassing dagelijks in de praktijk brengen bij opdrachtgevers en of dat ook iets voor jou is?  TeamValue | Business Intelligence Consultant