Ludo van den Nieuwelaar is momenteel bezig met een project als freelance data engineer bij Watson + Holmes om de kwaliteit van de asset- en verhuurmonitor te verhogen. De assetmonitor richt zich op het genereren van inzichten in bestaande objecten en de verhuurmonitor doet dit specifiek voor de eerste verhuur van wooncomplexen. De data voor deze inzichten worden uit diverse bronnen onttrokken en worden door automatische data-pijpleidingen op de juiste plek opgeslagen. Er is een nieuw, schaalbaar en robuust datamodel gecreëerd om de kwaliteit van de producten te garanderen.
Een nieuw datamodel Voor dit project is gekozen om een nieuwe database in te richten en is een theoretisch datamodel gemaakt, ook wel bekend als een snowflake schema. Dit theoretische model geeft de onderliggende relaties binnen een database. Een schaalbare oplossing Tijdens het ontwerpen van het model wordt nagedacht over de implicaties op de schaalbaarheid van de processen. De schaalbaarheid moet zo hoog mogelijk zijn, wat betekent dat de processen zonder enige moeite meerdere klanten kunnen bedienen. Ook worden er API-koppelingen met diverse data leveranciers gemaakt. Deze koppelingen zorgen ervoor dat de data op een geautomatiseerde manier in de database terecht komen.
Een robuuste oplossing Het model en de bijbehorende processen moeten robuust zijn tegen fouten en de kwaliteit van de data moet gegarandeerd zijn. Daarom zijn er automatische processen ontwikkeld om de kwaliteit van de data te garanderen naar de klanten dmv het formuleren van automatische alerts mocht data niet up-to-date zijn of wanneer er eventuele kwaliteitsgebreken zijn gevonden.
Mijn indruk van Watson+Holmes is het werken met een jong en dynamisch team met data-minded collega’s, waarmee je prettig kunt sparren over een aanpak of een API-autorisatie. Ook ben jezelf verantwoordelijk om een volledig project van A tot Z uit te voeren. Kortom, ik kan Watson+Holmes (en de datakwaliteit) enorm aanraden!