Senior Data Engineer

ProRail is als beheerder continu op zoek naar verbetering van haar assets. ProRail wilt hierbij te allen tijde kunnen vertellen waar hun assets liggen en wat de staat hiervan is. Om dit voor elkaar te krijgen, probeert ProRail steeds vaker van nieuwe technieken gebruik te maken om dit te bewerkstelligen, bijvoorbeeld met kunstmatige intelligentie.

Met dit in gedachte is er een project gestart dat de positie en staat van assets voorspelt aan de hand van videoschouwtreinbeelden. Er is een algoritme gebouwd dat alle beelden van het spoor nakijkt en aan de hand van computer vision bepaald waar ES-lassen te vinden zijn in het spoor. Dit lukt voor de beelden van de videoschouwtrein van twee verschillende bronnen. De gevonden ES-lassen worden gekoppeld aan een X, Y positie op het spoor. Aan de hand van de X, Y positie kan ProRail de lassen op de lange baan vrijwel automatisch verwerken tot een output die in het SAP asset management systeem verwerkt wordt.

Vanuit het project is het inrichten en opzetten van de complete ”straat” van inlezen tot de informatie aan SAP opleveren een belangrijk onderdeel wat nog deels ingericht en verder geoptimaliseerd moet worden.

Om die reden is ProRail op zoek naar een senior data engineer die hier veel ervaring in heeft.

De focus in de werkzaamheden van de senior data engineer zal in eerste instantie liggen op:

• Het optimaal en robuust inrichten van deze straat, hierbij moet rekening gehouden worden dat de straat volledig draait op de Azure cloud omgeving.
• Het aanpassen van de datastromen en algoritmes op basis van eigen ervaringen en continu feedback uit de organisatie.
• Het gereed maken van de straat voor gebruikers en beheerders.
• Samenwerking en afstemmen met de andere teams, die ook bezig zijn om de data en videobeelden naar de Azure cloud over te brengen
• Algoritmes die aanwezig zijn of ontwikkeld worden op het platform opnemen
• Aanpassing van code om te voldoen aan standaarden en afstemming met teams over het (toekomstig) beter voldoen aan de standaarden.
• Testen, het testen van ontwikkelde algoritmes, en automatiseren van de tests.
• Deployment naar een stabiele omgeving.
• Data-ingestion, het automatiseren van de data-input vanuit FTP, REST of SOAP endpoints.
• Scheduling, het automatiseren van de pipelines.
• Data-output, het automatiseren van data-output richting dashboards en andere gebruikers.
• Monitoren, het inrichten van monitoring, wat zichtbaar maakt in hoeverre data input, dataverwerking en data-output goed heeft gewerkt en automatisch alarmen genereert.
• Logging, het verschaffen van inzicht in waar fouten zijn ontstaan, en hoe deze opgelost kunnen worden.

De senior data engineer zal kennis en ervaring moeten hebben met:

• ETL Tooling (Azure Data Factory, NiFi / HDF, Informatica)
• Scheduling (DataBricks, Azure Data Factory, AirFlow)
• Databases (Azure DataLake, Azure SQL database, Azure blob storage, Hive)
• Governance (Azure governance, Azure Active Directory, Informatica)
• Logging (Azure insight, loguru)
• CI/CD (Azure Devops, Jenkins, Buildkite)
• Containerization (Kubernetes, Azure Kubernetes Service, Docker)
• Python (Anaconda, DataBricks, Spark, PyCharm)
• Basis dashboarding tools (PowerBI, Azure Portal Dashboards)

Het is geen vereiste om ervaring te hebben met de ProRail specifieke omgeving, wel met vergelijkbare omgevingen.

ProRail is als beheerder continu op zoek naar verbetering van haar assets. ProRail wilt hierbij te allen tijde kunnen vertellen waar hun assets liggen en wat de staat hiervan is. Om dit voor elkaar te krijgen, probeert ProRail steeds vaker van nieuwe technieken gebruik te maken om dit te bewerkstelligen, bijvoorbeeld met kunstmatige intelligentie.

Met dit in gedachte is er een project gestart dat de positie en staat van assets voorspelt aan de hand van videoschouwtreinbeelden. Er is een algoritme gebouwd dat alle beelden van het spoor nakijkt en aan de hand van computer vision bepaald waar ES-lassen te vinden zijn in het spoor. Dit lukt voor de beelden van de videoschouwtrein van twee verschillende bronnen. De gevonden ES-lassen worden gekoppeld aan een X, Y positie op het spoor. Aan de hand van de X, Y positie kan ProRail de lassen op de lange baan vrijwel automatisch verwerken tot een output die in het SAP asset management systeem verwerkt wordt.

Vanuit het project is het inrichten en opzetten van de complete ”straat” van inlezen tot de informatie aan SAP opleveren een belangrijk onderdeel wat nog deels ingericht en verder geoptimaliseerd moet worden.

Om die reden is ProRail op zoek naar een senior data engineer die hier veel ervaring in heeft.

• Beoogde startdatum: 1 oktober
• Einddatum: 31 december optie tot verlenging met 3 maanden
• Niveau: Master
• Uren per week: 36 uur per week
• Standplaats: Utrecht
• Deadline indienen: 30-9-2019 - 10:00 uur

Onder een CV verstaan wij een overzicht van de werkervaring (in a-chronologische volgorde, dus van nieuw naar oud) van de kandidaat. Het CV is in het Nederlands opgesteld en in word of pdf-format van maximaal 4 pagina’s A4.

In het CV dienen de volgende zaken vermeld te worden:
• Tarief op basis van 36 uur per week
• Aantal beschikbare uren per week
• Beschikbaar vanaf
• Beschikbaar tot
• Contactgegevens van de accountmanager van de leverancier in het cv