Het is nu mogelijk om meerdere gegevensquery’s tegelijk uit te voeren, met 20x snellere gevisualiseerde resultaten. Query’s nemen nu slechts 20 seconden in beslag, in plaats van uren.
Het Department for Transport (DfT) is een uitvoerende afdeling van de Britse regering die samen met zijn agentschappen en partners verantwoordelijk is voor het nationale transportnetwerk. Haar doel is om ervoor te zorgen dat personen en goederen optimaal door het land kunnen worden verplaatst.
Het DfT biedt advies, ondersteuning en financiering op lokaal niveau ten behoeve van de realisatie en het onderhoud van het weggennetwerk. Het bepaalt daarnaast de strategische koers voor grotere nationale projecten. Zijn digitale afdeling heeft de taak om bij te dragen aan de realisatie van de moderniseringsdoelstellingen van het DfT door het aandragen van ondersteunende technologie.
Het vermogen van DfT om query’s uit te voeren op de enorme hoeveelheden data die het in huis heeft is van cruciaal belang om input te verwerven voor het beheer van de nationale transportvoorzieningen. In het geval van het spoorwegennet, een van de belangrijkste transportinfrastructuren van het Verenigd Koninkrijk, worden deze query’s uitgevoerd door het technische- en databeheerteam van de afdeling Rail van het DfT. Dat doen zij met de applicatie ‘Latest Earnings Networked Nationally Overnight’ (LENNON).
LENNON is een applicatie die data over ticketverkopen en de opbrengsten van stationswinkels bijhoudt voor het hele Britse spoorwegennet. Daar is 100 terabyte aan data mee gemoeid. Deze interne applicatie voor het opvragen van deze informatie werd in het verleden gehost in legacy datacenters op locatie.
Het DfT kwam echter tot de conclusie dat zijn IT-infrastructuur de nodige nadelen kende. Ten eerste was er regelmatig handmatig onderhoud nodig om het systeem draaiende te houden. Verder was het lastig om de infrastructuur op te schalen. Bovendien kon het uitvoeren van meerdere query’s een hoop tijd in beslag nemen.
Het is nu mogelijk om meerdere gegevensquery’s tegelijk uit te voeren, met 20x snellere gevisualiseerde resultaten. Query’s nemen nu slechts 20 seconden in beslag, in plaats van uren.
Om een einde aan deze problemen te maken schakelde het DfT de hulp van CTS in. We kregen de opdracht voor de ontwikkeling van een data lake en de migratie van LENNON naar het Google Cloud Platform (GCP).
Toen de applicatie LENNON naar het Google Cloud Platform was overgezet, merkte het DfT op diverse fronten verbeteringen. Het kan nu meerdere query’s tegelijk op het systeem loslaten. Deze leveren bovendien 20 keer sneller gevisualiseerde resultaten op dan voorheen. Veel query’s zijn al binnen 20 seconden voltooid, terwijl ze in het verleden ettelijke uren in beslag namen. Het DfT kan daarmee snellere en betere inzichten uit zijn data putten als input voor de besluitvorming rond het Britse spoorwegennetwerk.
De kortere query-tijden hebben de tijd van medewerkers vrijgemaakt en daarmee de capaciteit en productiviteit van het DfT opgevoerd. Het gebruik van de datacenters van Google maakte een einde aan het handmatige onderhoud dat nodig was voor de infrastructuur op locatie. En omdat Google zorgdraagt voor het interne onderhoud van het datacenter werkt LENNON nu met het best beveiligde hostingplatform binnen de branche.
Na de succesvolle migratie van LENNON naar het Google Cloud Platform wil DfT dit project gebruiken als blauwdruk voor de migratie van andere interne applicaties. To be continued!