Som ni kanske har märkt så har vi haft en del störningar i vår e-postmiljö den senaste veckan. Vi vill lite kort berätta vad som har hänt, vad vi har gjort för att lösa dessa störningar samt de framtida planerna för vår e-postmiljö.
Bakgrund:
Vår e-postmiljö är som bekant en av världens största Microsoft Exchange Server-lösningar. Det är en klustrad, lastbalanserad och extremt kompetent plattform. Vår Exchange-lösning i sig har det inte varit några problem med.
Det som istället orsakade störningarna i vår e-postmiljö, det var vår nya lagringslösning.
Dell Compellent är en otroligt kraftfull och snabb lagringslösning. För att hantera och leverera e-posten så snabbt som möjligt så har Compellent flera specialfunktioner. En av dessa funktioner innebär att äldre e-post (arkiverad e-post, som inte kontrolleras ofta) placeras på vanliga diskar, medan aktuell e-post prioriteras och placeras på extra snabba diskar.
Störningar:
I fredags förra veckan uppstod det dock ett fel med denna funktion. Efter ett försök till optimering så förlorades den interna databas som håller reda på äldre och aktuell e-post. Det ledde till att samtliga e-postmeddelanden placeras på samma typ av diskar, vilket orsakade extra belastning och problem med våra e-posttjänster.
Våra tekniker upptäckte detta snabbt och började omedelbart återskapa databasen ifråga. Databasen hanteras dock på ett särskilt sätt av Compellent, vilket innebär att systemet behöver ”lära sig på nytt” att särskilja aktuell och äldre e-post. Då vi har över 50 000 e-postkonton så är detta en process som tar tid.
Vi har under dessa störningar haft kontakt med både Dell och externa Compellent-specialister. Flera av våra egna tekniker har även arbetat oavbrutet flera dagar i sträck. Allt för att våra e-posttjänster åter ska fungera lika bra som vanligt.
När vi hade börjat återhämta oss efter incidenten med lagringslösningen för vår e-post så blev vi plötsligt utsatta för en distribuerad överbelastningsattack (DDoS), riktad mot vår e-postmiljö. Målet för attacken var våra inkommande e-postservrar och det resulterade i att det blev omöjligt att ansluta till våra e-posttjänster.
Denna attack stoppades av våra tekniker, med hjälp av våra brandväggar, men det innebar ändå en fördröjning i återställningen av vår e-postmiljö. Notera dock att ingen e-post för våra kunder har gått förlorad, vare sig under störningen i lagringslösningen eller under överbelastningsattacken.
Aktuell status:
Vår e-postmiljö, med samtliga e-posttjänster, fungerar sedan igår kväll lika bra som vanligt. Vi kontrollerar nu denna miljö lite extra, men vi kan inte se någon orsak till liknande störningar här framöver.
Åtgärder:
Vi har redan vidtagit åtgärder för att förhindra en framtida förlust av databasen i Compellent. Detta arbete har utförts i direkt samråd med Dell. Vi har även säkrat ett antal andra komponenter i vår lagringslösning, så att liknande händelser inte ska kunna ske igen.
När det gäller överbelastningsattacken så har vi utökat regelverken i våra brandväggar samt ytterligare isolerat vår e-postmiljö. När vi attackerades så påverkades även vår telefonväxel. Framtida attacker kommer stoppas ännu snabbare och inte kunna påverka andra delar av vår verksamhet.
Avslutningsvis:
Vi vill givetvis be så väldigt mycket om ursäkt för de störningar som har förekommit i vår e-postmiljö. Vår målsättning är att erbjuda våra kunder en så bra, snabb och säker e-posttjänst som möjligt. Det är ett mål som vi fortsätter arbeta mot, oavbrutet.