[Infomaniak] [Rapport d'événement] Perturbations du Service Mail

[Fred]

Chère cliente, cher client,

Vous rencontrez peut-être des difficultés pour accéder à vos e-mails via un client tel que Outlook, Thunderbird, Mail ou le Webmail.

Hier, dès 16h50, le Service Mail a été impacté par des lenteurs ou des indisponibilités. Ce problème a été résolu dans les heures qui ont suivi par nos équipes.

Suite à cela, un effet involontaire a provoqué des ralentissements et des perturbations sur 10% des adresses mail depuis ce matin à partir de 7h58.

Nous avons rapidement détecté la provenance de cette perturbation et nous continuons à travailler sur le rétablissement complet du service.

Il se peut que certaines adresses mail rencontrent encore des lenteurs et des instabilités.

Nos équipes sont mobilisées pour que le service soit pleinement fonctionnel pour l’ensemble de nos clients.

Nos ingénieurs vont intervenir cette nuit pour consolider l’infrastructure de notre Service Mail afin que cet incident ne puisse plus se reproduire. Cela va également permettre d’augmenter la rapidité de votre Service Mail.

Nous sommes pleinement conscients que le Service Mail est un élément essentiel pour vos activités et toutes les mesures seront prises au sein d’Infomaniak pour que ce type d’événement ne puisse plus se reproduire.

Avec nos meilleures salutations
Infomaniak

[Fred]

Précisions concernant les événements qui ont occasionné des lenteurs et indisponibilités d’une partie du Service Mail à partir du mardi 31 mai à 16h50 et pour une minorité jusqu’au jeudi 2 juin à 22h30.

Ces perturbations exceptionnelles qui ont touché une partie des adresses e-mails sont résolues. La situation est à nouveau pleinement maîtrisée grâce au travail sans relâche des équipes d’administrateurs systèmes.

Dans un souci de transparence, de la part d'Infomaniak, voici ci-dessous les raisons de cette panne et les mesures prises afin d’endiguer ces perturbations et d’empêcher qu’elles ne se reproduisent.

Le contexte

• L’infrastructure mail est redondée entre deux centres de données Infomaniak. Lorsqu’un des serveurs est indisponible, le système redirige automatiquement l’ensemble des connexions sur le serveur fonctionnel de l’autre centre de données. Ceci permet de garantir un service en réduisant au minimum les indisponibilités et ainsi de sécuriser les e-mails dans deux sites distincts.
• Cette architecture permet aussi d’effectuer des mises à jour matérielle et logicielle de façon transparente, sans interruption.

Ce qui s’est passé

• Lors d’une maintenance de routine, un bug logiciel a provoqué une alerte d’indisponibilité de l’ensemble des serveurs e-mails. Des opérations automatiques de réplication et de basculement des connexions ont alors débuté de manière massive, ce qui a provoqué une importante surcharge disque sur les serveurs des deux centres de données impactés. Les symptômes étaient aléatoires en fonction du moment de la journée et allaient d’un ralentissement à une indisponibilité totale.
• Suite aux opérations techniques destinées à stabiliser cette surcharge exceptionnelle, les serveurs sont progressivement revenus à un niveau de charge viable. Les serveurs les plus sollicités ont pris jusqu’à 48 heures pour revenir à la normale et la plus grande majorité d'entre eux sont revenus à un fonctionnement normal après quelques heures d’inaccessibilité.

Ce qui est entrepris

• Le goulot d’étranglement qui a amplifié la surcharge a été identifié. L'infrastructure mail est d’ores et déjà renforcé en y ajoutant de nombreux serveurs pour diminuer la charge du service de stockage du Service Mail. Uune répartition plus fine des comptes de messagerie entre ces serveurs a été mis en place afin de garantir plus de ressources en cas de surcharge imprévue.
• À moyen terme, une nouvelle architecture de stockage des e-mails sera déployée. Cela aura pour effet d’accélérer l’accès aux e-mails par la même occasion. Ce déploiement sera progressif, totalement transparent et n’aura aucune incidence sur l'utilisation du service.
• Toute l'équipe d'Infomaniak prend cet incident très au sérieux et concentrent l’intégralité des efforts des équipes mails sur la fiabilité et la performance du service.