Post-mortem d’incident – Traitement des messages entrants RCS (MO)

Résumé

Un incident a affecté le traitement des messages entrants (MO – Mobile Originated) provenant des agents conversationnels RCS.
Depuis le 20 mai 2026, lors des périodes où le trafic était routé via le serveur app11, les messages MO n’étaient pas correctement traités par la plateforme. En conséquence, certains messages entrants n’étaient ni persistés ni transmis aux composants applicatifs concernés.
L’incident a été identifié puis corrigé le 02/06/2026 à 09:46. Depuis cette date, le service fonctionne normalement.

Impact

Lorsque le trafic était traité par le serveur app11, les conséquences observées étaient les suivantes :

• Absence de sauvegarde des messages MO en base de données ;
• Non-initialisation des sessions conversationnelles associées ;
• Absence d’émission des notifications webhook vers les systèmes clients.

Les messages concernés n’étaient donc pas pris en compte par la chaîne de traitement applicative.

Cause racine

L’analyse a mis en évidence une erreur de configuration sur le serveur app11.
Les messages entrants étaient routés vers une file de messages inexistante sur cette instance. En conséquence, les données ne pouvaient pas être consommées ni traitées par les services applicatifs en aval.
Cette situation n’a pas été détectée immédiatement car aucun mécanisme d’alerte n’était en place pour signaler l’absence de cette file ou les échecs de publication associés.
Par ailleurs, l’architecture reposant sur plusieurs instances applicatives avec bascule régulière du trafic, le problème ne se manifestait que lorsque les requêtes étaient dirigées vers app11. Les traitements continuaient à fonctionner normalement lorsque le trafic était routé vers l’instance secondaire correctement configurée, ce qui a rendu l’incident intermittent et plus difficile à diagnostiquer.

Chronologie

Date / Heure   Événement
20/05/2026   Début de l’incident. Les MO traités via le serveur app11 ne sont plus correctement pris en charge.
20/05/2026 – 02/06/2026    Impact intermittent en fonction du routage du trafic entre les différentes instances.
02/06/2026    Identification de la cause racine : absence de la file de messages requise sur le serveur app11.
02/06/2026 – 09:46    Création de la file manquante et validation du bon fonctionnement du traitement.
Depuis le 02/06/2026 à 09:46    Service pleinement rétabli et fonctionnement nominal confirmé.

Actions correctives

Les équipes techniques ont procédé aux actions suivantes :

• Création de la file de messages manquante sur le serveur app11 ;
• Vérification du bon fonctionnement du traitement des messages MO ;
• Validation de la persistance en base de données ;
• Validation de l’initialisation des sessions conversationnelles ;
• Validation de l’émission des notifications webhook.

Actions préventives

Afin de réduire le risque de récurrence, les actions suivantes seront mises en œuvre :

1. Mise en place d’alertes sur les erreurs de publication et de routage vers les files de messages.
2. Renforcement des contrôles de cohérence de configuration lors des déploiements et des mises en production.
3. Ajout de vérifications manuelles en plus des vérifications automatiques garantissant la présence des files requises sur l’ensemble des instances.
4. Amélioration de la supervision afin de détecter plus rapidement les écarts de comportement entre les différents serveurs de la plateforme.
   

Statut

Résolu

L’incident est considéré comme clos depuis le 02/06/2026 à 09:46. Les traitements des messages entrants RCS (MO), la création des sessions conversationnelles, la persistance des données et les notifications webhook fonctionnent désormais normalement sur l’ensemble des instances de la plateforme.