GUIDE TECHNIQUE · ELASTIC STACK (ELK)
Créer un pipeline Logstash avec Grok
Lire des événements fictifs, appliquer un filtre grok, normaliser les champs et contrôler le chemin de sortie avant de brancher un cluster Elasticsearch.
L’ESSENTIEL EN BREF
Les étapes clés
Ce guide présente 4 étapes, de « Cadrer et préparer » à « Valider et documenter ».
Avant de commencer : Disposer d’un environnement de recette autorisé, distinct de la production.
01 · CADRAGE
Périmètre et résultat visé
Résultat attendu : Le contrôle de configuration Logstash passe.
Public concerné : Ingénieurs observabilité, administrateurs Elastic Stack et équipes RUN.
Logstash et plugins compatibles avec la version de l’Elastic Stack ; pipeline de recette exécuté d’abord sur stdin/stdout.
Contrôlez les versions, les droits et les options disponibles dans votre environnement avant de suivre la procédure.
02 · AVANT DE COMMENCER
Prérequis et points de contrôle
- Disposer d’un environnement de recette autorisé, distinct de la production.
- Contrôler compatibilité des versions, TLS, droits minimaux et flux réseau.
- Préparer des données fictives et un protocole de retour arrière.
03 · VUE D’ENSEMBLE
Comprendre l’architecture et les flux
04 · TUTORIEL
Procédure complète, étape par étape
Suivez les étapes dans l’ordre et contrôlez chaque résultat avant de poursuivre. Renseignez les paramètres adaptés à votre environnement.
ÉTAPE 1 / 4
Cadrer et préparer
La qualité du déploiement dépend de la compatibilité des versions et du périmètre choisi.
- Définir un format d’entrée fictif et choisir les champs utiles : horodatage, niveau et message, sans identifiant de personne.
- Relever le résultat attendu et la preuve associée.
input { stdin {} }
filter {
grok { match => { "message" => "%{TIMESTAMP_ISO8601:app_time} %{LOGLEVEL:log.level} %{GREEDYDATA:message_text}" } }
}
output { stdout { codec => rubydebug } }À vérifier : Le contrôle de configuration Logstash passe.
Point de vigilance : N’utiliser que des identifiants fictifs et les accès minimaux.
ÉTAPE 2 / 4
Configurer les composants
La configuration doit être reproductible et attribuée à un propriétaire technique.
- Créer pipeline.conf avec input stdin, grok et output stdout ; ne connecter aucun index de production.
- Faire relire les modifications ayant un effet sur les données ou les accès.
bin/logstash -f pipeline.conf --config.test_and_exitÀ vérifier : Le niveau INFO et l’horodatage sont extraits dans les champs définis.
Point de vigilance : Ne pas désactiver TLS ni contourner les restrictions réseau.
ÉTAPE 3 / 4
Exécuter la procédure
Une recette observable permet d’identifier la première étape en défaut.
- Exécuter --config.test_and_exit puis injecter un événement de laboratoire et vérifier l’absence du tag _grokparsefailure.
- Relever le résultat attendu et la preuve associée.
echo '2026-10-19T12:00:00Z INFO Test de recette' | bin/logstash -f pipeline.confÀ vérifier : Un événement non conforme est visible pour diagnostic au lieu d’être perdu.
Point de vigilance : Comparer les logs et les métriques avant de conclure au succès.
ÉTAPE 4 / 4
Valider et documenter
La validation porte sur les données réellement collectées et le diagnostic du RUN.
- Préparer seulement ensuite le remplacement de stdout par un output Elasticsearch avec TLS, API key dédiée et mapping contrôlé.
- Faire relire les modifications ayant un effet sur les données ou les accès.
echo '2026-10-19T12:00:00Z INFO Test de recette' | bin/logstash -f pipeline.confÀ vérifier : Un événement non conforme est visible pour diagnostic au lieu d’être perdu.
Point de vigilance : Documenter les écarts et les conditions d’annulation.
RÉFÉRENCES TECHNIQUES
Documentation officielle
Retrouvez les prérequis, les fonctionnalités et les versions prises en charge par Elastic Stack (ELK). Vérifiez les commandes sur un environnement de test avant leur utilisation en production.
05 · RECETTE
Comment vérifier que tout fonctionne ?
Le contrôle de configuration Logstash passe.
Le niveau INFO et l’horodatage sont extraits dans les champs définis.
Un événement non conforme est visible pour diagnostic au lieu d’être perdu.
06 · DIAGNOSTIC
Problèmes fréquents et résolution
Tag _grokparsefailure
Cause probable : Expression non conforme au format réel
Que faire : Tester une ligne réelle anonymisée et simplifier le motif.
Config invalid
Cause probable : Syntaxe pipeline ou plugin incorrecte
Que faire : Relire la position remontée par --config.test_and_exit.
Doublons
Cause probable : Plusieurs inputs ou reprises non idempotentes
Que faire : Suivre les identifiants document et les règles de replay.
07 · QUESTIONS PRATIQUES
Questions fréquentes
Peut-on appliquer cet exemple directement en production ?
Non. Valider versions, permissions, capacités et plan de retour arrière en recette avant toute décision de déploiement.
Comment prouver que la procédure fonctionne ?
Conserver la sortie des commandes non sensibles, le périmètre des données et les critères de validation.
Quand escalader au support éditeur ?
Lorsque les prérequis et logs d’erreur ont été vérifiés et qu’une incompatibilité ou un comportement non documenté persiste.
AUTRES TECHNOLOGIES
Guides complémentaires
VOTRE ENVIRONNEMENT
Besoin d’aller plus loin sur votre environnement ?
Échangeons sur votre environnement Elastic Stack (ELK) : pratiques, sécurité et exploitation.
Échanger avec ADN Consulting