picto Web - Digital

Formation Elasticsearch, Logstash et Kibana (ELK - Elastic Stack)

Une question ? Votre réponse est dans les logs

Référence

IELK

Durée

3 JOURS

Tarif

1690 € HT

NIVEAU

Intermédiaire

Cours à distance

Oui

Objectifs de la formation Elasticsearch, Logstash et Kibana (ELK - Elastic Stack)

La recherche d’information dans les logs a toujours été chronophage tant au niveau humain que du traitement informatique : Connexion au serveur, localisation du fichier, choix du bon outil, rappel de la syntaxe, exécution de la commande, etc.
La société Elastic, éditeur du moteur de recherche ElasticSearch, édite dorénavant une pile de produits répondant spécifiquement au traitement des fichiers journaux et se résumant à « Toutes les réponses à vos questions sont dans vos logs ! ».
Elasticsearch est souvent associé à deux autres produits open source que sont Logstash (collecte, analyse et stockage de logs) et Kibana (interface Web de recherche et de visualisation) donnant ainsi son nom au trigramme ELK, devenu « Elastic Stack ».

Ce cours vous propose de mettre en œuvre cette pile (Elasticsearch, Logstash, Kibana) afin de permettre aux experts métiers de questionner les différents fichiers de traces produits par le SI.

Vous serez ainsi capable de gérer et d’exploiter les logs de tous types d’applications ou d’OS (firewall, sondes réseaux, application dédiée, VM, etc.).

Plus précisément à l’issue de cette formation vous aurez acquis les connaissances et les compétences pour :

  • Comprendre les problématiques de recherche d’information
  • Comprendre la philosophie des moteurs de recherche et celle de ElasticSearch
  • Comprendre la complémentarité et l’architecture de Elastic Stack (ex ELK : ElasticSearch, Logstash, Kibana)
  • Mettre en oeuvre ElasticSearch
  • Mettre en oeuvre Logstash
  • Mettre en oeuvre Kibana
  • Sécuriser votre environnement
  • Sauvegarder et restaurer vos données
  • Superviser votre architecture
  • Mette en œuvre une architecture avancée (scalabilité et clustering)

Pré-Requis

La recherche d’information dans les logs a toujours été chronophage tant au niveau humain que du traitement informatique : Connexion au serveur, localisation du fichier, choix du bon outil, rappel de la syntaxe, exécution de la commande, etc.
La société Elastic, éditeur du moteur de recherche ElasticSearch, édite dorénavant une pile de produits répondant spécifiquement au traitement des fichiers journaux et se résumant à « Toutes les réponses à vos questions sont dans vos logs ! ».
Elasticsearch est souvent associé à deux autres produits open source que sont Logstash (collecte, analyse et stockage de logs) et Kibana (interface Web de recherche et de visualisation) donnant ainsi son nom au trigramme ELK, devenu « Elastic Stack ».

Ce cours vous propose de mettre en œuvre cette pile (Elasticsearch, Logstash, Kibana) afin de permettre aux experts métiers de questionner les différents fichiers de traces produits par le SI.

Vous serez ainsi capable de gérer et d’exploiter les logs de tous types d’applications ou d’OS (firewall, sondes réseaux, application dédiée, VM, etc.).

Plus précisément à l’issue de cette formation vous aurez acquis les connaissances et les compétences pour :

  • Comprendre les problématiques de recherche d’information
  • Comprendre la philosophie des moteurs de recherche et celle de ElasticSearch
  • Comprendre la complémentarité et l’architecture de Elastic Stack (ex ELK : ElasticSearch, Logstash, Kibana)
  • Mettre en oeuvre ElasticSearch
  • Mettre en oeuvre Logstash
  • Mettre en oeuvre Kibana
  • Sécuriser votre environnement
  • Sauvegarder et restaurer vos données
  • Superviser votre architecture
  • Mette en œuvre une architecture avancée (scalabilité et clustering)

Public

Ce cours s'adresse à toute personne amenée à utiliser ElasticSearch.

Contenu du cours Elasticsearch, Logstash et Kibana (ELK - Elastic Stack)

Comprendre ElasticStack

Problématique de la recherche en général
Le concept d’indexation
Les différentes formes d’index
L'offre d'Elastic Stack et cas d'usage dans les entreprises
Les raisons du succès
Panorama technique, architecture, technologies utilisées
Logstash : la glue de l'architecture, connecteurs, outils de transformation
ElasticSearch : le moteur de recherche rapide
Kibana : les outils d'analyse et de visualisation
Scalabilité de la pile
Le modèle OpenSource
Distributions et Installation de la pile

Atelier Pratique

Installation de la pile

ElasticSearch

Architecture et technologies utilisées : le moteur de recherche Lucene
Concepts de base : Index, Document, Cluster, Noeud, Réplique
Principes de l'API Rest

ElasticSearch et l'indexation

L'API d'indexation : Création, suppression d'index
Configuration d'index, Types de documents, le rôle du mapping, index inversé
Les différents types de champs, les champs prédéfinis
Méta-données d'un index
Analyse et extraction de texte : Analyseurs, Tokenizer et filtres
Les analyseurs les plus courants

La recherche avec ElasticSearch

L'API de recherche, types de recherches offertes par le moteur Lucene
Score de pertinence
Utilisation de filtres
Recherche à facette
Agrégation, Bucket, Mesure
Recherche géolocalisée, points, précision, formes, agrégation géographique
Maîtriser la consommation mémoire et le temps de réponse
Modélisation de données, relations entre documents. Impact sur la scalabilité

Ateliers Pratiques

Création d'index, Mise en place d'analyseurs
Utilisation de l'API de recherche

Logstash

Formats d'entrée supportés
Formats de sortie
Notions de filtres
Plugins Logstash
Introduction au DSL Logstash
Tâches de configuration

Atelier Pratique

Configuration de Logstash : Traitements de log Apache, Syslog, Tomcat

Kibana

Architecture Kibana, notions de plugins
Types de recherches possibles, corrélation avec les recherches Lucene
Visualisations prédéfinies
Créer ses propres visualisations : Enregistrement, Définition et Styling
L'éditeur de visualisation
Le rôle du contrôleur

Atelier Pratique

Création d'une visualisation personnalisée

Scalabilité et clustering en Cluster

Principe de fonctionnement d'une architecture HA de ELK
La scalabilité des différents produits :
-  Cluster Elasticsearch : Partitionnement et équilibrage du cluster
-  Instances logstash : File de message, l'outil filebeat , architectures typiques
-  Kibana : Distribution des requêtes elastic search, les différentes alternatives, sécurisation des connexions avec ElasticSearch
Monitoring et exploitation des architectures de production

Atelier Pratique

Mise en place d'une architecture scalable

Administration, Surveillance et Déploiement

Déploiement en production, recommandations matérielles, JVM, Mémoire, Communications réseau
L'outil de monitoring Marvel, les métriques récoltées, file d'attente des tâches
Mesure de performance de l'indexation
Changements dynamiques de configuration
Politique de sauvegarde et restauration

 Atelier Pratique

Installation Marvel, tests de charge avec JMeter, Sauvegarde et Restauration, Monitoring des performances