03 Apr 2020, 12:21

Faire son premier module Terraform

Aujourd’hui on va parler d’Infrastructure as Code (IaC), plus exactement comment créer un module Terraform, mais avant de faire tout ça on va redéfinir tous ses termes et leurs intérêts.

Header Article Terraform

Coder l’infrastructure ?

Je pars du postulat que vous connaissez voir pratiquez Terraform, et au moins les bases et l’infrastructure as code. Mais avant de se jeter dans le code, on va revoir pourquoi en est-on arrivé là.

Si vous remontez il y a une petite décénnie dans la vie d’un administrateur système, celui-ci vous parlera sûrement de son dada favori : l’industrialisation, aussi appelé gestion de configuration. Cela lui permet de déployer et de versionner efficacement toutes les configurations des systèmes d’exploitation et des middlewares avec des solutions comme Puppet, Chef, Ansible ou autres.

Mais avec le DevOps mais aussi surtout avec le cloud, on a eu besoin de gérer plus efficacement et avec plus de flexibilité la couche inférieure, c’est-à-dire les machines. De plus avec le cloud public, il est devenu de plus en plus courant avec les services administrés de gérer des configurations de middlewares au niveau infrastructure. La boucle étant bouclée, après avoir codé les configurations on a donc codé l’infrastructure.

Bon ok on a fait l’historique du truc, mais revenons à nos moutons, pourquoi fait-on de l’infrastructure as code ? Globalement pour les 4 raisons suivantes :

  • Possibilité de gestion des versions, aussi appelé GitOps : en décrivant l’infrastructure au travers de code on peut facilement tracer les évolutions, revenir en arrière en coupellant le code à un outil tel que Git. À mon avis, c’est le plus gros point il permet une véritable collaboration sur la partie infrastructure, c’est très important dans le cadre DevOps.
  • Auditabilité : l’infrastructure étant du code centralisé, on peut rapidement à un même endroit vérifier toute la configuration des machines.
  • Reproductibilité : Si demain vous devez faire 3 environnements, vous n’aurez pas à refaire 3 codes si vous l’avez bien codé, évidemment.
  • Automatisation : C’est bien plus simple d’automatiser un processus reposant sur du code que des clics sur une interface graphique. Et cela ne s’arrête pas là, on peut aussi automatiser certains des points précédents grâce à ça.

Fais ton premier module

J’ai fini mon blabla historique, mais c’est toujours plus simple quand les enjeux et le but sont définis. Revenons à un sujet plus technique, comment faire son premier module Terraform. Si vous ne connaissez pas, les modules Terraform permettent de faire des ensembles de ressources packagés. Globalement, si vous êtes plus à l’aise avec le monde sur développement, cela équivaut à faire une librairie pour éviter de redévelopper la même chose à chaque projet.

Terraform n’est pas magique, on peut faire du mauvais code Terraform qui va complexifier l’exploitation alors que le but est totalement l’inverse. Pour cela il est important de faire un code clair, variabilisé et respectant un minimum les bonnes pratiques, certaines se retrouvent sur le site officiel. Une des bonnes pratiques est notamment de ne pas ré-écrire de code et de bien organiser celui-ci, pour cela Terraform vous propose de faire des modules ! Mais ce n’est pas forcément simple de débuter sur cette nouvelle notion, surtout si vous n’avez pas l’habitude de développer. C’est pour cette raison que nous allons le faire ensemble !

Pour faire notre premier module, je pense que le mieux est de prendre un exemple simple et d’en faire un module, réutilisable et efficace. Un exemple qui me semble parlant et simple est de faire un module permettant la création d’un site statique, comme ce blog.

Schéma module

On commence par le coeur de notre infrastructure : le bucket S3, c’est lui qui va héberger nos fichiers. On va donc créer 3 fichiers pour commencer : variables.tf, outputs.tf et main.tf. Nous allons y mettre le code de notre S3, en variabilisant ce qui est nécessaire. Voici ce que cela donne :

  • main.tf
ressource "aws_s3_bucket" "this" {
  bucket = var.name
  acl    = "public-read"

  cors_rule {
    allowed_headers = ["*"]
    allowed_methods = ["PUT", "POST"]
    allowed_origins = ["*"]
    expose_headers  = ["ETag"]
    max_age_seconds = 3000
  }

  policy = <<EOF
{
  "Id": "bucket_policy_site",
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "bucket_policy_site_main",
      "Action": [
        "s3:GetObject"
      ],
      "Effect": "Allow",
      "Resource": "arn:aws:s3:::${var.name}/*",
      "Principal": "*"
    }
  ]
}
EOF
  website {
    index_document = var.index
    error_document = var.error
  }

  tags = {
    name = var.name
  }
}

  • variables.tf
variable "mame" {
  description = "The name of the S3 bucket"
  type        = string
  default     = "static-blog"
}

variable "index" {
  description = "The name of website index files"
  type        = string
  default     = "index.html"
}

variable "error" {
  description = "The name of website error files"
  type        = string
  default     = "error.html"
}

  • outputs.tf

output "name" {
  description = "The name of S3 bucket"
  value       = var.name
}

J’ai volontairement mis uniquement le code des ressources, si vous souhaitez tester à cette étape, ajoutez votre provider AWS.

Comme vous pouvez l’observer, la structure est assez classique. On définit d’abord les paramètres dans le fichier variables.tf puis les sorties dans le fichier outputs.tf et pour finir le code principal du module dans le fichier main.tf.

Moduleception

Notre module va contenir plusieurs composants Cloudfront, S3 et ACM. Nous souhaitons garder un code propre et évolutif facilement donc nous allons déjà tout réorganiser. Ne vous inquiétez pas ça va être simple et efficace.

Revenons d’abord sur la notion de module dans Terraform. Ils peuvent avoir deux périmètres :

  • Locaux vous placez votre module directement dans un répertoire de votre projet et il sera réutilisable de l’extérieur, mais le versioning sera dépendant du projet courant. Il est donc préférable de réserver l’utilisation de ceux-ci au projet courant afin de structurer le code pour le rendre plus facilement maintenable et réutilisable. On pourrait comparer ceci avec les fonctions en développement. Pour appeler ce module, vous donnerez le chemin relatif de votre module.
  • Générique, votre module est conçu pour être utilisé par divers projets. Il sera indépendant du projet qui l’appelle. Pour appeler ce module, vous donnerez en général le répertoire Git de celui-ci. Je vous conseille fortement, en plus des bonnes pratiques d’utilisation de Git, d’apporter une grande importance au tagging des versions pour ce type de module. Cela permet de partager des parties de codes en les standardisant pour les utiliser dans plusieurs projets. En cas de mise à jour de Terraform ou du module, cela vous permettra de gérer aux mieux les différentes versions.

Pour vous donner l’exemple le plus complet possible, nous allons faire un projet générique que vous pourrez appeler à partir de votre propre projet Terraform. Pour organiser au mieux ce code, nous allons le découper lui-même en 3 modules locaux.

À vos claviers, CODEZ !

Voici l’arborescence que nous allons créer :

├── main.tf
├── variables.tf
├── outputs.tf
├── README.md
└── modules
    ├── cloudfront
    │   ├── main.tf
    │   ├── outputs.tf
    │   ├── README.md
    │   └── variables.tf
    ├── redirect
    │   ├── main.tf
    │   ├── outputs.tf
    │   ├── README.md
    │   └── variables.tf
    └── s3
        ├── main.tf
        ├── outputs.tf
        ├── README.md
        └── variables.tf

On remarque les 4 modules locaux, placés dans le dossier local du projet modules. Nous allons déplacer le code précédemment réalisé dans le module S3 afin d’organiser le code.

Dans le fichier main.tf principal, nous appellerons ce nouveau module comme il suit. Vous noterez la source qui est locale et relative au projet:

module "s3" {
  source  = "./modules/s3"

  name  = var.domain
  index = var.index
  error = var.error
}

On note aussi les paramètres permettant de passer des variables afin de rendre le code le plus générique et le plus réutilisable au possible.

Bien sûr, pour un exemple aussi simple il n’est pas recommandé de découper le code en autant de modules locaux, encore une fois cela est plus donné à titre d’exemple.

Vous pourrez ensuite placer ce code dans un répertoire Git et l’appeler à partir d’autre projet comme ceux-ci. Dans cet exemple on précise même un tag : source = "git@github.com:damyrfr/module-static-web.git?version=v1.2.0"

C’est aussi simple que cela. Je ne vais pas vous passer les différents modules en revue, il s’agit des mêmes principes. Si vous êtes intéressé, voici le lien du projet mod-terraform-static-site contenant l’ensemble du code présent sur mon GitHub DamyrFr. Celui-ci n’est pas parfait, n’hésitez donc pas à l’améliorer !

À retenir !

Conclusion Article Terraform

Comme vous l’avez vu, le principe des modules sous Terraform est assez simple. Je pense que leur utilisation est primordiale pour organiser son code et surtout favoriser la réutilisation de celui-ci. Néanmoins, même si la notion de module est simple il est nécessaire de bien variabiliser et standardiser celui-ci pour être efficace.

Je profite de cet article pour vous donner quelques petites habitudes qui me semblent importantes dans le cadre de développement Terraform :

  • Avant de commit son code toujours faire un petit terraform fmt, cela permet automatiquement de formater proprement le code.
  • Varibiliser votre code, sans cela vous aller souvent être amené à refaire des choses plusieurs fois, tout l’inverse de ce que l’on souhaite.
  • Documenter votre code, globalement, son utilisation et les entrées / sorties. Pour cela je vous invite à consulter la page du projet terraform-docs.
  • Placez votre code sur Git et surtout collaborez, travaillez sur des branches, faites des merges requests et des revues de code.
  • La plupart de ses actions peuvent être automatisées à partir de pre-hook-git, veuillez noter que le répertoire Git en contiens un. Pour cela je vous invite a lire cet article: Le Blog WeScale - Vers l’Infrastructure Craftsmanship avec les Git Hooks

Comme pour beaucoup de choses en informatique la meilleure solution pour progresser, c’est la pratique. Faites des modules, lisez les sources d’autres, proposez des merges requests.

30 Apr 2019, 06:21

AWS IoT button, tu cliques, tu déploies ! #Tutoriel

Pourquoi cette idée ?

Je me suis souvent demandé quand peut-on considérer être mature au niveau de notre chaîne CI / CD. Beaucoup de réponses existent, le nombre de déploiement, le ratio de succès etc… Mais bon, les KPIs (key performance indicator) c’est pas la solution la plus fun. J’ai donc cherché une autre solution, moins conventionnelle. Et je me suis dit que mettre un bouton physique au milieu du bureau permettant à n’importe qui de déclencher un pipeline de déploiement, était une preuve suffisante et assez fun pour être mise en place sur mon blog. Vous vous en doutez si vous lisez ces lignes, je vais expliquer comment j’ai fait et comment faire la même chose !

L’heure des choix

La première tâche fut de trouver un bouton physique me permettant de déclencher une action et répondant à quelques caractéristiques, être indépendant de mon téléphone ou ordinateur, coûter moins de 50€. J’ai fait quelques recherches et au vu de la stack de mon blog (AWS et Gitlab), j’ai très rapidement décidé d’acheter la solution d’AWS : AWS IoT Entreprise. Peu cher, il est totalement compatible avec la solution IoT Internet of Things d’AWS, il nécessite uniquement une connexion wifi. Le seul gros défaut étant la pile qui n’est pas remplaçable, mais assez endurante pour que je passe à l’achat (~3000 clics).

Voilà une petite photo du bouton (avec le guide plus que sommaire qui vous renvoie vers la documentation d’AWS) :

Le bouton AWS

Passage à l’action

Pour le fonctionnement ça va être assez simple, le bouton va en 1 clic déclencher l’API AWS IoT qui va executer une Lambda afin de lancer la pipeline Gitlab CI (grâce à l’API REST). Globalement on peut schématiser cela comme ci-dessous :

Schéma de la solution

La mise en place est rapide et bien documentée (Documentation Amazon). Mais je vais vous la détailler globalement.

Une fois que vous avez reçu votre bouton, la première étape est de le configurer afin qu’il accède au wifi afin d’interagir avec l’API AWS. Le plus simple pour ça est d’utiliser l’application Android / Appel 1-Click. Il suffira ensuite de vous connecter sur l’application et de scanner le code barre présent sur la boite, ensuite vous aurez juste à ajouter l’appareil et lui donner les informations du wifi. C’est aussi à partir de cette application que vous pouvez mettre à jour le firmware du bouton.

Une fois le bouton paramétré il faudra l’associer à votre compte AWS (à partir de là l’application n’est plus nécessaire). Il faudra juste vous rendre dans le service managé “IoT 1-Click” et entrer le numéro de série du bouton, il vous sera demandé de cliquer une fois sur le bouton pour valider l’association. Celui-ci va ensuite apparaitre dans l’interface AWS, en désactivé dans un premier temps il ne restera qu'à le sélectionner et faire activer.

Une fois le bouton enregistré, j’ai créé le token REST permettant de lancer le pipeline de déploiement Gitlab. Pour cela dans le projet Gitlab, je me suis rendu dans : “Settings => CI / CD => Pipeline triggers” et il a suffit de donner un nom et d’ajouter ce nouveau déclencheur. Il vous donne ensuite un token qu’il vous faut conserver pour déclencher la pipeline et quelques exemples.

Ensuite j’ai créé une fonction Lambda, il s’agit d’un service permettant d’executer un code donné à la volé. L’execution de celui-ci peut-être déclenchée par d’autres services AWS ou encore par l’API. Le code est assez simple et a uniquement pour but d’effectuer une requète POST sur API Gitlab. Pour cela j’ai écrit le code suivant (en Python 3) :

import urllib.request, urllib.parse, os

def lambda_handler(event, context):

    data = {
        'token' : os.environ['TOKEN'],
        'ref' : os.environ['REF']
    }

    data = bytes( urllib.parse.urlencode( data ).encode() )
    handler = urllib.request.urlopen( 'https://gitlab_URL.com/api/v4/projects/5/trigger/pipeline', data );

Le code est relativement simple, il récupère le token (généré précédemment) et la ref (tag ou branche) qui ont été placées dans des variables d’environnement avant de les envoyer au travers d’une requête POST à mon instance Gitlab. A ce stade on a notre bouton enregistré sur AWS, une Lambda qui peut à la demande déclencher une pipeline Gitlab à l’aide de l’API REST. Il ne reste qu'à faire le lien et pour cela nous allons retourner sur AWS IoT 1-Click.

Il vous suffit alors dans le service de créer un nouveau projet, de le nommer et ensuite il vous demandera ce que vous souhaitez déclencher au clic, vous avez plusieurs choix : envoyer un SMS, un mail ou lancer une Lambda. L’on choisi donc d’executer la Lambda précédemment créée.

Et voilà c’est tout ! À chaque clic désormais le bouton va exécuter la Lambda qui va lancer une pipeline Gitlab afin de déployer le blog DamyR.fr

Inutile donc indispensable ?

Au-delà du côté fun du projet, je pense que c’est une bonne introduction à l’IoT avec le cloud AWS. Et bon on va pas se le cacher, mais déployer à tout moment son site d’un clic de bouton sur son bureau c’est assez classe ;)

09 Apr 2019, 22:14

DevOps ou pas DevOps telle est la question

Le DevOps en 2019 ? Toujours à la mode ?

Hé oui, même si le mouvement a clairement bénéficié d’un gros effet de mode, il a su démontrer son utilité et efficacité ces dernières années. Étant un sujet que j’apprécie beaucoup, je trouvais intéressant de faire un état de l’art de celui-ci maintenant qu’il a atteint une certaine maturité.

Mais avant tout revenons à la base, qu’est ce que le DevOps ? Pour beaucoup en cette année 2019, cette question parait triviale mais j’ai remarqué que ce n’est pas toujours très clair et simple à comprendre.

DevOps késako ?

Je suis toujours surpris d’entendre des gens penser que le DevOps a pour vocation de remplacer les métiers de développeur et d’administrateur système par un unique métier générique. Cette confusion est encore assez régulière (notamment à cause de la composition du terme), surtout chez les personnes qui ne sont pas du métier (dirigeants, managers, commerciaux). J’aime donc utiliser cette métaphore, après tout un boulanger et un boucher font tout deux de la nourriture, mais ce n’est pas pour ça qu’un boucher saura vous réaliser une baguette. Alors, pour bien comprendre ce qu’est le DevOps, revenons quelques années en arrière.

      Il était une fois ….

Aux alentours de 2007, le marché du web s’est transformé et surtout il est devenu hyper concurrentiel. Il faut développer les nouvelles fonctionnalités plus rapidement que le concurrent pour s’adapter au marché afin de gagner plus de clientèle. Pour cela les méthodes Agile et particulièrement Scrum ont permises de s’adapter et de créer de manière itérative sur des durées réduites (sprints) des fonctionnalités et donc répondre aux besoins de développement rapides. Malheureusement cela ne répondais que partiellement au problème, les fonctionnalitées développées n'étant pas livrées au rythme des sprints. Les équipes d’administration système (ops) étant sur des cycles longs (comme le cycle en V) et pas assez outillés pour faire preuve d’agilité sur les déploiements applicatifs. Le temps entre l’imagination d’une fonctionnalité et son passage en production, aussi appelé Time to Market était resté élevé.

Infrastructure

Il faut bien comprendre que dans un marché aussi versatile que le web moderne, le Time to market est essentiel à la survie. Prenons un exemple, celui des sites de rencontre. C’est un modèle qui n’a dans un premier temps que peu évolué, les acteurs étant stables sur le marché et les sites similaires. Mais il y a quelques années un acteur est venu casser le marché, vous le connaissez au moins de nom Tinder, l’acteur à débarqué sur le marché des acteurs classiques avec un modèle très différent qui lui a permis de capter un grand nombre de client rapidement. Pour cela les sites de rencontre historiques, ont dû s’adapter rapidement pour continuer de fonctionner.

C’est pour répondre à ce problème que la culture DevOps s’est développée. Elle va promouvoir principalement deux choses, le rapprochement entre Dev et Ops afin d'échanger et de travailler ensemble et l’automatisation d’un maximum de tâches afin de pouvoir multiplier les déploiements. Pour faire cela, de nombreux outils vont apparaître comme Gitlab, Jenkins, Docker, Terraform, le cloud public, etc. et gagner en popularité. Les paradigmes comme par exemple l’Infra As Code ou encore le pet vs cattle vont eux aussi connaitre un fort succès.

      …tl dr

Le DevOps ce n’est pas une personne qui va remplacer vos développeurs et vos administrateurs par un métier générique, ni un moyen de réduire les coûts de projet. Le DevOps demande un coût plus important, notamment lors la mise en place des outils.

Alors qu’est-ce que le DevOps ? C’est une culture, un ‘mind-set’ qui vise à promouvoir le travail collaboratif entre les différentes équipes et l’automatisation maximum du cycle de déploiement afin de livrer régulièrement avec le moins de douleur possible.

DevOps quoi de neuf à l’horizon

      L'équipe s’agrandit !

Aujourd’hui le DevOps a un peu plus de 10 ans et il a beaucoup évolué durant ces années. On peut donc se demander si on a fait le tour des possibilités que le domaine offre. Comme nous l’avons vu dans la définition du DevOps, il s’agit de passer l’agilité à toutes les équipes (développeur et administrateur). Mais déployer régulièrement du code tout en conservant un certain niveau de qualité impacte d’autres équipes. Ces équipes notamment les équipes de test (QA) et les équipes de sécurité sont aujourd’hui en train de rejoindre cette démarche et de s’intégrer dans ce fonctionnement. Il est de plus en plus recommandé de penser à ces aspects dès le début et de les intégrer directement au processus de déploiement. Je conseil d’ailleurs fortement de mettre en place dans votre chaine CI des tests aussi bien unitaires, que end to end mais aussi, des scans de sécurité et d’autres automatismes.

      Ne parlez plus monitoring

Le DevOps a changé pas mal la manière de concevoir les applications les plus complexes. Rapidement l’approche microservice est apparue afin gérer des applicatifs avec un grand nombre d’interactions. Cela pose pas mal de problèmes notamment dans le monitoring où il ne suffit plus de se contenter du “bon vieux Nagios” qui va vérifier les ressources du système et nous dire si son état est “OK” ou “KO”. Pour cela il ne faut plus penser monitoring mais, observabilité. On ne va plus remonter l'état binaire d’un service mais, des métriques qui vont refléter son état. Par exemple, on peut relever sur un site commerçant le nombre de ventes ou de visites par minutes ce qui nous permettra de déduire le taux de transformation (visites converties en achats). Toutes ces métriques vont aussi nous permettre de déduire la santé du fonctionnement du système de manière plus précise ainsi que le temps de réponse des différents sevices.

Grafana

      Toi aussi optimise les coûts !

Le cloud a apporté beaucoup de flexibilité dans la gestion des ressources, il est aujourd’hui très simple de permettre à une infrastructure de se mettre à niveau en fonction de la demande. Cela permet de s’adapter au trafic à coût moindre. Mais aujourd’hui les factures des infrastructures sont très rapidement importantes, un nouvel aspect du métier est donc apparu, le FinOps. Son but est simple, faire autant ou plus pour moins en utilisant la flexibilité du cloud et donc optimiser la facture. L’un des exemples les plus connu est l’optimisation des environnements de préproduction, il est intéressant de les stopper en heure non ouvrées et d’utiliser des instances à bas coût sur AWS (instance Spot). Des optimisations de ce genre mises bout à bout à l'échelle d’un projet peuvent rapidement offrir de belles réductions qui sont très appréciées des entreprises.

That’s it ?

Le DevOps est aujourd’hui un sujet très complet et très diversifié aussi bien dans le nombre d’approches que dans les outils. Je suis loin d’en avoir fait le tour et un très grand nombre de pratiques n’ont pas été abordées. La plupart sont connues et déjà abordé par les grands groupes (Google, Amazon, Netflix etc…) qui mettent des moyens colossaux dans la R&D pour répondre à ces problématiques. Or aujourd’hui, il y a un réel enjeu à adapter cela sur d’autres entreprises et les accompagner sur cette transformation. Il s’agit bien sur une vision personnelle de ce domaine qui m’intéresse beaucoup et que je souhaitais partager avec vous.