Surveillez gratuitement la disponibilité de votre site avec Apify et Integromat

Il existe de nombreux services de surveillance de la disponibilité, malheureusement, la plupart d'entre eux nécessitent un abonnement mensuel. Les quelques sites gratuits qui semblent en fait assez fiables n'offrent pas beaucoup de contrôle sur la façon dont votre site Web est vérifié. Mon service de surveillance préféré était Pingdom, mais ils ont récemment interrompu leur forfait gratuit, ce qui m'a obligé à chercher quelque chose de nouveau. Après quelques expérimentations, j'ai pu configurer Apify et Integromat de manière à répondre à mes besoins de surveillance.

Voici d'abord une petite introduction des deux services :

Apifier

Apify est une "plate-forme de scraping et d'automatisation Web". Fondamentalement, il vous permet d'explorer n'importe quel site Web et de convertir les informations disponibles en une API facile à utiliser. Par exemple, Google n'a pas d'API officielle pour récupérer les résultats de recherche, la seule option est donc de récupérer le code HTML des SERP de Google et d'extraire les données dont vous avez besoin. Apify peut facilement automatiser ce processus pour vous. Dans notre cas, nous le configurerons pour explorer notre propre site Web afin de voir s'il est en ligne.

Intégromat

Ce service est une plateforme d'automatisation en ligne. Il vous permet de définir des actions qui sont exécutées sur certains déclencheurs. Par exemple, vous pouvez définir un scénario dans lequel une nouvelle tâche est créée dans une application de liste de tâches dès que quelqu'un soumet un formulaire Google. En d'autres termes, il intègre des services qui ne communiquent pas directement entre eux.

Pour notre scénario, nous utiliserons Integromat pour envoyer des notifications lorsqu'Apify remarque un problème.

Présentation du processus

Voici un bref aperçu de la façon dont cela va fonctionner :

• Apify explorera une page de votre site Web à intervalles réguliers et recherchera un mot-clé
• Un module dans Integromat recevra les résultats à la fin de chaque crawl
• Un filtre vérifiera les données d'exploration pour voir si le site Web est hors ligne ou si le mot-clé requis n'est pas trouvé
• Si le site Web est hors ligne, le filtre laissera s'exécuter un deuxième module Integromat et vous enverra une notification

Commençons!

Configurer Apify

• Créez un compte Apify gratuit ou connectez-vous si vous en avez déjà un

• Accédez à la section des robots d'exploration de votre compte et créez un nouveau robot d'exploration

• Dans l'onglet des paramètres de base, ajoutez un nom pour votre crawler

• Entrez l'URL que vous souhaitez vérifier dans le champ "URL de démarrage"

• Supprimez tout du champ "Éléments cliquables" car nous ne voulons pas que le crawler se déplace sur le site. Nous voulons juste vérifier une seule page.

• Dans la zone "Fonction de page", ajoutez le code suivant. Il vérifiera le corps de la page pour le mot-clé "VOTRE MOT-CLÉ ICI". Assurez-vous de le remplacer par votre propre mot-clé.

 function pageFunction(context) { // called on every page the crawler visits, use it to extract data from it var $ = context.jQuery; var result = { title: $('title').text(), online: $('body').text().indexOf('YOUR KEYWORD HERE') !== -1 ? '1' : '0' }; return result; }

• Passez à l'onglet des paramètres avancés

• Définissez "Max pages per crawl" sur un car nous ne voulons vérifier qu'une seule page

• Enregistrer les paramètres du robot d'exploration

• Passez à l'onglet Exécuter la console

• Cliquez sur le bouton Exécuter et assurez-vous que les valeurs correctes sont affichées sous les résultats

• Sélectionnez "Horaires" dans la barre latérale et cliquez sur "Créer un nouveau"

• Dans le champ "Expression Cron" sous l'onglet "Paramètres", entrez @hourly et enregistrez les paramètres

• Passez à l'onglet "Crawlers", ajoutez votre crawler et enregistrez. Maintenant, votre nouveau robot s'exécutera toutes les heures.

Configuration de l'intégrateur

• Créez un compte Integromat gratuit ou connectez-vous si vous en avez déjà un

• Cliquez sur le bouton créer un nouveau scénario dans le coin supérieur droit de l'écran

• Il vous sera demandé « Quels services souhaitez-vous intégrer ? ». Sélectionnez Apify et appuyez sur continuer

• Cliquez sur le point d'interrogation au milieu de l'écran et sélectionnez Apify

• Sélectionnez "Watch Crawler Executions" sous les déclencheurs

• Lorsque vous êtes invité à créer un webhook, cliquez sur le bouton "Ajouter"

• Dans la fenêtre contextuelle "Ajouter un crochet", cliquez sur le bouton "Ajouter" sous "Connexion"

• Dans la fenêtre contextuelle "Créer une connexion", ajoutez vos informations d'identification Apify et cliquez sur Continuer. Vous pouvez obtenir l'"ID utilisateur" et le "jeton API" sous Account > Integrations dans votre compte Apify.

• Une fois qu'une connexion a été ajoutée, sélectionnez le robot d'exploration Apify que vous avez créé à l'étape précédente dans la liste déroulante "Crawler".

• Cliquez sur « Enregistrer » dans la fenêtre contextuelle « Ajouter un crochet »

• Cliquez sur "OK" dans la fenêtre principale d'Apify

• Le nouveau webhook est maintenant prêt. Ouf!

Vous avez maintenant créé avec succès un écouteur pour vos crawls Apify. Vous devez maintenant ajouter une action à la fin d'un crawl. Pour cela, vous devez ajouter un autre module. Ici, vous avez le choix d'ajouter le module que vous souhaitez. Vous pouvez choisir d'ajouter un module Gmail pour envoyer des notifications dans votre boîte de réception. Je vais ignorer les instructions pour cette partie car les instructions à l'écran sont assez explicites. Personnellement, j'ai choisi Slack comme deuxième module car je n'étais pas à l'aise de donner à un tiers un accès à ma messagerie.

Une fois que vous avez ajouté le deuxième module, cliquez sur les trois points reliant les deux modules et ajoutez ces valeurs :

Cela signifie que vous ne voulez que le deuxième module s'exécute que si les données de crawl envoyées par Apify n'ont pas l'attribut 'online' (pour les erreurs de timeout du serveur, etc.), ou s'il existe un attribut 'online' disponible mais sa valeur est égale à 0 (la page s'est bien chargée mais le mot-clé n'a pas été trouvé).

Essai

Ouvrez les paramètres de votre robot d'exploration Apify et enregistrez une URL inaccessible en tant que valeur du champ "URL de démarrage". Désormais, lorsque vous exécutez un nouveau crawl, il échouera de manière prévisible, le deuxième module d'Integromat se déclenchera et vous recevrez une nouvelle notification !

C'est tout! Votre site Web est maintenant surveillé 24 heures sur 24 et vous n'avez pas à payer un seul dollar. N'hésitez pas à explorer les deux services mentionnés dans cet article pour trouver des options et des cas d'utilisation plus impressionnants.