Scraping authentifié

Apprenez à extraire du contenu derrière une authentification à l’aide de cookies

Important : N’utilisez le scraping authentifié que sur des systèmes pour lesquels vous avez une autorisation explicite des deux parties (vous-même et le propriétaire de la plateforme), tels que des outils internes auto‑hébergés ou des ressources que vous contrôlez entièrement. N’activez l’authentification sur des plateformes que si vous êtes certain qu’elle respecte les conditions d’utilisation du site, et obtenez une autorisation écrite en cas de doute. Une utilisation inappropriée des cookies de session peut enfreindre des conditions d’utilisation ou des lois ; vérifiez toujours que vous êtes autorisé à accéder au contenu protégé de cette manière.

​

Vue d’ensemble

L’approche recommandée pour un scraping authentifié est l’authentification par cookie, qui consiste à :

1. Vous connecter manuellement à votre application
2. Extraire le cookie de session depuis les DevTools
3. Utiliser ce cookie avec Firecrawl pour accéder aux pages protégées

Durées d’expiration des cookies :

• Outils internes : souvent 7 à 30 jours, voire plus
• Autres outils : souvent quelques heures ou minutes

Les outils internes ont généralement des cookies avec une durée de vie plus longue, ce qui rend cette méthode idéale pour des tâches de scraping récurrentes.

---

​

Configuration

1. Obtenir votre clé API

   Récupérez votre clé API Firecrawl sur firecrawl.dev/app

2. Installer les dépendances

   npm

   npm install @mendable/firecrawl-js
   

   Node.js < v20 : Si vous utilisez Node.js 19 ou une version antérieure, vous devrez également installer dotenv :

   npm install dotenv
   

   puis l’importer au début de votre fichier avec import 'dotenv/config'.

3. Configurer l’environnement

   Créez un fichier .env :

   .env

   FIRECRAWL_API_KEY=your_firecrawl_api_key
   

---

​

Méthode 1 : authentification par cookie

​

Étape 1 : Extraire les cookies depuis DevTools

Application de démonstration : vous pouvez vous entraîner avec notre application de démonstration sur https://firecrawl-auth.vercel.app

• E-mail : [e-mail]
• Mot de passe : password123

1. Se connecter à votre application

   Rendez-vous sur https://firecrawl-auth.vercel.app et connectez-vous avec les identifiants ci-dessus

2. Ouvrir DevTools

   Appuyez sur F12 ou faites un clic droit → « Inspecter »

3. Accéder à l’onglet Application

   Cliquez sur l’onglet Application (Chrome) ou Storage (Firefox)

4. Trouver et copier le cookie

   1. Développez Cookies dans la barre latérale
   2. Cliquez sur votre domaine
   3. Recherchez le cookie auth-token
   4. Double-cliquez sur la valeur et copiez-la

   

Pour l’application de démonstration, le cookie ressemble à :

auth-token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJ1c2VySWQiOiJleGFtcGxlLXVzZXItaWQiLCJlbWFpbCI6InRlc3RAZXhhbXBsZS5jb20ifQ.example-signature-hash

Important : Les cookies sont des informations d’authentification sensibles. Ne les partagez jamais publiquement et ne les enregistrez pas dans le système de contrôle de version. Traitez-les comme des mots de passe.

​

Étape 2 : Utiliser les cookies avec Firecrawl

import FirecrawlApp from "@mendable/firecrawl-js";

const app = new FirecrawlApp({
  apiKey: process.env.FIRECRAWL_API_KEY
});

const result = await app.scrape("https://firecrawl-auth.vercel.app/dashboard", {
  formats: ["markdown", "screenshot"],
  headers: {
    Cookie: 'auth-token=COOKIE_GOES_HERE'
  },
  waitFor: 3000, // Attendre 3 secondes supplémentaires pour le chargement de la page
});

console.log("=== Markdown ===\n" + result.markdown + "\n\n=== Screenshot URL ===\n" + result.screenshot);

​

Bonnes pratiques

Sécurité des cookies

• Stockez les cookies dans des variables d’environnement
• Ne commitez jamais de cookies dans Git
• Faites tourner/renouvelez les cookies régulièrement
• Utilisez .gitignore pour les fichiers .env

Expiration des cookies

• Vérifiez les dates d’expiration dans DevTools
• Configurez des alertes avant l’expiration
• Ré-extrayez les cookies à leur expiration
• Envisagez l’authentification par formulaire pour les cookies de courte durée

Limitation de débit

• Respectez les limites de taux de l’application
• Ajoutez des délais entre les requêtes
• Surveillez les erreurs 429 (Too Many Requests)
• Utilisez un backoff exponentiel pour les nouvelles tentatives

Gestion des erreurs

• Vérifiez les erreurs 401/403 (cookies expirés)
• Validez le contenu de la réponse
• Consignez les échecs d’authentification
• Prévoyez des méthodes d’authentification de secours

---

​

Dépannage

Erreurs 401 Unauthorized

Causes possibles :

• Le cookie a expiré
• Le cookie a été copié de manière incorrecte
• L’application nécessite des en-têtes supplémentaires
• La session a été invalidée sur le serveur

Solutions :

• Réextraites les cookies depuis DevTools après une nouvelle connexion
• Vérifiez si plusieurs cookies sont nécessaires (session + jeton CSRF)
• Vérifiez que le domaine du cookie correspond à votre URL cible

Le cookie ne fonctionne pas

À vérifier :

• Le nom du cookie est-il correct ?
• Avez-vous copié l’intégralité de la valeur du cookie ?
• Le cookie a-t-il le bon domaine ?
• Y a-t-il une restriction de Path sur le cookie ?
• Plusieurs cookies sont-ils nécessaires ?

Astuce : Copiez tous les cookies depuis DevTools et testez avec l’ensemble, puis supprimez-les un par un pour identifier ceux qui sont nécessaires.

La session expire trop rapidement

Pour les sessions de courte durée :

• Préférez l’authentification par formulaire
• Automatisez la connexion avec des actions
• Configurez une tâche cron pour actualiser les cookies
• Envisagez de demander des durées de session plus longues à l’administrateur de votre outil interne

Durée de vie des cookies pour les outils internes : De nombreux outils internes définissent des cookies avec une expiration de 7 à 30 jours, ce qui les rend idéaux pour des tâches de scraping récurrentes. Vérifiez le champ Expires de votre cookie dans DevTools pour connaître sa durée de validité.