20 % de remise sur toutes les offres payantes avec le code

Python · Amazon

Scraper Amazon avec Python

Le scraping d'Amazon commence souvent avec requests et BeautifulSoup, et se termine par une page de vérification anti-robot à la place des produits, des sélecteurs CSS qui ne correspondent plus après le prochain changement de mise en page et une liste de proxys qui ne cesse de s'allonger. Ce guide prend un chemin plus court : vous scrapez Amazon avec Python en demandant les données à l'API everydata.io, et vous les récupérez sous forme de JSON propre.

Vous construisez deux choses. D'abord un script qui scrape les résultats de recherche Amazon pour un mot-clé – titre, ASIN, prix, note, nombre d'avis et "bought in past month" pour chaque produit sur plusieurs pages – et les enregistre dans un fichier CSV. Ensuite une fonction qui récupère la page produit complète de n'importe quel ASIN : points clés, caractéristiques techniques, catégories, disponibilité et toutes les images.

Mis à jour le · par everydata.io

Ce que vous aurez à la fin

  • Un script Python qui scrape dans products.csv les résultats de recherche Amazon pour n'importe quel mot-clé.
  • Une fonction qui renvoie les données produit complètes d'un ASIN.
  • Une idée claire du coût d'une exécution et de la façon de gérer les erreurs et les limites de débit.

Ce dont vous avez besoin

  • Python 3.10 ou plus récent et le paquet requests (pip install requests).
  • Une clé API everydata.io gratuite – créez-la ici.
  • Un mot-clé à étudier, par exemple laptop, et la marketplace Amazon (com, de, co.uk …).

01Pourquoi scraper Amazon via une API plutôt que via le HTML ?

C'est possible. Un simple requests.get sur une page de recherche Amazon fonctionne quelques fois, puis Amazon peut répondre par une page de captcha ou un résultat vide au lieu des produits. Les prix se trouvent dans différents éléments HTML selon le type de produit, et chaque refonte casse vos sélecteurs. Maintenir un scraper en état de marche, c'est entretenir des parsers, des en-têtes et des proxys.

Avec l'API, everydata.io charge pour vous la page Amazon en direct et renvoie les champs en JSON. Votre code ne s'occupe que des données. Les réponses avec un statut 5xx (la page n'a pas pu être chargée) ne sont pas décomptées de votre quota.

02Gardez votre clé API hors du code

Copiez votre clé depuis le tableau de bord et placez-la dans une variable d'environnement : elle ne se retrouve ainsi jamais dans un fichier que vous partagez.

terminal
export EVERYDATA_API_KEY="ds_your_key"

04Scrapez plusieurs pages dans un fichier CSV

Parcourez maintenant les pages en boucle jusqu'à lastPage ou jusqu'à votre propre limite, ignorez les annonces et écrivez chaque produit dans products.csv. api_get attend quand vous envoyez trop de requêtes à la fois (statut 429, la réponse indique combien de secondes) et réessaie une fois une page qui n'a pas pu être chargée (5xx).

scrape_amazon.py
"""Scrape Amazon search results for a keyword into products.csv – several pages, no sponsored ads."""
import csv
import os
import re
import time

import requests

API = "https://api.everydata.io"
KEY = os.environ["EVERYDATA_API_KEY"]
KEYWORD = "laptop"
DOMAIN = "com"      # amazon.com – "de", "co.uk", "fr", "it" … for other marketplaces
MAX_PAGES = 3       # every page is one request


def api_get(path: str, params: dict) -> dict:
    """GET an everydata.io endpoint. Waits when rate limited (429) and retries a failed page load (5xx) once."""
    retried = False
    for _ in range(4):
        resp = requests.get(f"{API}{path}", params=params, headers={"x-api-key": KEY}, timeout=60)
        if resp.status_code == 429:
            wait = re.search(r"in (\d+) seconds", resp.text)
            time.sleep(int(wait.group(1)) + 1 if wait else 60)
            continue
        if resp.status_code >= 500 and not retried:
            retried = True  # 5xx answers are not counted against your quota
            time.sleep(10)
            continue
        resp.raise_for_status()
        return resp.json()
    raise RuntimeError("still rate limited after several waits – try again later")


def main() -> None:
    rows = []
    page, last_page = 1, 1
    while page <= min(last_page, MAX_PAGES):
        data = api_get("/amz/amazon-search-by-keyword-asin", {
            "keyword": KEYWORD, "domainCode": DOMAIN, "page": page,
            "sortBy": "relevanceblender", "excludeSponsored": "true",
        })
        last_page = data.get("lastPage") or 1
        for item in data.get("searchProductDetails", []):
            rows.append({
                "page": page,
                "asin": item["asin"],
                "title": item["productDescription"],
                "price": item.get("price") or "",
                "currency": item.get("currency") or "",
                "rating": item.get("productRating") or "",
                "reviews": item.get("countReview") or 0,
                "bought_last_month": item.get("salesVolume") or "",
                "prime": item.get("prime"),
                "url": f"https://www.amazon.{DOMAIN}{item['dpUrl']}",
            })
        page += 1

    with open("products.csv", "w", newline="") as f:
        writer = csv.DictWriter(f, fieldnames=list(rows[0]) if rows else ["asin"])
        writer.writeheader()
        writer.writerows(rows)
    print(f"{len(rows)} products from {page - 1} pages saved to products.csv")


if __name__ == "__main__":
    main()

sortBy accepte les mêmes tris que le menu de tri d'Amazon, par exemple relevanceblender (en vedette), price-asc-rank, price-desc-rank, review-rank et date-desc-rank ; /amz/sort-options les liste tous. Pour rester dans un rayon, passez un alias de recherche dans category (comme electronics) ou un identifiant browseNode.

price est un nombre dans la devise de la marketplace, et salesVolume est le libellé "bought in past month" d'Amazon, qui vaut null quand Amazon n'en affiche pas. Conservez l'ASIN : c'est la clé de tous les autres endpoints Amazon.

05Scraper les détails produit Amazon pour chaque ASIN

La vignette de recherche est succincte. Pour les points clés, les caractéristiques techniques, les catégories, la disponibilité et toutes les images, recherchez le produit par son ASIN. Ajoutez cette fonction au script ci-dessus et appelez-la pour les produits que vous voulez garder.

details.py
def product_details(asin: str) -> dict:
    p = api_get("/amz/amazon-lookup-product-by-asin", {"asin": asin, "domainCode": DOMAIN})
    return {
        "asin": p["asin"],
        "title": p["productTitle"],
        "brand_or_store": p.get("manufacturer"),
        "price": p.get("price") or None,      # 0 = no buyable price on the page right now
        "currency": p.get("currency"),
        "availability": p.get("warehouseAvailability"),
        "rating": p.get("productRating"),
        "reviews": p.get("countReview"),
        "bullets": p.get("features", []),
        "specs": {d["name"]: d["value"] for d in p.get("productDetails", [])},
        "categories": p.get("categories", []),
        "images": p.get("imageUrlList", []),
    }


# inside main(), after the search loop: details for the first ten search hits
for row in rows[:10]:
    print(product_details(row["asin"]))
Exemple de réponse · GET /amz/amazon-lookup-product-by-asin
{
  "responseStatus": "PRODUCT_FOUND_RESPONSE",
  "responseMessage": "Product successfully found!",
  "productTitle": "Apple iPhone 11, 64GB, Black - Unlocked (Renewed)",
  "manufacturer": "Visit the Amazon Renewed Store",
  "countReview": 60024,
  "productRating": "4.2 out of 5 stars",
  "asin": "B07ZPKN6YR",
  "warehouseAvailability": "This item cannot be shipped to your selected delivery location. Please choose a different delivery location.",
  "retailPrice": 0,
  "price": 0,
  "productDetails": [
    {
      "name": "Operating System",
      "value": "iOS 16"
    },
    {
      "name": "RAM Memory Installed",
      "value": "4 GB"
    }
  ],
  "categories": [
    "Cell Phones & Accessories",
    "Cell Phones"
  ]
}

price vaut 0 dans cet exemple, car la page n'affichait aucun prix d'achat – l'article ne pouvait pas être livré à l'adresse de livraison. Interprétez 0 comme « pas de prix pour l'instant », et non comme un produit gratuit.

06Avis Amazon, coûts et limites

Amazon n'affiche les listes d'avis complètes qu'aux utilisateurs connectés, et everydata.io ne se connecte pas. L'endpoint des avis répond avec responseStatus LOGIN_REQUIRED pour les listes d'avis ; la recherche de produit renvoie la note, le nombre d'avis et, dans reviews, les principaux avis affichés sur la page produit.

Chaque page de recherche et chaque recherche de produit compte pour une requête. Scraper trois pages pour un mot-clé et les détails des dix premiers produits représente 13 requêtes : l'offre gratuite de 100 requêtes par mois suffit donc pour quelques essais. Pour des exécutions quotidiennes, consultez les tarifs ; les erreurs côté Amazon ne sont jamais facturées.

  • Marketplaces : com, de, co.uk, fr, it et les autres domaines listés dans la documentation de l'API – les prix sont exprimés dans la devise de la marketplace.
  • Une page de recherche contient de 20 à 26 produits dans les exemples documentés, annonces comprises, sauf si vous les excluez.
  • Uniquement des données publiques : ce que tout visiteur voit sur la page Amazon, sans compte Amazon.

Endpoints utilisés dans ce guide

GET/amz/amazon-search-by-keyword-asin

Search Products · API Amazon

GET/amz/amazon-lookup-product-by-asin

Product Details by ASIN · API Amazon

GET/amz/sort-options

Sort Options · API Amazon

Tous les paramètres dans la référence de l’API

Essayez avec vos propres données

L’offre gratuite comprend 100 requêtes par mois, utilisables sur toutes les plateformes – de quoi suivre ce guide de bout en bout.