Python · Amazon
Scraper Amazon avec Python
Le scraping d'Amazon commence souvent avec requests et BeautifulSoup, et se termine par une page de vérification anti-robot à la place des produits, des sélecteurs CSS qui ne correspondent plus après le prochain changement de mise en page et une liste de proxys qui ne cesse de s'allonger. Ce guide prend un chemin plus court : vous scrapez Amazon avec Python en demandant les données à l'API everydata.io, et vous les récupérez sous forme de JSON propre.
Vous construisez deux choses. D'abord un script qui scrape les résultats de recherche Amazon pour un mot-clé – titre, ASIN, prix, note, nombre d'avis et "bought in past month" pour chaque produit sur plusieurs pages – et les enregistre dans un fichier CSV. Ensuite une fonction qui récupère la page produit complète de n'importe quel ASIN : points clés, caractéristiques techniques, catégories, disponibilité et toutes les images.
Mis à jour le · par everydata.io
Ce que vous aurez à la fin
- Un script Python qui scrape dans products.csv les résultats de recherche Amazon pour n'importe quel mot-clé.
- Une fonction qui renvoie les données produit complètes d'un ASIN.
- Une idée claire du coût d'une exécution et de la façon de gérer les erreurs et les limites de débit.
Ce dont vous avez besoin
- Python 3.10 ou plus récent et le paquet
requests(pip install requests). - Une clé API everydata.io gratuite – créez-la ici.
- Un mot-clé à étudier, par exemple
laptop, et la marketplace Amazon (com,de,co.uk…).
01Pourquoi scraper Amazon via une API plutôt que via le HTML ?
C'est possible. Un simple requests.get sur une page de recherche Amazon fonctionne quelques fois, puis Amazon peut répondre par une page de captcha ou un résultat vide au lieu des produits. Les prix se trouvent dans différents éléments HTML selon le type de produit, et chaque refonte casse vos sélecteurs. Maintenir un scraper en état de marche, c'est entretenir des parsers, des en-têtes et des proxys.
Avec l'API, everydata.io charge pour vous la page Amazon en direct et renvoie les champs en JSON. Votre code ne s'occupe que des données. Les réponses avec un statut 5xx (la page n'a pas pu être chargée) ne sont pas décomptées de votre quota.
02Gardez votre clé API hors du code
Copiez votre clé depuis le tableau de bord et placez-la dans une variable d'environnement : elle ne se retrouve ainsi jamais dans un fichier que vous partagez.
export EVERYDATA_API_KEY="ds_your_key"03Scraper les résultats de recherche Amazon : une page
L'endpoint de recherche prend un keyword, la marketplace dans domainCode et un numéro de page dans page. Il renvoie les ASIN de tous les produits de cette page et, dans searchProductDetails, une entrée par produit avec les données affichées sur la vignette de résultat.
import os
import requests
API = "https://api.everydata.io"
KEY = os.environ["EVERYDATA_API_KEY"]
resp = requests.get(
f"{API}/amz/amazon-search-by-keyword-asin",
params={"keyword": "laptop", "domainCode": "com", "page": 1},
headers={"x-api-key": KEY},
timeout=60,
)
resp.raise_for_status()
data = resp.json()
print(data["resultCount"], "results,", data["lastPage"], "pages")
for item in data["searchProductDetails"]:
print(item["asin"], item["price"], item["currency"], item["productRating"], item["productDescription"][:60])Voici une version abrégée de l'exemple documenté pour le mot-clé laptop sur amazon.com :
{
"responseStatus": "PRODUCT_FOUND_RESPONSE",
"responseMessage": "Product successfully found!",
"sortStrategy": "relevanceblender",
"domainCode": "com",
"keyword": "laptop",
"numberOfProducts": 26,
"numberOfSponsoredProducts": 6,
"resultCount": 100000,
"searchProductDetails": [
{
"productDescription": "Acer Aspire 14 AI Copilot+ PC - Intel Core Ultra 5 226V & 14” WUXGA Touch - NPU: Up to 40 Tops - GPU: Up to 53 Tops | Intel Arc 130V | 16GB LPDDR5X | 1TB Gen 4 SSD | Wi-Fi 6E | A14-52MT-59DP",
"asin": "B0FGJ14KRX",
"countReview": 20,
"price": 548.44,
"retailPrice": 0,
"productRating": "4.0 out of 5 stars",
"prime": false,
"dpUrl": "/dp/B0FGJ14KRX",
"salesVolume": "50+ bought in past month",
"sponsored": true,
"currency": "USD"
}
],
"currentPage": 1,
"lastPage": 20
}Le premier produit de l'exemple a sponsored: true – c'est une annonce. Amazon mêle des annonces aux résultats ; numberOfSponsoredProducts indique combien la page en contient. Envoyez excludeSponsored=true si vous ne voulez que les résultats organiques.
04Scrapez plusieurs pages dans un fichier CSV
Parcourez maintenant les pages en boucle jusqu'à lastPage ou jusqu'à votre propre limite, ignorez les annonces et écrivez chaque produit dans products.csv. api_get attend quand vous envoyez trop de requêtes à la fois (statut 429, la réponse indique combien de secondes) et réessaie une fois une page qui n'a pas pu être chargée (5xx).
"""Scrape Amazon search results for a keyword into products.csv – several pages, no sponsored ads."""
import csv
import os
import re
import time
import requests
API = "https://api.everydata.io"
KEY = os.environ["EVERYDATA_API_KEY"]
KEYWORD = "laptop"
DOMAIN = "com" # amazon.com – "de", "co.uk", "fr", "it" … for other marketplaces
MAX_PAGES = 3 # every page is one request
def api_get(path: str, params: dict) -> dict:
"""GET an everydata.io endpoint. Waits when rate limited (429) and retries a failed page load (5xx) once."""
retried = False
for _ in range(4):
resp = requests.get(f"{API}{path}", params=params, headers={"x-api-key": KEY}, timeout=60)
if resp.status_code == 429:
wait = re.search(r"in (\d+) seconds", resp.text)
time.sleep(int(wait.group(1)) + 1 if wait else 60)
continue
if resp.status_code >= 500 and not retried:
retried = True # 5xx answers are not counted against your quota
time.sleep(10)
continue
resp.raise_for_status()
return resp.json()
raise RuntimeError("still rate limited after several waits – try again later")
def main() -> None:
rows = []
page, last_page = 1, 1
while page <= min(last_page, MAX_PAGES):
data = api_get("/amz/amazon-search-by-keyword-asin", {
"keyword": KEYWORD, "domainCode": DOMAIN, "page": page,
"sortBy": "relevanceblender", "excludeSponsored": "true",
})
last_page = data.get("lastPage") or 1
for item in data.get("searchProductDetails", []):
rows.append({
"page": page,
"asin": item["asin"],
"title": item["productDescription"],
"price": item.get("price") or "",
"currency": item.get("currency") or "",
"rating": item.get("productRating") or "",
"reviews": item.get("countReview") or 0,
"bought_last_month": item.get("salesVolume") or "",
"prime": item.get("prime"),
"url": f"https://www.amazon.{DOMAIN}{item['dpUrl']}",
})
page += 1
with open("products.csv", "w", newline="") as f:
writer = csv.DictWriter(f, fieldnames=list(rows[0]) if rows else ["asin"])
writer.writeheader()
writer.writerows(rows)
print(f"{len(rows)} products from {page - 1} pages saved to products.csv")
if __name__ == "__main__":
main()sortBy accepte les mêmes tris que le menu de tri d'Amazon, par exemple relevanceblender (en vedette), price-asc-rank, price-desc-rank, review-rank et date-desc-rank ; /amz/sort-options les liste tous. Pour rester dans un rayon, passez un alias de recherche dans category (comme electronics) ou un identifiant browseNode.
price est un nombre dans la devise de la marketplace, et salesVolume est le libellé "bought in past month" d'Amazon, qui vaut null quand Amazon n'en affiche pas. Conservez l'ASIN : c'est la clé de tous les autres endpoints Amazon.
05Scraper les détails produit Amazon pour chaque ASIN
La vignette de recherche est succincte. Pour les points clés, les caractéristiques techniques, les catégories, la disponibilité et toutes les images, recherchez le produit par son ASIN. Ajoutez cette fonction au script ci-dessus et appelez-la pour les produits que vous voulez garder.
def product_details(asin: str) -> dict:
p = api_get("/amz/amazon-lookup-product-by-asin", {"asin": asin, "domainCode": DOMAIN})
return {
"asin": p["asin"],
"title": p["productTitle"],
"brand_or_store": p.get("manufacturer"),
"price": p.get("price") or None, # 0 = no buyable price on the page right now
"currency": p.get("currency"),
"availability": p.get("warehouseAvailability"),
"rating": p.get("productRating"),
"reviews": p.get("countReview"),
"bullets": p.get("features", []),
"specs": {d["name"]: d["value"] for d in p.get("productDetails", [])},
"categories": p.get("categories", []),
"images": p.get("imageUrlList", []),
}
# inside main(), after the search loop: details for the first ten search hits
for row in rows[:10]:
print(product_details(row["asin"])){
"responseStatus": "PRODUCT_FOUND_RESPONSE",
"responseMessage": "Product successfully found!",
"productTitle": "Apple iPhone 11, 64GB, Black - Unlocked (Renewed)",
"manufacturer": "Visit the Amazon Renewed Store",
"countReview": 60024,
"productRating": "4.2 out of 5 stars",
"asin": "B07ZPKN6YR",
"warehouseAvailability": "This item cannot be shipped to your selected delivery location. Please choose a different delivery location.",
"retailPrice": 0,
"price": 0,
"productDetails": [
{
"name": "Operating System",
"value": "iOS 16"
},
{
"name": "RAM Memory Installed",
"value": "4 GB"
}
],
"categories": [
"Cell Phones & Accessories",
"Cell Phones"
]
}price vaut 0 dans cet exemple, car la page n'affichait aucun prix d'achat – l'article ne pouvait pas être livré à l'adresse de livraison. Interprétez 0 comme « pas de prix pour l'instant », et non comme un produit gratuit.
06Avis Amazon, coûts et limites
Amazon n'affiche les listes d'avis complètes qu'aux utilisateurs connectés, et everydata.io ne se connecte pas. L'endpoint des avis répond avec responseStatus LOGIN_REQUIRED pour les listes d'avis ; la recherche de produit renvoie la note, le nombre d'avis et, dans reviews, les principaux avis affichés sur la page produit.
Chaque page de recherche et chaque recherche de produit compte pour une requête. Scraper trois pages pour un mot-clé et les détails des dix premiers produits représente 13 requêtes : l'offre gratuite de 100 requêtes par mois suffit donc pour quelques essais. Pour des exécutions quotidiennes, consultez les tarifs ; les erreurs côté Amazon ne sont jamais facturées.
- Marketplaces :
com,de,co.uk,fr,itet les autres domaines listés dans la documentation de l'API – les prix sont exprimés dans la devise de la marketplace. - Une page de recherche contient de 20 à 26 produits dans les exemples documentés, annonces comprises, sauf si vous les excluez.
- Uniquement des données publiques : ce que tout visiteur voit sur la page Amazon, sans compte Amazon.
Endpoints utilisés dans ce guide
Search Products · API Amazon
Product Details by ASIN · API Amazon
Sort Options · API Amazon
Ce que vous pouvez faire d’autre avec ces données
API de recherche Amazon : résultats par mot-clé en JSON avec ASIN, prix, notes, badge Prime, volume de ventes et produits sponsorisés, toutes marketplaces.
API produits Amazon au lieu d'un scraper : titre, marque, prix, note, images, points clés, specs, variantes et meilleurs avis en JSON, par URL ou ASIN.
Suivi des prix Amazon par API : prix de la Buy Box, prix barré, stock et historique des prix par ASIN en JSON, 15+ marketplaces. 100 appels gratuits/mois.
Récupérez toute liste des meilleures ventes Amazon en JSON : rang, ASIN, titre, prix, note et nombre d'avis pour chaque catégorie et chaque marketplace.
Essayez avec vos propres données
L’offre gratuite comprend 100 requêtes par mois, utilisables sur toutes les plateformes – de quoi suivre ce guide de bout en bout.