20 % Rabatt auf alle kostenpflichtigen Tarife mit dem Code

Python · Amazon

Amazon scrapen mit Python

Amazon-Scraping beginnt meist mit requests und BeautifulSoup und endet mit einer Roboter-Prüfseite statt Produkten, CSS-Selektoren, die nach der nächsten Layoutänderung nicht mehr greifen, und einer immer längeren Liste von Proxys. Diese Anleitung geht einen kürzeren Weg: Sie scrapen Amazon mit Python, indem Sie die Daten bei der everydata.io-API abfragen, und erhalten sie als sauberes JSON zurück.

Sie bauen zwei Dinge. Zuerst ein Skript, das Amazon-Suchergebnisse zu einem Keyword scrapt – Titel, ASIN, Preis, Sternebewertung, Anzahl der Bewertungen und "bought in past month" für jedes Produkt auf mehreren Seiten – und in einer CSV-Datei speichert. Dann eine Funktion, die zu jeder ASIN die vollständige Produktseite abruft: Bullet Points, technische Details, Kategorien, Verfügbarkeit und alle Bilder.

Aktualisiert am · von everydata.io

Was Sie am Ende haben

  • Ein Python-Skript, das Amazon-Suchergebnisse zu einem beliebigen Keyword in products.csv scrapt.
  • Eine Funktion, die alle Produktdaten zu einer ASIN zurückgibt.
  • Eine klare Vorstellung davon, was ein Durchlauf kostet und wie Sie mit Fehlern und Rate Limits umgehen.

Was Sie brauchen

  • Python 3.10 oder neuer und das Paket requests (pip install requests).
  • Ein kostenloser everydata.io-API-Schlüssel – hier anlegen.
  • Ein Keyword, das Sie recherchieren möchten, zum Beispiel laptop, und der Amazon-Marktplatz (com, de, co.uk …).

01Warum Amazon über eine API scrapen statt über das HTML?

Das geht. Ein einfaches requests.get auf eine Amazon-Suchseite funktioniert ein paar Mal, dann antwortet Amazon womöglich mit einer CAPTCHA-Seite oder einem leeren Ergebnis statt Produkten. Preise stehen je nach Produkttyp in verschiedenen HTML-Elementen, und jedes Redesign macht Ihre Selektoren kaputt. Einen Scraper am Laufen zu halten heißt, Parser, Header und Proxys zu pflegen.

Mit der API lädt everydata.io die Live-Seite von Amazon für Sie und gibt die Felder als JSON zurück. Ihr Code befasst sich nur mit Daten. Antworten mit einem 5xx-Status (die Seite konnte nicht geladen werden) werden nicht auf Ihr Kontingent angerechnet.

02Den API-Schlüssel aus dem Code heraushalten

Kopieren Sie Ihren Schlüssel aus dem Dashboard und legen Sie ihn in einer Umgebungsvariablen ab, damit er nie in einer Datei landet, die Sie weitergeben.

terminal
export EVERYDATA_API_KEY="ds_your_key"

04Mehrere Seiten in eine CSV-Datei scrapen

Gehen Sie nun in einer Schleife die Seiten bis lastPage oder bis zu Ihrem eigenen Limit durch, überspringen Sie die Anzeigen und schreiben Sie jedes Produkt in products.csv. api_get wartet, wenn Sie zu viele Anfragen auf einmal senden (Status 429, die Antwort nennt die Sekunden), und wiederholt eine Seite, die nicht geladen werden konnte (5xx), einmal.

scrape_amazon.py
"""Scrape Amazon search results for a keyword into products.csv – several pages, no sponsored ads."""
import csv
import os
import re
import time

import requests

API = "https://api.everydata.io"
KEY = os.environ["EVERYDATA_API_KEY"]
KEYWORD = "laptop"
DOMAIN = "com"      # amazon.com – "de", "co.uk", "fr", "it" … for other marketplaces
MAX_PAGES = 3       # every page is one request


def api_get(path: str, params: dict) -> dict:
    """GET an everydata.io endpoint. Waits when rate limited (429) and retries a failed page load (5xx) once."""
    retried = False
    for _ in range(4):
        resp = requests.get(f"{API}{path}", params=params, headers={"x-api-key": KEY}, timeout=60)
        if resp.status_code == 429:
            wait = re.search(r"in (\d+) seconds", resp.text)
            time.sleep(int(wait.group(1)) + 1 if wait else 60)
            continue
        if resp.status_code >= 500 and not retried:
            retried = True  # 5xx answers are not counted against your quota
            time.sleep(10)
            continue
        resp.raise_for_status()
        return resp.json()
    raise RuntimeError("still rate limited after several waits – try again later")


def main() -> None:
    rows = []
    page, last_page = 1, 1
    while page <= min(last_page, MAX_PAGES):
        data = api_get("/amz/amazon-search-by-keyword-asin", {
            "keyword": KEYWORD, "domainCode": DOMAIN, "page": page,
            "sortBy": "relevanceblender", "excludeSponsored": "true",
        })
        last_page = data.get("lastPage") or 1
        for item in data.get("searchProductDetails", []):
            rows.append({
                "page": page,
                "asin": item["asin"],
                "title": item["productDescription"],
                "price": item.get("price") or "",
                "currency": item.get("currency") or "",
                "rating": item.get("productRating") or "",
                "reviews": item.get("countReview") or 0,
                "bought_last_month": item.get("salesVolume") or "",
                "prime": item.get("prime"),
                "url": f"https://www.amazon.{DOMAIN}{item['dpUrl']}",
            })
        page += 1

    with open("products.csv", "w", newline="") as f:
        writer = csv.DictWriter(f, fieldnames=list(rows[0]) if rows else ["asin"])
        writer.writeheader()
        writer.writerows(rows)
    print(f"{len(rows)} products from {page - 1} pages saved to products.csv")


if __name__ == "__main__":
    main()

sortBy akzeptiert dieselben Sortierungen wie das Sortiermenü von Amazon, zum Beispiel relevanceblender (empfohlen), price-asc-rank, price-desc-rank, review-rank und date-desc-rank; /amz/sort-options listet alle auf. Um in einer Kategorie zu bleiben, übergeben Sie in category einen Such-Alias (etwa electronics) oder eine browseNode-ID.

price ist eine Zahl in der Währung des Marktplatzes, und salesVolume ist Amazons eigenes Label "bought in past month", das null ist, wenn Amazon keines anzeigt. Behalten Sie die ASIN – sie ist der Schlüssel für jeden anderen Amazon-Endpoint.

05Amazon-Produktdetails zu jeder ASIN scrapen

Die Suchkachel ist knapp. Für Bullet Points, technische Details, Kategorien, Verfügbarkeit und alle Bilder fragen Sie das Produkt per ASIN ab. Fügen Sie diese Funktion dem Skript oben hinzu und rufen Sie sie für die Produkte auf, die Sie behalten möchten.

details.py
def product_details(asin: str) -> dict:
    p = api_get("/amz/amazon-lookup-product-by-asin", {"asin": asin, "domainCode": DOMAIN})
    return {
        "asin": p["asin"],
        "title": p["productTitle"],
        "brand_or_store": p.get("manufacturer"),
        "price": p.get("price") or None,      # 0 = no buyable price on the page right now
        "currency": p.get("currency"),
        "availability": p.get("warehouseAvailability"),
        "rating": p.get("productRating"),
        "reviews": p.get("countReview"),
        "bullets": p.get("features", []),
        "specs": {d["name"]: d["value"] for d in p.get("productDetails", [])},
        "categories": p.get("categories", []),
        "images": p.get("imageUrlList", []),
    }


# inside main(), after the search loop: details for the first ten search hits
for row in rows[:10]:
    print(product_details(row["asin"]))
Beispielantwort · GET /amz/amazon-lookup-product-by-asin
{
  "responseStatus": "PRODUCT_FOUND_RESPONSE",
  "responseMessage": "Product successfully found!",
  "productTitle": "Apple iPhone 11, 64GB, Black - Unlocked (Renewed)",
  "manufacturer": "Visit the Amazon Renewed Store",
  "countReview": 60024,
  "productRating": "4.2 out of 5 stars",
  "asin": "B07ZPKN6YR",
  "warehouseAvailability": "This item cannot be shipped to your selected delivery location. Please choose a different delivery location.",
  "retailPrice": 0,
  "price": 0,
  "productDetails": [
    {
      "name": "Operating System",
      "value": "iOS 16"
    },
    {
      "name": "RAM Memory Installed",
      "value": "4 GB"
    }
  ],
  "categories": [
    "Cell Phones & Accessories",
    "Cell Phones"
  ]
}

price ist in diesem Beispiel 0, weil die Seite keinen kaufbaren Preis zeigte – der Artikel konnte nicht an den Lieferort versendet werden. Behandeln Sie 0 als „derzeit kein Preis“, nicht als kostenloses Produkt.

06Amazon-Rezensionen, Kosten und Limits

Vollständige Rezensionslisten zeigt Amazon nur angemeldeten Nutzern, und everydata.io meldet sich nicht an. Der Rezensions-Endpoint antwortet bei Rezensionslisten mit responseStatus LOGIN_REQUIRED; die Produktabfrage liefert die Bewertung, die Anzahl der Bewertungen und in reviews die Top-Rezensionen, die die Produktseite zeigt.

Jede Suchseite und jede Produktabfrage ist eine Anfrage. Drei Seiten zu einem Keyword plus die Details der ersten zehn Produkte ergeben 13 Anfragen – der kostenlose Tarif mit 100 Anfragen pro Monat reicht also für ein paar Testläufe. Für tägliche Läufe siehe Preise; Fehler auf Amazons Seite werden nie berechnet.

  • Marktplätze: com, de, co.uk, fr, it und die anderen in der API-Dokumentation aufgeführten Domains – Preise kommen in der Währung des jeweiligen Marktplatzes.
  • Eine Suchseite enthält in den dokumentierten Beispielen 20 bis 26 Produkte, Anzeigen eingeschlossen, sofern Sie sie nicht ausschließen.
  • Nur öffentliche Daten: was jeder Besucher auf der Amazon-Seite sieht, ohne Amazon-Konto.

In dieser Anleitung verwendete Endpoints

GET/amz/amazon-search-by-keyword-asin

Search Products · Amazon API

GET/amz/amazon-lookup-product-by-asin

Product Details by ASIN · Amazon API

GET/amz/sort-options

Sort Options · Amazon API

Alle Parameter in der API-Referenz

Probieren Sie es mit Ihren eigenen Daten

Der kostenlose Tarif enthält 100 Anfragen pro Monat, nutzbar auf jeder Plattform – genug, um diese Anleitung vollständig durchzuspielen.