Python · Amazon
Amazon scrapen mit Python
Amazon-Scraping beginnt meist mit requests und BeautifulSoup und endet mit einer Roboter-Prüfseite statt Produkten, CSS-Selektoren, die nach der nächsten Layoutänderung nicht mehr greifen, und einer immer längeren Liste von Proxys. Diese Anleitung geht einen kürzeren Weg: Sie scrapen Amazon mit Python, indem Sie die Daten bei der everydata.io-API abfragen, und erhalten sie als sauberes JSON zurück.
Sie bauen zwei Dinge. Zuerst ein Skript, das Amazon-Suchergebnisse zu einem Keyword scrapt – Titel, ASIN, Preis, Sternebewertung, Anzahl der Bewertungen und "bought in past month" für jedes Produkt auf mehreren Seiten – und in einer CSV-Datei speichert. Dann eine Funktion, die zu jeder ASIN die vollständige Produktseite abruft: Bullet Points, technische Details, Kategorien, Verfügbarkeit und alle Bilder.
Aktualisiert am · von everydata.io
Was Sie am Ende haben
- Ein Python-Skript, das Amazon-Suchergebnisse zu einem beliebigen Keyword in products.csv scrapt.
- Eine Funktion, die alle Produktdaten zu einer ASIN zurückgibt.
- Eine klare Vorstellung davon, was ein Durchlauf kostet und wie Sie mit Fehlern und Rate Limits umgehen.
Was Sie brauchen
- Python 3.10 oder neuer und das Paket
requests(pip install requests). - Ein kostenloser everydata.io-API-Schlüssel – hier anlegen.
- Ein Keyword, das Sie recherchieren möchten, zum Beispiel
laptop, und der Amazon-Marktplatz (com,de,co.uk…).
01Warum Amazon über eine API scrapen statt über das HTML?
Das geht. Ein einfaches requests.get auf eine Amazon-Suchseite funktioniert ein paar Mal, dann antwortet Amazon womöglich mit einer CAPTCHA-Seite oder einem leeren Ergebnis statt Produkten. Preise stehen je nach Produkttyp in verschiedenen HTML-Elementen, und jedes Redesign macht Ihre Selektoren kaputt. Einen Scraper am Laufen zu halten heißt, Parser, Header und Proxys zu pflegen.
Mit der API lädt everydata.io die Live-Seite von Amazon für Sie und gibt die Felder als JSON zurück. Ihr Code befasst sich nur mit Daten. Antworten mit einem 5xx-Status (die Seite konnte nicht geladen werden) werden nicht auf Ihr Kontingent angerechnet.
02Den API-Schlüssel aus dem Code heraushalten
Kopieren Sie Ihren Schlüssel aus dem Dashboard und legen Sie ihn in einer Umgebungsvariablen ab, damit er nie in einer Datei landet, die Sie weitergeben.
export EVERYDATA_API_KEY="ds_your_key"03Amazon-Suchergebnisse scrapen: eine Seite
Der Such-Endpoint erwartet ein keyword, den Marktplatz in domainCode und eine Seitennummer in page. Er liefert die ASINs aller Produkte auf dieser Seite und in searchProductDetails einen Eintrag pro Produkt mit den Daten, die die Ergebniskachel zeigt.
import os
import requests
API = "https://api.everydata.io"
KEY = os.environ["EVERYDATA_API_KEY"]
resp = requests.get(
f"{API}/amz/amazon-search-by-keyword-asin",
params={"keyword": "laptop", "domainCode": "com", "page": 1},
headers={"x-api-key": KEY},
timeout=60,
)
resp.raise_for_status()
data = resp.json()
print(data["resultCount"], "results,", data["lastPage"], "pages")
for item in data["searchProductDetails"]:
print(item["asin"], item["price"], item["currency"], item["productRating"], item["productDescription"][:60])Hier eine gekürzte Fassung des dokumentierten Beispiels für das Keyword laptop auf amazon.com:
{
"responseStatus": "PRODUCT_FOUND_RESPONSE",
"responseMessage": "Product successfully found!",
"sortStrategy": "relevanceblender",
"domainCode": "com",
"keyword": "laptop",
"numberOfProducts": 26,
"numberOfSponsoredProducts": 6,
"resultCount": 100000,
"searchProductDetails": [
{
"productDescription": "Acer Aspire 14 AI Copilot+ PC - Intel Core Ultra 5 226V & 14” WUXGA Touch - NPU: Up to 40 Tops - GPU: Up to 53 Tops | Intel Arc 130V | 16GB LPDDR5X | 1TB Gen 4 SSD | Wi-Fi 6E | A14-52MT-59DP",
"asin": "B0FGJ14KRX",
"countReview": 20,
"price": 548.44,
"retailPrice": 0,
"productRating": "4.0 out of 5 stars",
"prime": false,
"dpUrl": "/dp/B0FGJ14KRX",
"salesVolume": "50+ bought in past month",
"sponsored": true,
"currency": "USD"
}
],
"currentPage": 1,
"lastPage": 20
}Das erste Produkt im Beispiel hat sponsored: true – es ist eine Anzeige. Amazon mischt Anzeigen unter die Ergebnisse; numberOfSponsoredProducts gibt an, wie viele auf der Seite sind. Senden Sie excludeSponsored=true, wenn Sie nur organische Ergebnisse möchten.
04Mehrere Seiten in eine CSV-Datei scrapen
Gehen Sie nun in einer Schleife die Seiten bis lastPage oder bis zu Ihrem eigenen Limit durch, überspringen Sie die Anzeigen und schreiben Sie jedes Produkt in products.csv. api_get wartet, wenn Sie zu viele Anfragen auf einmal senden (Status 429, die Antwort nennt die Sekunden), und wiederholt eine Seite, die nicht geladen werden konnte (5xx), einmal.
"""Scrape Amazon search results for a keyword into products.csv – several pages, no sponsored ads."""
import csv
import os
import re
import time
import requests
API = "https://api.everydata.io"
KEY = os.environ["EVERYDATA_API_KEY"]
KEYWORD = "laptop"
DOMAIN = "com" # amazon.com – "de", "co.uk", "fr", "it" … for other marketplaces
MAX_PAGES = 3 # every page is one request
def api_get(path: str, params: dict) -> dict:
"""GET an everydata.io endpoint. Waits when rate limited (429) and retries a failed page load (5xx) once."""
retried = False
for _ in range(4):
resp = requests.get(f"{API}{path}", params=params, headers={"x-api-key": KEY}, timeout=60)
if resp.status_code == 429:
wait = re.search(r"in (\d+) seconds", resp.text)
time.sleep(int(wait.group(1)) + 1 if wait else 60)
continue
if resp.status_code >= 500 and not retried:
retried = True # 5xx answers are not counted against your quota
time.sleep(10)
continue
resp.raise_for_status()
return resp.json()
raise RuntimeError("still rate limited after several waits – try again later")
def main() -> None:
rows = []
page, last_page = 1, 1
while page <= min(last_page, MAX_PAGES):
data = api_get("/amz/amazon-search-by-keyword-asin", {
"keyword": KEYWORD, "domainCode": DOMAIN, "page": page,
"sortBy": "relevanceblender", "excludeSponsored": "true",
})
last_page = data.get("lastPage") or 1
for item in data.get("searchProductDetails", []):
rows.append({
"page": page,
"asin": item["asin"],
"title": item["productDescription"],
"price": item.get("price") or "",
"currency": item.get("currency") or "",
"rating": item.get("productRating") or "",
"reviews": item.get("countReview") or 0,
"bought_last_month": item.get("salesVolume") or "",
"prime": item.get("prime"),
"url": f"https://www.amazon.{DOMAIN}{item['dpUrl']}",
})
page += 1
with open("products.csv", "w", newline="") as f:
writer = csv.DictWriter(f, fieldnames=list(rows[0]) if rows else ["asin"])
writer.writeheader()
writer.writerows(rows)
print(f"{len(rows)} products from {page - 1} pages saved to products.csv")
if __name__ == "__main__":
main()sortBy akzeptiert dieselben Sortierungen wie das Sortiermenü von Amazon, zum Beispiel relevanceblender (empfohlen), price-asc-rank, price-desc-rank, review-rank und date-desc-rank; /amz/sort-options listet alle auf. Um in einer Kategorie zu bleiben, übergeben Sie in category einen Such-Alias (etwa electronics) oder eine browseNode-ID.
price ist eine Zahl in der Währung des Marktplatzes, und salesVolume ist Amazons eigenes Label "bought in past month", das null ist, wenn Amazon keines anzeigt. Behalten Sie die ASIN – sie ist der Schlüssel für jeden anderen Amazon-Endpoint.
05Amazon-Produktdetails zu jeder ASIN scrapen
Die Suchkachel ist knapp. Für Bullet Points, technische Details, Kategorien, Verfügbarkeit und alle Bilder fragen Sie das Produkt per ASIN ab. Fügen Sie diese Funktion dem Skript oben hinzu und rufen Sie sie für die Produkte auf, die Sie behalten möchten.
def product_details(asin: str) -> dict:
p = api_get("/amz/amazon-lookup-product-by-asin", {"asin": asin, "domainCode": DOMAIN})
return {
"asin": p["asin"],
"title": p["productTitle"],
"brand_or_store": p.get("manufacturer"),
"price": p.get("price") or None, # 0 = no buyable price on the page right now
"currency": p.get("currency"),
"availability": p.get("warehouseAvailability"),
"rating": p.get("productRating"),
"reviews": p.get("countReview"),
"bullets": p.get("features", []),
"specs": {d["name"]: d["value"] for d in p.get("productDetails", [])},
"categories": p.get("categories", []),
"images": p.get("imageUrlList", []),
}
# inside main(), after the search loop: details for the first ten search hits
for row in rows[:10]:
print(product_details(row["asin"])){
"responseStatus": "PRODUCT_FOUND_RESPONSE",
"responseMessage": "Product successfully found!",
"productTitle": "Apple iPhone 11, 64GB, Black - Unlocked (Renewed)",
"manufacturer": "Visit the Amazon Renewed Store",
"countReview": 60024,
"productRating": "4.2 out of 5 stars",
"asin": "B07ZPKN6YR",
"warehouseAvailability": "This item cannot be shipped to your selected delivery location. Please choose a different delivery location.",
"retailPrice": 0,
"price": 0,
"productDetails": [
{
"name": "Operating System",
"value": "iOS 16"
},
{
"name": "RAM Memory Installed",
"value": "4 GB"
}
],
"categories": [
"Cell Phones & Accessories",
"Cell Phones"
]
}price ist in diesem Beispiel 0, weil die Seite keinen kaufbaren Preis zeigte – der Artikel konnte nicht an den Lieferort versendet werden. Behandeln Sie 0 als „derzeit kein Preis“, nicht als kostenloses Produkt.
06Amazon-Rezensionen, Kosten und Limits
Vollständige Rezensionslisten zeigt Amazon nur angemeldeten Nutzern, und everydata.io meldet sich nicht an. Der Rezensions-Endpoint antwortet bei Rezensionslisten mit responseStatus LOGIN_REQUIRED; die Produktabfrage liefert die Bewertung, die Anzahl der Bewertungen und in reviews die Top-Rezensionen, die die Produktseite zeigt.
Jede Suchseite und jede Produktabfrage ist eine Anfrage. Drei Seiten zu einem Keyword plus die Details der ersten zehn Produkte ergeben 13 Anfragen – der kostenlose Tarif mit 100 Anfragen pro Monat reicht also für ein paar Testläufe. Für tägliche Läufe siehe Preise; Fehler auf Amazons Seite werden nie berechnet.
- Marktplätze:
com,de,co.uk,fr,itund die anderen in der API-Dokumentation aufgeführten Domains – Preise kommen in der Währung des jeweiligen Marktplatzes. - Eine Suchseite enthält in den dokumentierten Beispielen 20 bis 26 Produkte, Anzeigen eingeschlossen, sofern Sie sie nicht ausschließen.
- Nur öffentliche Daten: was jeder Besucher auf der Amazon-Seite sieht, ohne Amazon-Konto.
In dieser Anleitung verwendete Endpoints
Search Products · Amazon API
Product Details by ASIN · Amazon API
Sort Options · Amazon API
Was Sie mit diesen Daten noch machen können
Amazon Such-API: Suchergebnisse zu jedem Keyword als JSON mit ASINs, Preisen, Bewertungen, Prime-Flag, Verkaufsvolumen und Anzeigen-Markierung.
Amazon Produkt API statt Scraper: Titel, Marke, Preis, Bewertung, Bilder, Bullet Points, Specs, Varianten und Top-Rezensionen als JSON, per URL oder ASIN.
Amazon Preistracker per API: Buy-Box-Preis, Listenpreis, Bestand und Preisverlauf pro ASIN als JSON, auf 15+ Marktplätzen. 100 Aufrufe im Monat gratis.
Jede Amazon-Bestsellerliste als JSON: Rangplätze mit ASIN, Titel, Preis, Bewertung und Anzahl der Rezensionen – für jede Kategorie und jeden Marktplatz.
Probieren Sie es mit Ihren eigenen Daten
Der kostenlose Tarif enthält 100 Anfragen pro Monat, nutzbar auf jeder Plattform – genug, um diese Anleitung vollständig durchzuspielen.