Python · Amazon
Scraping Amazon con Python
Lo scraping di Amazon di solito comincia con requests e BeautifulSoup e finisce con una pagina di verifica anti-robot al posto dei prodotti, selettori CSS che smettono di funzionare al successivo cambio di layout e un elenco di proxy sempre più lungo. Questa guida prende una strada più breve: fai scraping di Amazon con Python chiedendo i dati all'API di everydata.io e li ricevi come JSON pulito.
Costruisci due cose. Prima uno script che estrae i risultati di ricerca Amazon per una parola chiave – titolo, ASIN, prezzo, valutazione, numero di recensioni e "bought in past month" per ogni prodotto su più pagine – e li salva in un file CSV. Poi una funzione che recupera la pagina prodotto completa di qualsiasi ASIN: punti elenco, dettagli tecnici, categorie, disponibilità e tutte le immagini.
Aggiornato il · di everydata.io
Cosa avrai alla fine
- Uno script Python che estrae in products.csv i risultati di ricerca Amazon per qualsiasi parola chiave.
- Una funzione che restituisce i dati completi di un prodotto a partire dall'ASIN.
- Un'idea chiara di quanto costa un'esecuzione e di come gestire errori e rate limit.
Cosa ti serve
- Python 3.10 o superiore e il pacchetto
requests(pip install requests). - Una chiave API gratuita di everydata.io – creala qui.
- Una parola chiave da analizzare, per esempio
laptop, e il marketplace Amazon (com,de,co.uk…).
01Perché fare scraping di Amazon tramite API invece che dall'HTML?
Puoi farlo. Un semplice requests.get su una pagina di ricerca Amazon funziona qualche volta, poi Amazon può rispondere con una pagina captcha o un risultato vuoto invece dei prodotti. I prezzi si trovano in diversi elementi HTML a seconda del tipo di prodotto, e ogni restyling rompe i tuoi selettori. Tenere in vita uno scraper significa mantenere parser, header e proxy.
Con l'API, everydata.io carica per te la pagina Amazon live e restituisce i campi in JSON. Il tuo codice si occupa solo dei dati. Le risposte con stato 5xx (la pagina non è stata caricata) non vengono scalate dalla tua quota.
02Tieni la chiave API fuori dal codice
Copia la chiave dalla dashboard e salvala in una variabile d'ambiente, così non finisce mai in un file che condividi.
export EVERYDATA_API_KEY="ds_your_key"03Scraping dei risultati di ricerca Amazon: una pagina
L'endpoint di ricerca accetta un keyword, il marketplace in domainCode e un numero di pagina in page. Restituisce gli ASIN di tutti i prodotti della pagina e, in searchProductDetails, una voce per prodotto con i dati mostrati nel riquadro del risultato.
import os
import requests
API = "https://api.everydata.io"
KEY = os.environ["EVERYDATA_API_KEY"]
resp = requests.get(
f"{API}/amz/amazon-search-by-keyword-asin",
params={"keyword": "laptop", "domainCode": "com", "page": 1},
headers={"x-api-key": KEY},
timeout=60,
)
resp.raise_for_status()
data = resp.json()
print(data["resultCount"], "results,", data["lastPage"], "pages")
for item in data["searchProductDetails"]:
print(item["asin"], item["price"], item["currency"], item["productRating"], item["productDescription"][:60])Ecco una versione ridotta dell'esempio documentato per la parola chiave laptop su amazon.com:
{
"responseStatus": "PRODUCT_FOUND_RESPONSE",
"responseMessage": "Product successfully found!",
"sortStrategy": "relevanceblender",
"domainCode": "com",
"keyword": "laptop",
"numberOfProducts": 26,
"numberOfSponsoredProducts": 6,
"resultCount": 100000,
"searchProductDetails": [
{
"productDescription": "Acer Aspire 14 AI Copilot+ PC - Intel Core Ultra 5 226V & 14” WUXGA Touch - NPU: Up to 40 Tops - GPU: Up to 53 Tops | Intel Arc 130V | 16GB LPDDR5X | 1TB Gen 4 SSD | Wi-Fi 6E | A14-52MT-59DP",
"asin": "B0FGJ14KRX",
"countReview": 20,
"price": 548.44,
"retailPrice": 0,
"productRating": "4.0 out of 5 stars",
"prime": false,
"dpUrl": "/dp/B0FGJ14KRX",
"salesVolume": "50+ bought in past month",
"sponsored": true,
"currency": "USD"
}
],
"currentPage": 1,
"lastPage": 20
}Il primo prodotto dell'esempio ha sponsored: true: è un annuncio. Amazon mescola annunci ai risultati; numberOfSponsoredProducts indica quanti ce ne sono nella pagina. Invia excludeSponsored=true se vuoi solo risultati organici.
04Estrai più pagine in un file CSV
Ora scorri le pagine in un ciclo fino a lastPage o al tuo limite, salta gli annunci e scrivi ogni prodotto in products.csv. api_get attende quando invii troppe richieste insieme (stato 429, la risposta indica quanti secondi) e ritenta una volta una pagina che non è stato possibile caricare (5xx).
"""Scrape Amazon search results for a keyword into products.csv – several pages, no sponsored ads."""
import csv
import os
import re
import time
import requests
API = "https://api.everydata.io"
KEY = os.environ["EVERYDATA_API_KEY"]
KEYWORD = "laptop"
DOMAIN = "com" # amazon.com – "de", "co.uk", "fr", "it" … for other marketplaces
MAX_PAGES = 3 # every page is one request
def api_get(path: str, params: dict) -> dict:
"""GET an everydata.io endpoint. Waits when rate limited (429) and retries a failed page load (5xx) once."""
retried = False
for _ in range(4):
resp = requests.get(f"{API}{path}", params=params, headers={"x-api-key": KEY}, timeout=60)
if resp.status_code == 429:
wait = re.search(r"in (\d+) seconds", resp.text)
time.sleep(int(wait.group(1)) + 1 if wait else 60)
continue
if resp.status_code >= 500 and not retried:
retried = True # 5xx answers are not counted against your quota
time.sleep(10)
continue
resp.raise_for_status()
return resp.json()
raise RuntimeError("still rate limited after several waits – try again later")
def main() -> None:
rows = []
page, last_page = 1, 1
while page <= min(last_page, MAX_PAGES):
data = api_get("/amz/amazon-search-by-keyword-asin", {
"keyword": KEYWORD, "domainCode": DOMAIN, "page": page,
"sortBy": "relevanceblender", "excludeSponsored": "true",
})
last_page = data.get("lastPage") or 1
for item in data.get("searchProductDetails", []):
rows.append({
"page": page,
"asin": item["asin"],
"title": item["productDescription"],
"price": item.get("price") or "",
"currency": item.get("currency") or "",
"rating": item.get("productRating") or "",
"reviews": item.get("countReview") or 0,
"bought_last_month": item.get("salesVolume") or "",
"prime": item.get("prime"),
"url": f"https://www.amazon.{DOMAIN}{item['dpUrl']}",
})
page += 1
with open("products.csv", "w", newline="") as f:
writer = csv.DictWriter(f, fieldnames=list(rows[0]) if rows else ["asin"])
writer.writeheader()
writer.writerows(rows)
print(f"{len(rows)} products from {page - 1} pages saved to products.csv")
if __name__ == "__main__":
main()sortBy accetta gli stessi ordinamenti del menu di ordinamento di Amazon, per esempio relevanceblender (in primo piano), price-asc-rank, price-desc-rank, review-rank e date-desc-rank; /amz/sort-options li elenca tutti. Per restare in un reparto, passa un alias di ricerca in category (come electronics) oppure un id browseNode.
price è un numero nella valuta del marketplace e salesVolume è l'etichetta "bought in past month" di Amazon stessa, che vale null quando Amazon non ne mostra. Conserva l'ASIN: è la chiave per tutti gli altri endpoint Amazon.
05Scraping dei dettagli prodotto Amazon per ogni ASIN
Il riquadro della ricerca è sintetico. Per punti elenco, dettagli tecnici, categorie, disponibilità e tutte le immagini, cerca il prodotto tramite ASIN. Aggiungi questa funzione allo script qui sopra e chiamala per i prodotti che vuoi tenere.
def product_details(asin: str) -> dict:
p = api_get("/amz/amazon-lookup-product-by-asin", {"asin": asin, "domainCode": DOMAIN})
return {
"asin": p["asin"],
"title": p["productTitle"],
"brand_or_store": p.get("manufacturer"),
"price": p.get("price") or None, # 0 = no buyable price on the page right now
"currency": p.get("currency"),
"availability": p.get("warehouseAvailability"),
"rating": p.get("productRating"),
"reviews": p.get("countReview"),
"bullets": p.get("features", []),
"specs": {d["name"]: d["value"] for d in p.get("productDetails", [])},
"categories": p.get("categories", []),
"images": p.get("imageUrlList", []),
}
# inside main(), after the search loop: details for the first ten search hits
for row in rows[:10]:
print(product_details(row["asin"])){
"responseStatus": "PRODUCT_FOUND_RESPONSE",
"responseMessage": "Product successfully found!",
"productTitle": "Apple iPhone 11, 64GB, Black - Unlocked (Renewed)",
"manufacturer": "Visit the Amazon Renewed Store",
"countReview": 60024,
"productRating": "4.2 out of 5 stars",
"asin": "B07ZPKN6YR",
"warehouseAvailability": "This item cannot be shipped to your selected delivery location. Please choose a different delivery location.",
"retailPrice": 0,
"price": 0,
"productDetails": [
{
"name": "Operating System",
"value": "iOS 16"
},
{
"name": "RAM Memory Installed",
"value": "4 GB"
}
],
"categories": [
"Cell Phones & Accessories",
"Cell Phones"
]
}In questo esempio price è 0 perché la pagina non mostrava un prezzo d'acquisto: l'articolo non poteva essere spedito al luogo di consegna. Considera 0 come "nessun prezzo al momento", non come un prodotto gratuito.
06Recensioni Amazon, costi e limiti
Amazon mostra gli elenchi completi delle recensioni solo agli utenti che hanno effettuato l'accesso, ed everydata.io non effettua l'accesso. L'endpoint delle recensioni risponde con responseStatus LOGIN_REQUIRED per gli elenchi di recensioni; il lookup del prodotto restituisce la valutazione, il numero di recensioni e, in reviews, le recensioni principali mostrate nella pagina prodotto.
Ogni pagina di ricerca e ogni lookup di prodotto è una richiesta. Estrarre tre pagine per una parola chiave e i dettagli dei primi dieci prodotti costa 13 richieste, quindi il piano gratuito da 100 richieste al mese basta per qualche test. Per esecuzioni giornaliere vedi i prezzi; gli errori lato Amazon non vengono mai addebitati.
- Marketplace:
com,de,co.uk,fr,ite gli altri domini elencati nella documentazione dell'API – i prezzi sono nella valuta del marketplace. - Negli esempi documentati una pagina di ricerca contiene da 20 a 26 prodotti, annunci inclusi se non li escludi.
- Solo dati pubblici: ciò che qualsiasi visitatore vede nella pagina Amazon, senza un account Amazon.
Endpoint usati in questa guida
Search Products · API Amazon
Product Details by ASIN · API Amazon
Sort Options · API Amazon
Cos'altro puoi fare con questi dati
Amazon Search API: risultati per parola chiave in JSON con ASIN, prezzi, valutazioni, flag Prime, volume di vendita e sponsorizzati, su ogni marketplace.
Amazon Product API invece di uno scraper: titolo, marchio, prezzo, rating, immagini, punti elenco, specifiche, varianti e recensioni in JSON per URL o ASIN
Amazon price tracker via API: prezzo buy box live, listino, disponibilità e storico prezzi per ASIN in JSON, 15+ marketplace. 100 chiamate gratis al mese.
Qualsiasi lista Bestseller di Amazon in JSON: posizioni con ASIN, titolo, prezzo, valutazione e numero di recensioni per ogni categoria e marketplace.
Provalo con i tuoi dati
Il piano gratuito include 100 richieste al mese, utilizzabili su ogni piattaforma – abbastanza per seguire questa guida dall'inizio alla fine.