20 % de desconto em todos os planos pagos com o código

Python · Amazon

Como fazer scraping da Amazon com Python

Fazer scraping da Amazon normalmente começa com requests e BeautifulSoup e termina com uma página de verificação anti-robô no lugar dos produtos, seletores CSS que param de funcionar na próxima mudança de layout e uma lista cada vez maior de proxies. Este guia segue um caminho mais curto: você faz scraping da Amazon com Python pedindo os dados à API da everydata.io e os recebe de volta como JSON limpo.

Você vai criar duas coisas. Primeiro, um script que extrai os resultados de busca da Amazon para uma palavra-chave – título, ASIN, preço, nota, número de avaliações e "bought in past month" de cada produto em várias páginas – e os salva em um arquivo CSV. Depois, uma função que busca a página de produto completa de qualquer ASIN: bullet points, detalhes técnicos, categorias, disponibilidade e todas as imagens.

Atualizado em · por everydata.io

O que você terá no final

  • Um script em Python que extrai para o products.csv os resultados de busca da Amazon de qualquer palavra-chave.
  • Uma função que retorna os dados completos de um produto pelo ASIN.
  • Uma ideia clara de quanto custa uma execução e de como lidar com erros e limites de taxa.

O que você precisa

  • Python 3.10 ou mais recente e o pacote requests (pip install requests).
  • Uma chave de API gratuita da everydata.io – crie uma aqui.
  • Uma palavra-chave que você quer pesquisar, por exemplo laptop, e o marketplace da Amazon (com, de, co.uk …).

01Por que fazer scraping da Amazon por uma API em vez do HTML?

Dá para fazer. Um simples requests.get em uma página de busca da Amazon funciona algumas vezes; depois a Amazon pode responder com uma página de captcha ou um resultado vazio em vez de produtos. Os preços ficam em vários elementos HTML diferentes conforme o tipo de produto, e cada redesign quebra seus seletores. Manter um scraper funcionando significa manter parsers, headers e proxies.

Com a API, a everydata.io carrega a página ao vivo da Amazon para você e devolve os campos em JSON. Seu código só lida com dados. Respostas com status 5xx (a página não pôde ser carregada) não são descontadas da sua cota.

02Mantenha sua chave de API fora do código

Copie sua chave no painel e coloque-a em uma variável de ambiente, para que ela nunca acabe em um arquivo que você compartilha.

terminal
export EVERYDATA_API_KEY="ds_your_key"

04Extraia várias páginas para um arquivo CSV

Agora percorra as páginas em um loop até lastPage ou até o seu próprio limite, pule os anúncios e grave cada produto em products.csv. api_get espera quando você envia requisições demais de uma vez (status 429, a resposta diz quantos segundos) e tenta de novo, uma vez, uma página que não carregou (5xx).

scrape_amazon.py
"""Scrape Amazon search results for a keyword into products.csv – several pages, no sponsored ads."""
import csv
import os
import re
import time

import requests

API = "https://api.everydata.io"
KEY = os.environ["EVERYDATA_API_KEY"]
KEYWORD = "laptop"
DOMAIN = "com"      # amazon.com – "de", "co.uk", "fr", "it" … for other marketplaces
MAX_PAGES = 3       # every page is one request


def api_get(path: str, params: dict) -> dict:
    """GET an everydata.io endpoint. Waits when rate limited (429) and retries a failed page load (5xx) once."""
    retried = False
    for _ in range(4):
        resp = requests.get(f"{API}{path}", params=params, headers={"x-api-key": KEY}, timeout=60)
        if resp.status_code == 429:
            wait = re.search(r"in (\d+) seconds", resp.text)
            time.sleep(int(wait.group(1)) + 1 if wait else 60)
            continue
        if resp.status_code >= 500 and not retried:
            retried = True  # 5xx answers are not counted against your quota
            time.sleep(10)
            continue
        resp.raise_for_status()
        return resp.json()
    raise RuntimeError("still rate limited after several waits – try again later")


def main() -> None:
    rows = []
    page, last_page = 1, 1
    while page <= min(last_page, MAX_PAGES):
        data = api_get("/amz/amazon-search-by-keyword-asin", {
            "keyword": KEYWORD, "domainCode": DOMAIN, "page": page,
            "sortBy": "relevanceblender", "excludeSponsored": "true",
        })
        last_page = data.get("lastPage") or 1
        for item in data.get("searchProductDetails", []):
            rows.append({
                "page": page,
                "asin": item["asin"],
                "title": item["productDescription"],
                "price": item.get("price") or "",
                "currency": item.get("currency") or "",
                "rating": item.get("productRating") or "",
                "reviews": item.get("countReview") or 0,
                "bought_last_month": item.get("salesVolume") or "",
                "prime": item.get("prime"),
                "url": f"https://www.amazon.{DOMAIN}{item['dpUrl']}",
            })
        page += 1

    with open("products.csv", "w", newline="") as f:
        writer = csv.DictWriter(f, fieldnames=list(rows[0]) if rows else ["asin"])
        writer.writeheader()
        writer.writerows(rows)
    print(f"{len(rows)} products from {page - 1} pages saved to products.csv")


if __name__ == "__main__":
    main()

sortBy aceita as mesmas ordenações do menu de ordenação da Amazon, por exemplo relevanceblender (em destaque), price-asc-rank, price-desc-rank, review-rank e date-desc-rank; /amz/sort-options lista todas. Para ficar dentro de um departamento, passe um alias de busca em category (como electronics) ou um id de browseNode.

price é um número na moeda do marketplace, e salesVolume é o rótulo "bought in past month" da própria Amazon, que fica null quando a Amazon não mostra nenhum. Guarde o ASIN – ele é a chave para todos os outros endpoints da Amazon.

05Scraping dos detalhes de produto da Amazon por ASIN

O card da busca é resumido. Para bullet points, detalhes técnicos, categorias, disponibilidade e todas as imagens, consulte o produto pelo ASIN. Adicione esta função ao script acima e chame-a para os produtos que você quer manter.

details.py
def product_details(asin: str) -> dict:
    p = api_get("/amz/amazon-lookup-product-by-asin", {"asin": asin, "domainCode": DOMAIN})
    return {
        "asin": p["asin"],
        "title": p["productTitle"],
        "brand_or_store": p.get("manufacturer"),
        "price": p.get("price") or None,      # 0 = no buyable price on the page right now
        "currency": p.get("currency"),
        "availability": p.get("warehouseAvailability"),
        "rating": p.get("productRating"),
        "reviews": p.get("countReview"),
        "bullets": p.get("features", []),
        "specs": {d["name"]: d["value"] for d in p.get("productDetails", [])},
        "categories": p.get("categories", []),
        "images": p.get("imageUrlList", []),
    }


# inside main(), after the search loop: details for the first ten search hits
for row in rows[:10]:
    print(product_details(row["asin"]))
Resposta de exemplo · GET /amz/amazon-lookup-product-by-asin
{
  "responseStatus": "PRODUCT_FOUND_RESPONSE",
  "responseMessage": "Product successfully found!",
  "productTitle": "Apple iPhone 11, 64GB, Black - Unlocked (Renewed)",
  "manufacturer": "Visit the Amazon Renewed Store",
  "countReview": 60024,
  "productRating": "4.2 out of 5 stars",
  "asin": "B07ZPKN6YR",
  "warehouseAvailability": "This item cannot be shipped to your selected delivery location. Please choose a different delivery location.",
  "retailPrice": 0,
  "price": 0,
  "productDetails": [
    {
      "name": "Operating System",
      "value": "iOS 16"
    },
    {
      "name": "RAM Memory Installed",
      "value": "4 GB"
    }
  ],
  "categories": [
    "Cell Phones & Accessories",
    "Cell Phones"
  ]
}

price é 0 neste exemplo porque a página não mostrava nenhum preço de compra – o item não podia ser enviado para o local de entrega. Trate 0 como “sem preço no momento”, não como um produto grátis.

06Avaliações da Amazon, custos e limites

A Amazon só mostra as listas completas de avaliações para usuários logados, e a everydata.io não faz login. O endpoint de avaliações responde com responseStatus LOGIN_REQUIRED para listas de avaliações; a consulta de produto retorna a nota, o número de avaliações e, em reviews, as principais avaliações exibidas na página do produto.

Cada página de busca e cada consulta de produto é uma requisição. Extrair três páginas de uma palavra-chave e os detalhes dos dez primeiros produtos dá 13 requisições, então o plano gratuito de 100 requisições por mês cobre alguns testes. Para execuções diárias, veja os preços; erros do lado da Amazon nunca são cobrados.

  • Marketplaces: com, de, co.uk, fr, it e os outros domínios listados na documentação da API – os preços vêm na moeda desse marketplace.
  • Uma página de busca traz de 20 a 26 produtos nos exemplos documentados, incluindo anúncios, a menos que você os exclua.
  • Apenas dados públicos: o que qualquer visitante vê na página da Amazon, sem conta na Amazon.

Endpoints usados neste guia

GET/amz/amazon-search-by-keyword-asin

Search Products · API Amazon

GET/amz/amazon-lookup-product-by-asin

Product Details by ASIN · API Amazon

GET/amz/sort-options

Sort Options · API Amazon

Todos os parâmetros na referência da API

Teste com seus próprios dados

O plano gratuito inclui 100 requisições por mês, válidas em todas as plataformas – o suficiente para seguir este guia do início ao fim.