इस कोड से सभी पेड प्लान पर 20 % छूट

Python · Amazon

Python से Amazon स्क्रैप कैसे करें

Amazon स्क्रैपिंग आमतौर पर requests और BeautifulSoup से शुरू होती है और ख़त्म होती है प्रोडक्ट की जगह रोबोट-चेक पेज पर, ऐसे CSS सिलेक्टर पर जो अगले लेआउट बदलाव के बाद मैच करना बंद कर देते हैं, और प्रॉक्सी की बढ़ती लिस्ट पर। इस गाइड में छोटा रास्ता अपनाया गया है: आप everydata.io API से डेटा माँगकर Python से Amazon स्क्रैप करते हैं और उसे साफ़ JSON के रूप में वापस पाते हैं।

आप दो चीज़ें बनाएँगे। पहले एक स्क्रिप्ट, जो किसी कीवर्ड के लिए Amazon सर्च रिज़ल्ट स्क्रैप करती है – कई पेजों पर हर प्रोडक्ट का टाइटल, ASIN, कीमत, रेटिंग, रिव्यू की संख्या और "bought in past month" – और उन्हें एक CSV फ़ाइल में सेव करती है। फिर एक फ़ंक्शन, जो किसी भी ASIN का पूरा प्रोडक्ट पेज लाता है: बुलेट पॉइंट, तकनीकी विवरण, कैटेगरी, उपलब्धता और सभी इमेज।

अपडेट: · everydata.io द्वारा

आख़िर में आपके पास क्या होगा

  • एक Python स्क्रिप्ट जो किसी भी कीवर्ड के Amazon सर्च रिज़ल्ट products.csv में स्क्रैप करती है।
  • एक फ़ंक्शन जो किसी ASIN का पूरा प्रोडक्ट डेटा लौटाता है।
  • साफ़ अंदाज़ा कि एक रन की लागत कितनी है और एरर व rate limit को कैसे संभालें।

आपको क्या चाहिए

  • Python 3.10 या नया और requests पैकेज (pip install requests)।
  • everydata.io की फ़्री API key – यहाँ बनाएँ।
  • एक कीवर्ड जिस पर आप रिसर्च करना चाहते हैं, जैसे laptop, और Amazon मार्केटप्लेस (com, de, co.uk …)।

01HTML की जगह API से Amazon स्क्रैप क्यों करें?

कर सकते हैं। Amazon सर्च पेज पर एक सादा requests.get कुछ बार चलता है, फिर Amazon प्रोडक्ट की जगह captcha पेज या ख़ाली रिज़ल्ट भेज सकता है। प्रोडक्ट टाइप के हिसाब से कीमतें अलग-अलग HTML एलिमेंट में होती हैं, और हर रीडिज़ाइन आपके सिलेक्टर तोड़ देता है। स्क्रैपर को चालू रखने का मतलब है पार्सर, हेडर और प्रॉक्सी को लगातार मेंटेन करना।

API के साथ everydata.io आपके लिए लाइव Amazon पेज लोड करता है और फ़ील्ड JSON में लौटाता है। आपका कोड सिर्फ़ डेटा से काम करता है। 5xx स्टेटस वाले रिस्पॉन्स (पेज लोड नहीं हो सका) आपके quota में नहीं गिने जाते।

02अपनी API key को कोड से बाहर रखें

डैशबोर्ड से अपनी key कॉपी करें और उसे एक environment variable में डालें, ताकि वह कभी ऐसी फ़ाइल में न पहुँचे जिसे आप शेयर करते हैं।

terminal
export EVERYDATA_API_KEY="ds_your_key"

04कई पेज एक CSV फ़ाइल में स्क्रैप करें

अब lastPage या अपनी तय सीमा तक पेजों पर लूप चलाएँ, विज्ञापन छोड़ें और हर प्रोडक्ट को products.csv में लिखें। जब आप एक साथ बहुत ज़्यादा रिक्वेस्ट भेजते हैं (स्टेटस 429, रिस्पॉन्स बताता है कितने सेकंड), तो api_get इंतज़ार करता है, और जो पेज लोड नहीं हो सका (5xx), उसे एक बार दोबारा आज़माता है।

scrape_amazon.py
"""Scrape Amazon search results for a keyword into products.csv – several pages, no sponsored ads."""
import csv
import os
import re
import time

import requests

API = "https://api.everydata.io"
KEY = os.environ["EVERYDATA_API_KEY"]
KEYWORD = "laptop"
DOMAIN = "com"      # amazon.com – "de", "co.uk", "fr", "it" … for other marketplaces
MAX_PAGES = 3       # every page is one request


def api_get(path: str, params: dict) -> dict:
    """GET an everydata.io endpoint. Waits when rate limited (429) and retries a failed page load (5xx) once."""
    retried = False
    for _ in range(4):
        resp = requests.get(f"{API}{path}", params=params, headers={"x-api-key": KEY}, timeout=60)
        if resp.status_code == 429:
            wait = re.search(r"in (\d+) seconds", resp.text)
            time.sleep(int(wait.group(1)) + 1 if wait else 60)
            continue
        if resp.status_code >= 500 and not retried:
            retried = True  # 5xx answers are not counted against your quota
            time.sleep(10)
            continue
        resp.raise_for_status()
        return resp.json()
    raise RuntimeError("still rate limited after several waits – try again later")


def main() -> None:
    rows = []
    page, last_page = 1, 1
    while page <= min(last_page, MAX_PAGES):
        data = api_get("/amz/amazon-search-by-keyword-asin", {
            "keyword": KEYWORD, "domainCode": DOMAIN, "page": page,
            "sortBy": "relevanceblender", "excludeSponsored": "true",
        })
        last_page = data.get("lastPage") or 1
        for item in data.get("searchProductDetails", []):
            rows.append({
                "page": page,
                "asin": item["asin"],
                "title": item["productDescription"],
                "price": item.get("price") or "",
                "currency": item.get("currency") or "",
                "rating": item.get("productRating") or "",
                "reviews": item.get("countReview") or 0,
                "bought_last_month": item.get("salesVolume") or "",
                "prime": item.get("prime"),
                "url": f"https://www.amazon.{DOMAIN}{item['dpUrl']}",
            })
        page += 1

    with open("products.csv", "w", newline="") as f:
        writer = csv.DictWriter(f, fieldnames=list(rows[0]) if rows else ["asin"])
        writer.writeheader()
        writer.writerows(rows)
    print(f"{len(rows)} products from {page - 1} pages saved to products.csv")


if __name__ == "__main__":
    main()

sortBy वही क्रम स्वीकार करता है जो Amazon के सॉर्ट मेन्यू में हैं, जैसे relevanceblender (featured), price-asc-rank, price-desc-rank, review-rank और date-desc-rank; /amz/sort-options सभी की लिस्ट देता है। एक ही डिपार्टमेंट में रहने के लिए category में सर्च alias (जैसे electronics) या browseNode id दें।

price मार्केटप्लेस की मुद्रा में एक संख्या है, और salesVolume Amazon का अपना "bought in past month" लेबल है, जो Amazon के कुछ न दिखाने पर null होता है। ASIN रखें – यह हर दूसरे Amazon endpoint की key है।

05हर ASIN के लिए Amazon प्रोडक्ट डिटेल्स स्क्रैप करें

सर्च टाइल छोटी होती है। बुलेट पॉइंट, तकनीकी विवरण, कैटेगरी, उपलब्धता और सभी इमेज के लिए प्रोडक्ट को ASIN से लुकअप करें। यह फ़ंक्शन ऊपर वाली स्क्रिप्ट में जोड़ें और उन प्रोडक्ट के लिए कॉल करें जिन्हें आप रखना चाहते हैं।

details.py
def product_details(asin: str) -> dict:
    p = api_get("/amz/amazon-lookup-product-by-asin", {"asin": asin, "domainCode": DOMAIN})
    return {
        "asin": p["asin"],
        "title": p["productTitle"],
        "brand_or_store": p.get("manufacturer"),
        "price": p.get("price") or None,      # 0 = no buyable price on the page right now
        "currency": p.get("currency"),
        "availability": p.get("warehouseAvailability"),
        "rating": p.get("productRating"),
        "reviews": p.get("countReview"),
        "bullets": p.get("features", []),
        "specs": {d["name"]: d["value"] for d in p.get("productDetails", [])},
        "categories": p.get("categories", []),
        "images": p.get("imageUrlList", []),
    }


# inside main(), after the search loop: details for the first ten search hits
for row in rows[:10]:
    print(product_details(row["asin"]))
उदाहरण रिस्पॉन्स · GET /amz/amazon-lookup-product-by-asin
{
  "responseStatus": "PRODUCT_FOUND_RESPONSE",
  "responseMessage": "Product successfully found!",
  "productTitle": "Apple iPhone 11, 64GB, Black - Unlocked (Renewed)",
  "manufacturer": "Visit the Amazon Renewed Store",
  "countReview": 60024,
  "productRating": "4.2 out of 5 stars",
  "asin": "B07ZPKN6YR",
  "warehouseAvailability": "This item cannot be shipped to your selected delivery location. Please choose a different delivery location.",
  "retailPrice": 0,
  "price": 0,
  "productDetails": [
    {
      "name": "Operating System",
      "value": "iOS 16"
    },
    {
      "name": "RAM Memory Installed",
      "value": "4 GB"
    }
  ],
  "categories": [
    "Cell Phones & Accessories",
    "Cell Phones"
  ]
}

इस उदाहरण में price 0 है, क्योंकि पेज पर ख़रीदने लायक कोई कीमत नहीं दिखी – आइटम डिलीवरी लोकेशन पर शिप नहीं हो सकता था। 0 को "अभी कोई कीमत नहीं" समझें, फ़्री प्रोडक्ट नहीं।

06Amazon रिव्यू, लागत और लिमिट

Amazon पूरी रिव्यू लिस्टिंग सिर्फ़ साइन-इन किए यूज़र को दिखाता है, और everydata.io लॉग इन नहीं करता। रिव्यू endpoint रिव्यू लिस्ट के लिए responseStatus LOGIN_REQUIRED लौटाता है; प्रोडक्ट लुकअप रेटिंग, रिव्यू की संख्या और reviews में वे टॉप रिव्यू लौटाता है जो प्रोडक्ट पेज पर दिखते हैं।

हर सर्च पेज और हर प्रोडक्ट लुकअप एक रिक्वेस्ट है। किसी कीवर्ड के तीन पेज और पहले दस प्रोडक्ट के विवरण स्क्रैप करने में 13 रिक्वेस्ट लगती हैं, इसलिए महीने में 100 रिक्वेस्ट वाला फ़्री प्लान कुछ टेस्ट रन के लिए काफ़ी है। रोज़ाना रन के लिए प्राइसिंग देखें; Amazon की तरफ़ की एरर का कभी शुल्क नहीं लगता।

  • मार्केटप्लेस: com, de, co.uk, fr, it और API डॉक्स में दिए दूसरे डोमेन – कीमतें उसी मार्केटप्लेस की मुद्रा में आती हैं।
  • डॉक्यूमेंटेड उदाहरणों में एक सर्च पेज पर 20 से 26 प्रोडक्ट होते हैं, विज्ञापनों समेत, जब तक आप उन्हें बाहर न करें।
  • सिर्फ़ सार्वजनिक डेटा: वही जो कोई भी विज़िटर Amazon पेज पर बिना Amazon अकाउंट के देखता है।

इस गाइड में इस्तेमाल किए गए endpoints

GET/amz/amazon-search-by-keyword-asin

Search Products · Amazon API

GET/amz/amazon-lookup-product-by-asin

Product Details by ASIN · Amazon API

GET/amz/sort-options

Sort Options · Amazon API

API रेफ़रेंस में सभी पैरामीटर
संबंधित

इस डेटा से आप और क्या कर सकते हैं

अपने डेटा के साथ आज़माएँ

फ़्री प्लान में हर महीने 100 रिक्वेस्ट शामिल हैं, हर प्लेटफ़ॉर्म पर इस्तेमाल करने लायक – इस गाइड को शुरू से आख़िर तक फ़ॉलो करने के लिए काफ़ी।