Python · Amazon
Python से Amazon स्क्रैप कैसे करें
Amazon स्क्रैपिंग आमतौर पर requests और BeautifulSoup से शुरू होती है और ख़त्म होती है प्रोडक्ट की जगह रोबोट-चेक पेज पर, ऐसे CSS सिलेक्टर पर जो अगले लेआउट बदलाव के बाद मैच करना बंद कर देते हैं, और प्रॉक्सी की बढ़ती लिस्ट पर। इस गाइड में छोटा रास्ता अपनाया गया है: आप everydata.io API से डेटा माँगकर Python से Amazon स्क्रैप करते हैं और उसे साफ़ JSON के रूप में वापस पाते हैं।
आप दो चीज़ें बनाएँगे। पहले एक स्क्रिप्ट, जो किसी कीवर्ड के लिए Amazon सर्च रिज़ल्ट स्क्रैप करती है – कई पेजों पर हर प्रोडक्ट का टाइटल, ASIN, कीमत, रेटिंग, रिव्यू की संख्या और "bought in past month" – और उन्हें एक CSV फ़ाइल में सेव करती है। फिर एक फ़ंक्शन, जो किसी भी ASIN का पूरा प्रोडक्ट पेज लाता है: बुलेट पॉइंट, तकनीकी विवरण, कैटेगरी, उपलब्धता और सभी इमेज।
अपडेट: · everydata.io द्वारा
आख़िर में आपके पास क्या होगा
- एक Python स्क्रिप्ट जो किसी भी कीवर्ड के Amazon सर्च रिज़ल्ट products.csv में स्क्रैप करती है।
- एक फ़ंक्शन जो किसी ASIN का पूरा प्रोडक्ट डेटा लौटाता है।
- साफ़ अंदाज़ा कि एक रन की लागत कितनी है और एरर व rate limit को कैसे संभालें।
आपको क्या चाहिए
- Python 3.10 या नया और
requestsपैकेज (pip install requests)। - everydata.io की फ़्री API key – यहाँ बनाएँ।
- एक कीवर्ड जिस पर आप रिसर्च करना चाहते हैं, जैसे
laptop, और Amazon मार्केटप्लेस (com,de,co.uk…)।
01HTML की जगह API से Amazon स्क्रैप क्यों करें?
कर सकते हैं। Amazon सर्च पेज पर एक सादा requests.get कुछ बार चलता है, फिर Amazon प्रोडक्ट की जगह captcha पेज या ख़ाली रिज़ल्ट भेज सकता है। प्रोडक्ट टाइप के हिसाब से कीमतें अलग-अलग HTML एलिमेंट में होती हैं, और हर रीडिज़ाइन आपके सिलेक्टर तोड़ देता है। स्क्रैपर को चालू रखने का मतलब है पार्सर, हेडर और प्रॉक्सी को लगातार मेंटेन करना।
API के साथ everydata.io आपके लिए लाइव Amazon पेज लोड करता है और फ़ील्ड JSON में लौटाता है। आपका कोड सिर्फ़ डेटा से काम करता है। 5xx स्टेटस वाले रिस्पॉन्स (पेज लोड नहीं हो सका) आपके quota में नहीं गिने जाते।
02अपनी API key को कोड से बाहर रखें
डैशबोर्ड से अपनी key कॉपी करें और उसे एक environment variable में डालें, ताकि वह कभी ऐसी फ़ाइल में न पहुँचे जिसे आप शेयर करते हैं।
export EVERYDATA_API_KEY="ds_your_key"03Amazon सर्च रिज़ल्ट स्क्रैप करें: एक पेज
सर्च endpoint एक keyword, domainCode में मार्केटप्लेस और page नंबर लेता है। यह उस पेज के सभी प्रोडक्ट के ASIN लौटाता है, और searchProductDetails में हर प्रोडक्ट की एक एंट्री, जिसमें रिज़ल्ट टाइल पर दिखने वाला डेटा होता है।
import os
import requests
API = "https://api.everydata.io"
KEY = os.environ["EVERYDATA_API_KEY"]
resp = requests.get(
f"{API}/amz/amazon-search-by-keyword-asin",
params={"keyword": "laptop", "domainCode": "com", "page": 1},
headers={"x-api-key": KEY},
timeout=60,
)
resp.raise_for_status()
data = resp.json()
print(data["resultCount"], "results,", data["lastPage"], "pages")
for item in data["searchProductDetails"]:
print(item["asin"], item["price"], item["currency"], item["productRating"], item["productDescription"][:60])यह amazon.com पर कीवर्ड laptop के डॉक्यूमेंटेड उदाहरण का छोटा रूप है:
{
"responseStatus": "PRODUCT_FOUND_RESPONSE",
"responseMessage": "Product successfully found!",
"sortStrategy": "relevanceblender",
"domainCode": "com",
"keyword": "laptop",
"numberOfProducts": 26,
"numberOfSponsoredProducts": 6,
"resultCount": 100000,
"searchProductDetails": [
{
"productDescription": "Acer Aspire 14 AI Copilot+ PC - Intel Core Ultra 5 226V & 14” WUXGA Touch - NPU: Up to 40 Tops - GPU: Up to 53 Tops | Intel Arc 130V | 16GB LPDDR5X | 1TB Gen 4 SSD | Wi-Fi 6E | A14-52MT-59DP",
"asin": "B0FGJ14KRX",
"countReview": 20,
"price": 548.44,
"retailPrice": 0,
"productRating": "4.0 out of 5 stars",
"prime": false,
"dpUrl": "/dp/B0FGJ14KRX",
"salesVolume": "50+ bought in past month",
"sponsored": true,
"currency": "USD"
}
],
"currentPage": 1,
"lastPage": 20
}उदाहरण के पहले प्रोडक्ट में sponsored: true है – यह एक विज्ञापन है। Amazon रिज़ल्ट में विज्ञापन मिलाता है; numberOfSponsoredProducts बताता है कि पेज पर कितने हैं। अगर आपको सिर्फ़ ऑर्गेनिक रिज़ल्ट चाहिए, तो excludeSponsored=true भेजें।
04कई पेज एक CSV फ़ाइल में स्क्रैप करें
अब lastPage या अपनी तय सीमा तक पेजों पर लूप चलाएँ, विज्ञापन छोड़ें और हर प्रोडक्ट को products.csv में लिखें। जब आप एक साथ बहुत ज़्यादा रिक्वेस्ट भेजते हैं (स्टेटस 429, रिस्पॉन्स बताता है कितने सेकंड), तो api_get इंतज़ार करता है, और जो पेज लोड नहीं हो सका (5xx), उसे एक बार दोबारा आज़माता है।
"""Scrape Amazon search results for a keyword into products.csv – several pages, no sponsored ads."""
import csv
import os
import re
import time
import requests
API = "https://api.everydata.io"
KEY = os.environ["EVERYDATA_API_KEY"]
KEYWORD = "laptop"
DOMAIN = "com" # amazon.com – "de", "co.uk", "fr", "it" … for other marketplaces
MAX_PAGES = 3 # every page is one request
def api_get(path: str, params: dict) -> dict:
"""GET an everydata.io endpoint. Waits when rate limited (429) and retries a failed page load (5xx) once."""
retried = False
for _ in range(4):
resp = requests.get(f"{API}{path}", params=params, headers={"x-api-key": KEY}, timeout=60)
if resp.status_code == 429:
wait = re.search(r"in (\d+) seconds", resp.text)
time.sleep(int(wait.group(1)) + 1 if wait else 60)
continue
if resp.status_code >= 500 and not retried:
retried = True # 5xx answers are not counted against your quota
time.sleep(10)
continue
resp.raise_for_status()
return resp.json()
raise RuntimeError("still rate limited after several waits – try again later")
def main() -> None:
rows = []
page, last_page = 1, 1
while page <= min(last_page, MAX_PAGES):
data = api_get("/amz/amazon-search-by-keyword-asin", {
"keyword": KEYWORD, "domainCode": DOMAIN, "page": page,
"sortBy": "relevanceblender", "excludeSponsored": "true",
})
last_page = data.get("lastPage") or 1
for item in data.get("searchProductDetails", []):
rows.append({
"page": page,
"asin": item["asin"],
"title": item["productDescription"],
"price": item.get("price") or "",
"currency": item.get("currency") or "",
"rating": item.get("productRating") or "",
"reviews": item.get("countReview") or 0,
"bought_last_month": item.get("salesVolume") or "",
"prime": item.get("prime"),
"url": f"https://www.amazon.{DOMAIN}{item['dpUrl']}",
})
page += 1
with open("products.csv", "w", newline="") as f:
writer = csv.DictWriter(f, fieldnames=list(rows[0]) if rows else ["asin"])
writer.writeheader()
writer.writerows(rows)
print(f"{len(rows)} products from {page - 1} pages saved to products.csv")
if __name__ == "__main__":
main()sortBy वही क्रम स्वीकार करता है जो Amazon के सॉर्ट मेन्यू में हैं, जैसे relevanceblender (featured), price-asc-rank, price-desc-rank, review-rank और date-desc-rank; /amz/sort-options सभी की लिस्ट देता है। एक ही डिपार्टमेंट में रहने के लिए category में सर्च alias (जैसे electronics) या browseNode id दें।
price मार्केटप्लेस की मुद्रा में एक संख्या है, और salesVolume Amazon का अपना "bought in past month" लेबल है, जो Amazon के कुछ न दिखाने पर null होता है। ASIN रखें – यह हर दूसरे Amazon endpoint की key है।
05हर ASIN के लिए Amazon प्रोडक्ट डिटेल्स स्क्रैप करें
सर्च टाइल छोटी होती है। बुलेट पॉइंट, तकनीकी विवरण, कैटेगरी, उपलब्धता और सभी इमेज के लिए प्रोडक्ट को ASIN से लुकअप करें। यह फ़ंक्शन ऊपर वाली स्क्रिप्ट में जोड़ें और उन प्रोडक्ट के लिए कॉल करें जिन्हें आप रखना चाहते हैं।
def product_details(asin: str) -> dict:
p = api_get("/amz/amazon-lookup-product-by-asin", {"asin": asin, "domainCode": DOMAIN})
return {
"asin": p["asin"],
"title": p["productTitle"],
"brand_or_store": p.get("manufacturer"),
"price": p.get("price") or None, # 0 = no buyable price on the page right now
"currency": p.get("currency"),
"availability": p.get("warehouseAvailability"),
"rating": p.get("productRating"),
"reviews": p.get("countReview"),
"bullets": p.get("features", []),
"specs": {d["name"]: d["value"] for d in p.get("productDetails", [])},
"categories": p.get("categories", []),
"images": p.get("imageUrlList", []),
}
# inside main(), after the search loop: details for the first ten search hits
for row in rows[:10]:
print(product_details(row["asin"])){
"responseStatus": "PRODUCT_FOUND_RESPONSE",
"responseMessage": "Product successfully found!",
"productTitle": "Apple iPhone 11, 64GB, Black - Unlocked (Renewed)",
"manufacturer": "Visit the Amazon Renewed Store",
"countReview": 60024,
"productRating": "4.2 out of 5 stars",
"asin": "B07ZPKN6YR",
"warehouseAvailability": "This item cannot be shipped to your selected delivery location. Please choose a different delivery location.",
"retailPrice": 0,
"price": 0,
"productDetails": [
{
"name": "Operating System",
"value": "iOS 16"
},
{
"name": "RAM Memory Installed",
"value": "4 GB"
}
],
"categories": [
"Cell Phones & Accessories",
"Cell Phones"
]
}इस उदाहरण में price 0 है, क्योंकि पेज पर ख़रीदने लायक कोई कीमत नहीं दिखी – आइटम डिलीवरी लोकेशन पर शिप नहीं हो सकता था। 0 को "अभी कोई कीमत नहीं" समझें, फ़्री प्रोडक्ट नहीं।
06Amazon रिव्यू, लागत और लिमिट
Amazon पूरी रिव्यू लिस्टिंग सिर्फ़ साइन-इन किए यूज़र को दिखाता है, और everydata.io लॉग इन नहीं करता। रिव्यू endpoint रिव्यू लिस्ट के लिए responseStatus LOGIN_REQUIRED लौटाता है; प्रोडक्ट लुकअप रेटिंग, रिव्यू की संख्या और reviews में वे टॉप रिव्यू लौटाता है जो प्रोडक्ट पेज पर दिखते हैं।
हर सर्च पेज और हर प्रोडक्ट लुकअप एक रिक्वेस्ट है। किसी कीवर्ड के तीन पेज और पहले दस प्रोडक्ट के विवरण स्क्रैप करने में 13 रिक्वेस्ट लगती हैं, इसलिए महीने में 100 रिक्वेस्ट वाला फ़्री प्लान कुछ टेस्ट रन के लिए काफ़ी है। रोज़ाना रन के लिए प्राइसिंग देखें; Amazon की तरफ़ की एरर का कभी शुल्क नहीं लगता।
- मार्केटप्लेस:
com,de,co.uk,fr,itऔर API डॉक्स में दिए दूसरे डोमेन – कीमतें उसी मार्केटप्लेस की मुद्रा में आती हैं। - डॉक्यूमेंटेड उदाहरणों में एक सर्च पेज पर 20 से 26 प्रोडक्ट होते हैं, विज्ञापनों समेत, जब तक आप उन्हें बाहर न करें।
- सिर्फ़ सार्वजनिक डेटा: वही जो कोई भी विज़िटर Amazon पेज पर बिना Amazon अकाउंट के देखता है।
इस गाइड में इस्तेमाल किए गए endpoints
Search Products · Amazon API
Product Details by ASIN · Amazon API
Sort Options · Amazon API
इस डेटा से आप और क्या कर सकते हैं
Amazon search API: कीवर्ड सर्च रिज़ल्ट JSON में – ASIN, कीमत, रेटिंग, Prime फ़्लैग, बिक्री मात्रा और sponsored मार्कर के साथ, किसी भी मार्केटप्लेस पर।
स्क्रैपर की जगह Amazon product API: टाइटल, ब्रांड, कीमत, रेटिंग, इमेज, बुलेट, स्पेसिफ़िकेशन, वेरिएशन और टॉप रिव्यू JSON में, URL या ASIN से।
Amazon price tracker API: हर ASIN के लिए लाइव buy-box कीमत, लिस्ट प्राइस, स्टॉक और price history JSON में, 15+ मार्केटप्लेस पर। हर महीने 100 फ़्री कॉल।
Amazon Best Sellers लिस्ट JSON में: amazon.in (India) समेत हर कैटेगरी व मार्केटप्लेस के लिए ASIN, टाइटल, कीमत, रेटिंग और रिव्यू संख्या के साथ रैंक।
अपने डेटा के साथ आज़माएँ
फ़्री प्लान में हर महीने 100 रिक्वेस्ट शामिल हैं, हर प्लेटफ़ॉर्म पर इस्तेमाल करने लायक – इस गाइड को शुरू से आख़िर तक फ़ॉलो करने के लिए काफ़ी।