وب کراولینگ vs وب اسکرپینگ در انجام پروژه
دو واژه که همیشه با هم اشتباه گرفته میشوند. کراولر کشف می‌کند (لینک به لینک پیمایش می‌کند)، اسکرپر استخراج می‌کند (فیلدهای مشخص را برمی‌دارد). پروژههای ما ترکیبی از هر دو است.
وب کراولینگ — کاشف
از یک URL شروع می‌کند، لینک‌ها را دنبال می‌کند و نقشه‌ای از کل سایت می‌سازد. خروجی: فهرست صفحات + ساختار لینک.
وب اسکرپینگ — استخراج‌گر
روی صفحات هدف می‌رود و فیلدهای تعریف‌شده (نام، قیمت، امتیاز…) را دقیق برمی‌دارد. خروجی: جدول تمیز و ساختاریافته.
| جنبه | 🕸 کراولینگ | ⛏ اسکرپینگ |
|---|---|---|
| هدف | کشف و پیمایش صفحات | استخراج داده مشخص |
| خروجی | URLها + گراف لینک | جدول / JSON ساختاریافته |
| ابزار | Scrapy،crawl4ai،Sitemap | BeautifulSoup،Playwright |
| مثال سئو | کشف صفحات یتیم و لینک‌شکسته | دریافت تیتر و متا رقبا |
یک کراولر واقعی چطور کار می‌کند؟
این همان الگوریتمی است که پایپ‌لاین ما اجرا می‌کند: پیمایش سطح‌به‌سطح (BFS)، مدیریت صف، احترام به robots.txt و کنترل عمق. شروع کنید و تماشا کنید — عنکبوت از صفحه اصلی حرکت می‌کند و لینک به لینک سایت را کشف می‌کند.
📥 صف کراول (Frontier):
📜 گزارش زنده:
از HTML خام تا داده تمیز
اسکرپر ما HTML را می‌خواند، با سلکتور فیلدها را پیدا می‌کند و خروجی ساختاریافته می‌سازد. دکمه را بزنید و همگام‌شدن کد، جدول و JSON را ببینید.
ورودی: HTML خام
<h2>هدفون بی‌سیم X200</h2>
<span class="price">۲٬۴۵۰٬۰۰۰ تومان</span>
<div class="rating">★ ۴٫۷</div>
</div>
<h2>ماوس گیمینگ M7</h2>
<span class="price">۸۹۰٬۰۰۰ تومان</span>
<div class="rating">★ ۴٫۳</div>
</div>
<h2>کیبورد مکانیکی K3</h2>
<span class="price">۱٬۷۵۰٬۰۰۰ تومان</span>
<div class="rating">★ ۴٫۹</div>
</div>
خروجی: داده ساختاریافته
| محصول | قیمت | امتیاز |
|---|
این داده‌ها به چه دردی می‌خورند؟
۸ کاربرد پرتقاضا که همین امروز می‌توانیم برایتان اجرا کنیم.
پایش قیمت رقبا
قیمت و موجودی هزاران محصول رقبا، ساعتی به‌روز — آلرت خودکار روی تغییرات.
رصد SERP و سئو
ردیابی رتبه کلمات، تیتر و متای رقبا، SERP Featureها و تغییرات نتایج.
تولید لید B2B
استخراج شرکت‌ها، نقش‌ها و اطلاعات تماس از دایرکتوری‌ها — تمیز و تکرارگیریزی‌شده.
تجمیع آگهی‌ها
املاک، خودرو و بازارچه‌ها در یک دیتاست یکپارچه با فیلتر و دسته‌بندی.
دیتاست ML و NLP
داده برچسب‌خورده برای مدل‌های طبقه‌بندی، تحلیل احساسات و آموزش LLM.
مانیتورینگ خبر و برند
ردیابی ذکر برند، اخبار رقبا و بحران‌ها در لحظه از صدها منبع خبری.
بازار استخدام
آگهی‌های شغلی، مهارت‌های پرتقاضا و روند حقوق — برای تحلیل بازار کار.
ریویو و شبکه‌های اجتماعی
نظرات کاربران از دیجی‌کالا، گوگل‌مپ و توییتر برای تحلیل احساسات برند.
زیرساختی که بن نمی‌شود
تفاوت یک اسکرپر دانشجویی با سرویس سازمانی، همین‌جاست.
چرخش زنده پروکسی
استخر IP مسکونی و دیتاسنتر؛ هر IP بعد از چند درخواست استراحت می‌کند و اگر بن شود، بی‌درنگ جایگزین می‌آید. زنده تماشا کنید:
رندر JavaScript
صفحات SPA و React/Vue با مرورگر هدلس (Playwright) کامل رندر و اسکرپ میشوند — نه فقط HTML اولیه.
مقاوم به ضدبات
چرخش User-Agent و اثرانگشت، هدرهای واقع‌گرا، تاخیر انسانی و بک‌آف نمایی روی 429/503.
زمان‌بندی و مانیتورینگ
اجرای ساعتی/روزانه/هفتگی؛ تشخیص تغییر ساختار صفحه و هشدار فوری قبل از اینکه داده خراب شود.
تحویل چندکاناله
REST API، Webhook، Google Sheets، Excel/CSV، S3 و بارگذاری مستقیم در BigQuery یا دیتابیس شما.
مقیاس افقی
از ۱۰ هزار صفحه تا ده‌ها میلیون صفحه در روز، با صف توزیع‌شده و Workerهای موازی.
فرایند همکاری — از ایده تا داده
شش قدم شفاف؛ قدم اول و دوم کاملاً رایگان است.
خدمات شفاف
هر پروژه متفاوت است؛ بعد از بررسی نمونه داده، دامنه‌ی کار و هزینه را دقیق اعلام می‌کنم
استخراج داده از سایت های کوچیک
یک بار داده را از سایت هدف بگیرید و تمیز تحویل بگیرید.
- تا ۱۰ هزار صفحه
- پاک‌سازی و یکدست‌سازی داده
- خروجی CSV / Excel / JSON
- تحویل در ۶ روز کاری (بسته به پیچیدگی سایت)
- یک دور اصلاح رایگان
پروژه‌ی سفارشی
شخصی ساز سیستم برحسب نیاز شما
- کراول زمان‌بندی‌شده (روزانه یا ساعتی) برای چند سایت مشخص
- رندر جاوااسکریپت و چرخش پروکسی
- تحویل از طریق API یا Webhook
- هشدار هنگام تغییر ساختار سایت
- تا ۳ بار به‌روزرسانی سلکتور در ماه
- گزارش ماهانه‌ی وضعیت و کیفیت داده
استخراج داده از سایتهای بزرگ
برای نیازهای حجیم‌تر یا ساختارهای خاص.
- حجم بالا با زیرساخت ابری مقیاس‌پذیر
- پایپ‌لاین سفارشی (پاک‌سازی، تطبیق، حذف تکراری)
- پشتیبانی در ساعات کاری با زمان پاسخ مشخص
- زمان‌بندی تحویل مرحله‌ای
سوالات پرتکرار
تفاوت وب کراولینگ و وب اسکرپینگ چیست؟ ＋
کراولینگ یعنی پیمایش و کشف صفحات لینک‌به‌لینک (ساخت نقشه سایت)؛ اسکرپینگ یعنی استخراج فیلدهای مشخص از صفحات. پروژههای ما معمولاً ترکیبی‌اند: اول کراول برای کشف URLها، بعد اسکرپ برای استخراج داده.
سایت‌ها ما را بن نمی‌کنند؟ ＋
با رعایت robots.txt، نرخ درخواست محترمانه، چرخش پروکسی و User-Agent، رندر JS و بک‌آف نمایی، احتمال بن به حداقل می‌رسد. دموهای زنده همین صفحه دقیقاً همین تکنیک‌ها را نمایش می‌دهند.
خروجی را چطور تحویل می‌دهید؟ ＋
CSV، Excel، JSON، REST API، Webhook، Google Sheets یا بارگذاری مستقیم در BigQuery و دیتابیس شما — با زمان‌بندی ساعتی، روزانه یا هفتگی.
سایتهای جاوااسکریپتی (SPA) هم پشتیبانی میشود؟ ＋
بله؛ با مرورگرهای هدلس مانند Playwright و Puppeteer، صفحات داینامیک بهطور کامل رندر و استخراج میشوند.
جنبه قانونی کار چیست؟ ＋
فقط دادههای عمومی را استخراج میکنیم، با احترام کامل به robots.txt و شرایط استفاده. برای پروژههای حساس، ابتدا با مالک سایت هماهنگ میشویم یا از API رسمی استفاده میکنیم.
🕷 داده‌ی قابل‌اتکا برای تصمیم‌های کسب‌وکار شما
آدرس سایت هدف و فیلدهای موردنیازتان را بفرستید. ظرف ۴۸ ساعت یک نمونه داده‌ی رایگان تحویل می‌گیرید تا کیفیت کار را پیش از هر تعهدی ببینید. پاسخ‌گویی در ساعات کاری معمولاً کمتر از ۲ ساعت است.