🧰 ابزارگشایی: نگاهی به اسکریمینگ فراگ (Screaming Frog)

اگر به دنبال یک ابزار سئو می‌گردید که بتوانید با آن صفحات سایت‌ خود را به‌راحتی بخزید، پیوندها را در عرض چند دقیقه اعتبارسنجی کنید و اطلاعاتی درمورد هرگونه خطا یا هشدار در سایت خود به دست بیاورید، اسکریمینگ فراگ (Screaming Frog) یکی از ابزارهای مفید و کاربردی برای شما است. این ابزار به شما کمک می‌کند تا سایت خود را به‌لحاظ سئو بهینه‌سازی کنید و به رتبه‌های برتر موتورهای جست‌وجو دست یابید.

در این مطلب از وی‌پدیا به ابزارگشایی اسکریمینگ فراگ می‌پردازیم، از مزیت‌ها و امکاناتش می‌گوییم و دربارۀ نحوۀ کار و طرح‌های قیمت‌گذاری‌اش اطلاعاتی ارائه می‌دهیم.

اسکریمینگ فراگ چیست؟

اسکریمینگ فراگ (Screaming Frog) در اصل شرکتی است مستقر در بریتانیا که انواع ابزار و خدمات بازاریابی را به مشتریانی ارائه می‌دهد که به دنبال بهبود نتایج سایت یا کسب‌وکار خود هستند.

شناخته‌شده‌ترین ابزار ارائه‌شده توسط این شرکت، Screaming Frog SEO Spider است که یک ابزار توسعه‌دهندۀ سئو محسوب می‌شود. درواقع، هرگاه از ابزار اسکریمینگ فراگ حرف می‌زنیم، اغلب منظورمان همین خزندۀ سئو است.

SEO Spider اسکریمینگ فراگ، مانند هر خزندۀ دیگری در سایت‌ها می‌خزد و با جمع‌آوری داده‌ها و ممیزی مسائل رایج سئو، سایت را برای موتورهای جست‌وجو بهینه می‌کند. همچنین، برای مواردی مانند تجزیه‌وتحلیل رقبا نیز کاربرد دارد.

اسکریمینگ فراگ داده‌های جمع‌آوری‌شده را در قالب جدول‌ مرتب‌ می‌کند که می‌توانند با معیارهای مختلف فیلتر شوند. این ابزار هم برای ویندوز و هم برای مک در دسترس است. برخی از بزرگ‌ترین و موفق‌ترین کسب‌وکارهای جهان مانند اپل، گوگل، دیزنی و آمازون، از این نرم‌افزار استفاده می‌کنند.

Bill Slawski، نویسندۀ آژانس دیجیتال مارکتینگ Go Fish Digital، دربارۀ این ابزار می‌گوید:

«خزندۀ وب اسکریمینگ فراگ یکی از ابزارهای ضروری است که من برای ممیزی سایت از آن استفاده می‌کنم. وقتی می‌خواهم ساختار یک سایت را تجزیه‌وتحلیل کنم، یا فهرستی از محتوای سایت جمع‌آوری کنم، با این ابزار در زمان صرفه‌جویی می‌کنم و می‌توانم بفهمم یک سایت در برآوردن نیازهای اطلاعاتی یا موقعیتی مخاطبان خود چقدر تأثیرگذار است. من معمولاً هر سال در روز تولدم نسخۀ جدید اسکریمینگ فراگ را می‌خرم و این یکی از بهترین هدایای تولدی است که می‌توانم به خودم بدهم.»

Screaming Frog SEO Spider چگونه کار می‌کند؟

Screaming Frog SEO Spider درواقع یک اسپایدر یا عنکبوت است. اصطلاح «عنکبوت» برای توصیف نرم‌افزارهایی استفاده می‌شود که داده‌ها را از اینترنت جمع‌آوری می‌کنند و سپس آن‌ها را به روشی خاص پردازش می‌کنند. به‌طور مثال، گوگل نیز از نرم‌افزارهای عنکبوتی مخصوص خود برای «خزیدن» در ‌سایت‌ها در سراسر اینترنت استفاده می‌کند و با جمع‌آوری داده‌های هر صفحه از سایت‌، آن صفحه را ایندکس می‌کند. این کار به ایجاد نتایج جست‌وجوی بهتر و قابل اعتمادتر کمک می‌کند.

عنکبوت‌ها توسط بسیاری از ‌سایت‌های جست‌وجو استفاده می‌شوند و ‌سایت‌هایی که نرم‌افزار عنکبوتی ندارند، معمولاً نوعی دسترسی به فهرست سایت‌های دیگر دارند و از داده‌های آن‌ها استفاده می‌کنند.

SEO Spider اسکریمینگ فراگ، از روی خزندۀ وب GoogleBot طراحی شده است؛ بنابراین درمورد اینکه موتور جست‌وجوی گوگل سایت شما را چگونه می‌بیند، بینش‌های ارزشمندی به شما می‌دهد. همچنین، درمورد رفع خطاهای احتمالی ‌سایت به شما اطلاعاتی می‌دهد و زمینه‌ را برای بهبود نتایج جست‌وجو فراهم می‌کند.

گفتنی است که Screaming Frog یک ابزار مستقل تجزیه‌وتحلیل فایل Log به نام Log File Analyzer نیز عرضه کرده است.

این ابزار سبک (دارای دو طرح رایگان و پولی) فایل‌های گزارش (لاگ) را از طریق نرم‌افزار اجرا می‌کند تا بفهمد کدام ربات‌ها چه صفحاتی را اجرا کرده‌اند و چه اتفاقی افتاده است.

از طریق این نوع تجزیه‌وتحلیل گزارش، می‌توان صفحات را برای جست‌وجوهای Googlebot و سایر عنکبوت‌های جست‌وجو بهینه کرد. براساس نتایج Log File Analyzer می‌توانید لینک‌های شکسته، تغییر مسیرهای بد، صفحات کند و صفحات با عملکرد ضعیف را به‌راحتی شناسایی و رسیدگی کنید.

اسکریمینگ فراگ چه کارهایی انجام می‌دهد؟

همان‌طور که گفتیم، این نرم‌افزار به سئوکاران و صاحبان سایت‌ها کمک می‌کند سایت خود را برای بهینه‌سازی موتورهای جست‌وجو (SEO) ممیزی کنند. با این ابزار می‌توانید چند کار مهم انجام دهید:

• لینک‌های خراب (شکسته) را پیدا کنید.
• تغییر مسیرها (ریدایرکت‌ها) را پیدا کنید و به آن‌ها رسیدگی کنید.
• عناوین و متادیتای صفحات را تجزیه‌وتحلیل کنید.
• محتوای تکراری را پیدا کنید.
• داده‌ها را از HTML هر صفحۀ وب با استفاده از مسیر CSS ،XPath یا Regex جمع‌آوری کنید.
• بک‌لینک‌های سایت را بررسی کنید.
• ربات‌ها و دستورالعمل‌ها را بررسی کنید. نشانی‌های وب مسدودشده توسط txt، ربات‌های متا یا دستورالعمل‌های X-Robots-Tag مانند «noindex» یا «nofollow» و همچنین canonicals و «rel=next» و «rel=prev» را مشاهده کنید.
• نقشه‌های سایت XML را با پیکربندی پیشرفته تولید کنید.
• به گوگل آنالیتیکس، کنسول جست‌وجوی گوگل و APIهای PageSpeed Insights متصل شوید.
• نحوۀ اجرای کدهای جاوا اسکریپت را بررسی کنید.
• ساختار/معماری سایت را با استفاده از نمودارهای خزیدن تعاملی، فهرست راهنما و نمودارهای درختی تجسم کنید.
• استخراج‌ها را سفارشی کنید.
• ممیزی‌ها را برنامه‌ریزی کنید تا در فواصل زمانی تعیین‌شده اجرا شوند و داده‌های جمع‌آوری‌شده را به‌صورت خودکار به هر مکانی ازجمله Google Sheets صادر کنند.
• سایت‌های رقبا را از جهات مختلف بررسی کنید.
• و… .

مزایای ابزار اسکریمینگ فراگ

مهم‌ترین مزیت‌های اسکریمینگ فراگ عبارت‌ است از:

• ممیزی سریع و پیشرفته؛
• امکان خزیدن در ‌سایت‌های کوچک و بسیار بزرگ؛
• کاربرپسندبودن؛
• رابط بصری شفاف؛
• عملکرد گسترده؛
• عمق خزیدن قابل توجه؛
• امکان ادغام با گوگل آنالیتیکس، گوگل سرچ کنسول و PageSpeed Insights؛
• امکان برنامه‌ریزی ممیزی‌ها؛
• و… .

آیا استفاده از اسکریمینگ فراگ رایگان است؟

نسخۀ رایگان اسکریمینگ فراگ دارای محدودیت‌هایی است. در نسخۀ رایگان شما محدود به خزیدن تنها ۵۰۰ صفحه هستید. همچنین، دسترسی کاملی به پیکربندی، ذخیرۀ خزیدن یا ویژگی‌های پیشرفته‌ای مانند رندر جاوا اسکریپت، استخراج سفارشی، ادغام گوگل آنالیتیکس و موارد دیگر ندارید.

اگر می‌خواهید صفحات نامحدودی را اسکن کنید یا به همۀ امکانات این ابزار دسترسی کامل داشته باشید، باید از طرح پولی استفاده کنید. هزینۀ نسخۀ پولی ۲۳۹ یورو در سال است.

وی‌پلاس

همین الان تبلیغات ویدئویی خود را شروع کنید
کلیک کنید

یکی از بزرگ‌ترین مزایای نسخۀ پولی (مجوز کامل)، امکان ادغام با گوگل آنالیتیکس، کنسول جست‌وجوی گوگل و PageSpeed Insights است. با پیوند همۀ این داده‌ها با هم، ابزار SEO Spider قوی‌تر می‌شود. همچنین، در نسخۀ پولی می‌توانید خزیدن‌های مشابه را ذخیره و مجدداً بارگذاری کنید.

چگونه می‌توان استفاده از اسکریمینگ فراگ را شروع کرد؟

برای استفاده از این ابزار، مراحل زیر را طی کنید:

1. ابتدا باید ابزار Screaming Frog را دانلود کنید؛
2. نرم‌افزار را روی کامپیوتر خود نصب کنید؛
3. برنامه را باز کنید؛
4. نام دامنه‌ای را که می‌خواهید اسکن کنید در نوار ابزار بالا اضافه کنید؛
5. صبر کنید تا اسکن تمام شود و نتایج خود را تجزیه‌وتحلیل کنید؛
6. اختیاری: تنظیمات حسابرسی خود را برای بهینه‌ترین گزارش سفارشی کنید.

بدیهی است استفاده از همۀ امکانات این ابزار به همین سادگی نیست. این تنها قدم‌های آغازین است.

روش‌های خزیدن در سایت با اسکریمینگ فراگ (Modes Screaming Frog)

این ابزار به شما امکان می‌دهد تا با ۳ گزینۀ اصلی، روش خزیدن در سایت را سفارشی کنید:

۱) Spider

این حالت اصلی و پیش‌فرض اسکریمینگ فراگ است و مانند هر اسپایدر یا ربات دیگری کار می‌کند؛ یعنی آدرس ‌سایت را وارد می‌کنید و نرم‌افزار شروع به خزیدن در کل سایت می‌کند، داده‌های آن را می‌خواند و به شما ارائه می‌دهد. شما می‌توانید با رفتن به پیکربندی اسپایدر و انتخاب/عدم انتخاب گزینه‌ها (مانند خزیدن تصویر)، از این حالت نرم‌افزار استفادۀ سفارشی‌تری کنید.

۲) List

در این حالت، اسپایدر فهرستی از URLهایی را که به‌صورت دستی وارد کرده‌اید یا از طریق CSV (یا نقشۀ سایت) آپلود کرده‌اید، می‌خزد. همچنین می‌توانید از آن برای خزیدن بک‌لینک‌های گرفته‌شده از گوگل سرچ کنسول استفاده کنید که برای شناسایی خطاهای ۴۰۴ مفید است.

۳) SERP

این حالت درواقع شامل خزیدن در سایت نیست. درعوض، به شما این امکان را می‌دهد تا تگ‌های عنوان و توضیحات متا را آپلود و اصلاح کنید تا ببینید چگونه در SERP قرار می‌گیرند.

پیکربندی اسپایدر

اسکریمینگ فراگ از رایانۀ شما برای عمل خزیدن استفاده می‌کند. به این ترتیب، مقدار قابل توجهی از قدرت محاسباتی در دسترس شما را به خود اختصاص می‌دهد. به‌‌طور مثال، ۸ گیگابایت رم به شما امکان می‌دهد تا ۵ میلیون URL را جست‌وجو کنید.

بنابراین، اگر روی یک سایت بزرگ کار می‌کنید، عاقلانه است که نحوۀ خزیدن سایت‌ها را پیکربندی کنید. این کار نه‌تنها سرعت خزیدن در سایت‌ها را بهبود می‌بخشد، بلکه به شما کمک می‌کند تا مسائل کلیدی را بدون پرداختن به داده‌های نامربوط بررسی کنید.

این ابزار عمل خزیدن را به‌صورت لحظه‌ای انجام می‌دهد و شما می‌توانید هم‌زمان سرعت کار، میزان کار باقی‌مانده و مدت‌زمان لازم برای تکمیل کار را ببینید. همچنین می‌توانید کار خزیدن را به‌طور موقت متوقف کنید، یا آن را ذخیره کنید و بعد از سر بگیرید. توجه داشته باشید که اکثر پیکربندی‌ها فقط در نسخۀ پولی ابزار (معروف به کاربران دارای مجوز) در دسترس‌اند.

۱) پیکربندی پایه (Basic)

تنظیمات اولیه (پایه) به شما این امکان را می‌دهد که تعیین کنید اسپایدر چه چیزی را بخزد و به ابزار برگردد. شما می‌توانید گزینه‌هایی ازجمله «بررسی تصاویر»، «بررسی CSS»، «Check JavaScript» و «Crawl All Subdomains» را انتخاب یا لغو انتخاب کنید.

۲) محدودیت‌ها (Limits)

همچنین می‌توانید محدودیت‌هایی را برای خزنده از نظر تعداد کل URLهای خزیده‌شده و همچنین عمق پوشه‌ای که اسپایدر در آن می‌خزد تعیین کنید.

۳) رندرینگ (Rendering)

اسپایدر به‌طور پیش‌فرض به‌گونه‌ای پیکربندی شده است که فقط به‌صورت text-only رندر شود؛

یعنی وقتی سعی می‌کنید یک ‌سایت را با یک فرانت اند جاوا اسکریپت (مثلاً ساخته‌شده با React.js) کراول کنید (بخزید)، عملکرد خزیدن کار نخواهد کرد. در این مواقع باید تنظیمات را برای خزیدن جاوا اسکریپت تغییر دهید.

نکته: به یاد داشته باشید که Googlebot یک سایت را دو بار می‌خزد، یک بار بدون جاوا اسکریپت و سپس با جاوا اسکریپت (بسته به لود آن‌ها).

درنهایت، اگر ساختار سایت دارای URLهای پویا باشد، ممکن است متوجه شوید تعداد کل URLهایی که اسپایدر سعی در خزیدن آن‌ها دارد، با وقوع خزیدن افزایش می‌یابد. این امر می‌تواند زمان خزیدن را افزایش دهد، بنابراین بهتر است تنظیمات خود را مطابق با آن تنظیم کنید.

ادغام‌های اسکریمینگ فراگ

اسکریمینگ فراگ به‌راحتی و به‌سرعت امکان ادغام با بسیاری ابزارها و درنتیجه، تجزیه‌وتحلیل دقیق‌تر صفحۀ اسکن‌شده را فراهم می‌کند. شما می‌توانید این برنامه را به گوگل آنالیتیکس، کنسول جست‌وجوی گوگل و PageSpeed Insights متصل کنید تا داده‌های بیشتری به دست آورید. اسکریمینگ فراگ به متخصصان سئو این امکان را می‌دهد که تجزیه‌وتحلیل گسترده‌ای در سایت انجام دهند. این ابزار برای تجزیه‌وتحلیل سایت‌های کوچک، پورتال‌های متوسط یا فروشگاه‌های آنلاین بزرگ، به یک اندازه کاربردی است.

سخن آخر

اگر برای بهبود سئوی سایت خود جدی هستید، اسکریمینگ فراگ ابزاری است که به‌طور قطع در جعبه‌ابزار خود به آن نیاز دارید. خزیدن سایت‌ها و جمع‌آوری داده‌های آن‌ها کاری پیچیده است. اما این ابزار، اطلاعات را به‌شیوه‌ای سازمان‌دهی‌شده‌تر جمع‌آوری می‌کند و به شما ارائه می‌دهد تا استفاده از آن برای شما آسان‌تر شود. با این ابزار می‌توانید مشکلاتی را که بر رتبه‌بندی سایت شما در موتورهای جست‌وجو تأثیر منفی می‌گذارد، برطرف کنید.

شما از کدام ابزار برای بهبود سئوی سایت خود استفاده می‌کنید؟ در قسمت «ابزارگشایی‌های» وی‌پدیا می‌توانید با چند ابزار قدرتمند سئو مانند سمراش (SEMrush)، ماز (Moz)، Ahrefs و Yoast SEO آشنا شوید.

سؤالات متداول