صفر تا صد سئو | درس نهم: بررسی ابزار گوگل سرچ کنسول (قسمت دوم)

در درس قبل ابزار مهم Google Search Console را معرفی و نحوه اضافه کردن و تایید سایت در آن را بررسی کردیم. حال در این آموزش قصد داریم در ادامه کار، با این ابزار، نحوه اضافه کردن نقشه سایت (Sitemap) و ساخت فایل robots.txt را به شما همراهان عزیز آموزش دهیم. با روکسو همراه باشید...

اضافه کردن Sitemap

نقشه سایت فایلی است که اطلاعات مهمی درباره این که سایت شما چگونه سازماندهی شده است و شامل چه نوع محتوایی می باشد به موتورهای جستجو می دهد. این اطلاعات شامل فراداده هایی مانند جزئیات متن، تصویر، ویدئو و سایر محتوای استفاده شده درصفحات سایت شما می باشد. همچنین موتورهای جستجو می توانند اطلاعاتی درباره زمانبندی بروزرسانی سایت شما از داخل این فایل استخراج کنند.

با افزودن نقشه سایت خود در کنسول جستجوی گوگل، کار این ابزار را برای به دست آوردن اطلاعات سایت خود راحت تر می کنید و مطمئن خواهید بود گوگل اطلاعات دقیق سایت شما را، آنطور که باید، در اختیار دارد و می تواند به خوبی تجزیه و تحلیل کند.

از طرفی افزودن نقشه سایت در این ابزار اجباری نیست و گوگل بابت اضافه نکردن Sitemap شما را جریمه نخواهد کرد. اما اگر شما وب سایت بزرگی با مطالب گسترده دارید و یا وب سایت شما تازه راه اندازی شده است و هنوز سایت های زیادی به آن لینک نداده اند، اضافه کردن سایت مپ برای شما فواید زیادی خواهد داشت.

خب، بیایید یک Sitemap به کنسول جستجوی گوگل اضافه کنیم!

قبل از آنکه نقشه سایت خود را به این ابزار معرفی کنید به یک حساب کاربری با یک وب سایتی که به این ابزار معرفی و تایید شده باشد، نیاز دارید. اگر هنوز حساب کاربری خود را در این ابزار ایجاد نکرده اید و یا سایتی را اضافه و تایید نکرده اید برگردید و آموزش قبلی را مطالعه کنید.

در داشبورد مدیریت کنسول جستجوی گوگل سایتی را که قبلا تایید کرده اید و میخواهید Sitemap به آن اضافه کنید، انتخاب کنید.

همانند تصویر زیر از منوی Crawl گزینه Sitemaps را انتخاب کنید.

اگر می خواهید با معنا و مفهوم واژه Crawl آشنا شوید آموزش ساختار موتورهای جستجو را مطالعه کنید.

حال همانند تصویر زیر بر روی گزینه Add/Test Sitemap کلیک کنید.

پس از کلیک روی گزینه Add/Test Sitemap، یک پنجره کوچک مانند تصویر زیر برای شما باز خواهد شد.

در فیلد مربوطه آدرس نقشه سایت خود را وارد کنید و گزینه Submit Sitemap را گزینش کنید تا نقشه سایت شما به گوگل اضافه شود.

این آدرس در هر سیستم مدیریت محتوا متفاوت است:

• اگر مدیر یک وبلاگ هستید و نمی توانید آنرا پیدا کنید، از پشتیبان سیستم مدیریت خود بخواهید شما را راهنمایی کند.
• اگر از وردپرس، جوملا یا سیستم های مشابه استفاده می کنید باید با استفاده از افزونه های مرتبط یک Sitemap برای سایت خود ایجاد کنید سپس آنرا به گوگل معرفی کنید.

بررسی فایل robots.txt

داشتن یک سایت و معرفی آن به گوگل به این معنا نیست که میخواهید همه صفحات آن توسط گوگل شناسایی و به کاربران معرفی شود. به عبارتی دیگر شاید صفحات خاصی در وب سایت خود داشته باشید که نخواهید گوگل یا سایر موتور های جستجو آنها را ایندکس کنند. برای انجام اینکار باید با فایل robots.txt آشنایی داشته باشید. همچنین برای آشنایی با مفهوم ایندکس در موتورهای جستجو مقاله آشنایی با ساختار موتور های جستجو را از دست ندهید.

فایل robots.txt که در ریشه سایت یا به اصطلاح root folder سایت شما قرار می گیرد شامل کدهای استانداردی است که برای موتورهای جستجو تعیین می کنند چه صفحاتی از سایت شما توسط Crawlers (خزشگر ها) شناسایی شود و چه صفحاتی شناسایی نشوند.

البته مهم است بدانید که این فایل تضمین کننده صد درصد دور ماندن محتوای خصوصی شما از چشم موتورهای جستجو نخواهد بود. کدهایی که در این فایل استفاده می شوند مطابق استانداردهای موتورهای جستجو مانند گوگل هستند اما همچنان ممکن است توسط Crawlerها به خوبی درک نشوند. از طرفی نیز این فایل مانع از ارتباط سایت های دیگر با صفحات خصوصی سایت شما نمی شود.

برای استفاده از فایل robots.txt پس از انتخاب سایت خود در داشبود مدیریت کنسول جستجوی گوگل همانند تصویر زیر از منوی Crawl گزینه robots.txt tester را انتخاب کنید.

اگر این فایل را در مسیر ریشه (root folder) هاست خود ایجاد کرده باشید، گوگل آنرا شناسایی کرده و به شما اجازه می دهد کد و دستورهای آنرا ویرایش کنید. همچنین گوگل درباره خطاها و اشتباهات به کار رفته شده در کدهای این فایل به شما اخطار می دهد.

تنها نکته ی مهم این است که اگر این فایل را در اینجا ویرایش کنید تغییرات شما در فایل اصلی که در هاست شما دارد اعمال نمی گردد بلکه تنها گوگل متوجه این تغییرات خواهد بود. بنابراین به شما پیشنهاد می کنیم این فایل را در هاست خود ویرایش کنید که تغییرات شما مورد توجه همه ی موتورهای جستجو قرار بگیرد و از کنسول جستجوی گوگل تنها جهت تست آن استفاده کنید.

نحوه ویرایش فایل robots.txt

نکته اول: مطابق مثال زیر با قرار دادن مقدار * برای User-agent به هر ربات جستجو اجازه می دهید کدهای موجود در خط های زیر آن را بررسی کنند.

User-agent: *
Disallow: /cgi-bin

نکته دوم: هنگام ویرایش فایل robots.txt در ابتدای هر خط و یا بین حروف هر کلمه خط فاصله قرار ندهید. به مثال های زیر دقت کنید.

مثال نادرست:

   User-agent: *
Dis allow: /support

مثال صحیح:

User-agent: *
Disallow: /support

نکته سوم: قواعد و ترتیب ها را رعایت کنید.

مثال نادرست:

Disallow: /support
User-agent: *

مثال صحیح:

User-agent: *
Disallow: /support

نکته چهارم: اگر می خواهید چند مسیر یا چند از سایت شما پوشه توسط موتورهای جستجو ایندکس نشود، آنها را به صورت پشت سر هم قرار ندهید.

مثال نادرست:

User-agent: *
Disallow: /support /cgi-bin /images/

مثال صحیح:

User-agent: *
Disallow: /support
Disallow: /cgi-bin
Disallow: /images

نکته پنجم: هنگام نوشتن آدرس ها به حروف کوچک و بزرگ دقت کنید و نام پوشه ها و مسیرها درست همانطور که هستند، وارد کنید.

نکته ششم:  اگر می خواهید تمام صفحات و دایرکتوری سایت شما ایندکس شوند، کدهای زیر را قرار دهید:

User-agent: *
Disallow:

اما اگر می خواهید هیچ یک از صفحات و دایرکتوری سایت شما ایندکس نشوند، رکوردهای زیر را قرار دهید:

User-agent: *
Disallow:/

نمونه ای از یک فایل robots.txt استاندارد نیز در ادامه می کنید.

sitemap: http://www.shoutmeloud.com/sitemap.xml
User-agent:  *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /archives/
disallow: /*?*
Disallow: *?replytocom
Disallow: /wp-*
Disallow: /author
Disallow: /comments/feed/
User-agent: Mediapartners-Google*
Allow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
 
User-agent: Adsbot-Google
Allow: /
 
User-agent: Googlebot-Mobile
Allow: /

جمع بندی

در این آموزش نحوه اضافه کردن نقشه سایت به ابزار Google Search Console را توضیح دادیم و در ادامه آن فایل robots.txt را به طور کامل مورد بررسی قرار دادیم که امیدواریم مورد استفاده شما عزیزان قرار گرفته باشید.

در پایان از شما همراهان گرامی دعوت می کنیم با نوشتن نظرات خود در پایین همین صفحه ما را در نوشتن آموزش های بعدی یاری کنید. پیروز و سربلند باشید.