PDA

توجه ! این یک نسخه آرشیو شده میباشد و در این حالت شما عکسی را مشاهده نمیکنید برای مشاهده کامل متن و عکسها بر روی لینک مقابل کلیک کنید : حل مشکل نمایش فایل Robots.txt سایت در نتایج گوگل



khat.khati
2013-09-02, 19:12
آیا در هنگام جستجوی کلمات کلیدی مرتبط با سایت یا وبلاگ خود در صفحه نتایج گوگل فایل Robots.txt سایت شما نیز به نمایش در می آید؟ درست است که محتوای این فایل در اکثر موارد کوتاه تر از آن است که برای سایت شما مشکلاتی مانند مطالب تکراری را برای سئو سایت ما ایجاد کند اما باز هم نمایش این فایل در گزینه های نمایش داده شده در زیر صفحه اصلی سایت شما و یا همان Site Link گوگل می تواند مشکلاتی را برای دریافت ترافیک بازدید کننده بیشتر از طریق موتورهای جستجوگر برای سایت شما ایجاد کند. در این آموزش سئو از سایت تورتک با چگونگی حذف کامل فایل Robots.txt سایت خود از نتایج گوگل آشنا می شویم.

حذف فایل Robots.txt از صفحات index شده توسط گوگل

اگر هم اکنون این فایل سایت شما در صفحه نتایج موتور جستجوگر گوگل به نمایش در می آید پس می توانیم مطمئن باشیم که فایل Robots.txt سایت شما در پایگاه داده های گوگل ثبت و یا همان index شده است. برای حذف و پاکسازی این فایل و یا حتی دیگر صفحات سایت خود از پایگاه داده های موتور جستجوگر گوگل یکی از ساده ترین روش ها استفاده از ابزار وبمستر گوگل (Google Webmaster Tools) است.
برای انجام این کار توسط ابزار وبمستر گوگل پس از ورود به حساب سایت خود در Google Webmaster Tools ([Only registered and activated users can see links]) از منوی Optimization و یا همان بهینه سازی بر روی گزینه Remove URLs کلیک کنید تا به صفحه حذف صفحات از پایگاه داده های گوگل وارد شوید. سپس برای اضافه کردن فایل Robots.txt در این بخش بر روی دکمه Create a new removal request کلیک کنید و در پنجره نمایش داده شده آدرس فایل Robots.txt همانند [Only registered and activated users can see links] وارد کنید.
با وارد کردن آدرس و کلیک بر روی دکمه Continue نیاز است که در صفحه بعدی از قسمت Reason و یا همان دلیل پاکسازی گزینه Remove page from search result را انتخاب کنید و برای ثبت درخواست بر روی دکمه Submit Request کلیک کنید. با انجام مراحل بالا پس از حدود یک روز به صورت کامل این صفحه از صفحه نتایج جستجوی گوگل ناپدید می شود اما برای جلوگیری از index شدن و نمایش دوباره آن در آینده نیز باید تنظیماتی را اعمال کنیم که در ادامه این آموزش با هم مراحل این کار را بررسی می کنیم.
جلوگیری از نمایش دوباره محتوای فایل Robots.txt در نتایج جستجو

حال که با استفاده از ابزار Remove URLs ابزار وبمستر گوگل فایل Robots.txt سایت خود را از صفحه نتایج جستجو حذف کردیم بهتر است با انجام یکی از دو روش زیر از index شدن مجدد آن و نمایش در صفحه نتایج جستجو گوگل جلوگیری کنیم. توجه داشته باشید استفاده از هر یک از این روش ها باعث جلوگیری از دسترسی ربات گوگل به محتوای Robots.txt سایت شما نخواهند شد و همانند گذشته صفحات و شاخه های ممنوع شده در این فایل توسط گوگل قابل شناسایی هستند.
1. استفاده از خود فایل Robots.txt: در روش اول از خود فایل Robots.txt برای جلوگیری از index شدن مجدد آن استفاده می کنیم. برای استفاده از این روش تنها کافی است دو خط کد زیر را به فایل Robots.txt سایت خود که باید در شاخه اصلی فضای میزبان سایت شما وجود داشته باشد اضافه کنید تا ربات موتور جستجوگر گوگل از index کردن این فایل چشم پوشی کنند.
1
2 User-agent: Googlebot
Disallow: /Robots.txt


2. استفاده از فایل .htaccess و یا [Only registered and activated users can see links] در این روش نیز با ارسال مقادیری اضافه در Header پاسخ سرور سایت خود برای فایل txt از index شدن محتوای آن ها توسط گوگل جلوگیری می کنیم که در صورتی که محتوای خاصی را توسط این گونه از فایل ها در سایت یا وبلاگ خود انتشار می دهید استفاده از این روش گزینه مناسبی برای سایت شما نخواهد بود. برای استفاده از این روش نیز کد زیر را به فایل.htaccess و یا [Only registered and activated users can see links] سایت خود اضافه کنید.
1
2
3 <Files ~ "\.txt$">
Header set X-Robots-Tag "noindex"
</Files>


به همین سادگی موفق شده ایم که به صورت کامل از نمایش Robots.txt سایت خود در صفحه نتایج گوگل (Search Result Page) جلوگیری کنیم و در آینده نیز از index شدن محتوای این فایل توسط گوگل جلوگیری کنیم. در صورت بروز مشکل در هنگام استفاده از روش های بررسی شده در این آموزش می توانید از بخش نظرات همین نوشته برای ارسال سوالات خود و بهره مندی از پاسخ دیگر کاربران سایت تورتک استفاده کنید.

designer
2013-09-16, 11:59
مطلب کامل ومفیدی دباره نمایش Robots.txt در گوگل بود.

elaheh
2015-05-13, 17:47
با سلام وخسته نباشی
میخواستم از دوستان عزیز بپرسم برای پاک کردن یه فایل از گوگل باید ایمیل به چه ادزسی زد ممنون میشم راهنمایی کنید

AmirElectro
2015-05-14, 15:19
با سلام وخسته نباشی
میخواستم از دوستان عزیز بپرسم برای پاک کردن یه فایل از گوگل باید ایمیل به چه ادزسی زد ممنون میشم راهنمایی کنید

سلام.
باید با جیمیلی که سایت خود را با آن در گوگل وب مستر ثبت کردید لوگین کنید @};-