فایل Robots.txt چیست؟

فایل روبوت Robots.txt ، به فایلی در سایت گفته میشود که وضعیت دسترسی خزنده های گوگل، به بخشهای مختلف سایت را تعیین میکند. در درجه اول، میتوانید تمام مطالبی که نمیخواهید توسط گوگل بررسی و ایندکس شوند را در این فایل فهرست کنید. علاوه بر این، برای برخی از موتورهای جستجو (نه گوگل) تعیین کنید که فایلهای مجاز را چگونه ایندکس کنند.

👁️ بازدید: 164🔎 ورودی گوگل: 0

نظرات (0)