فایل Robots.txt چیست؟
فایل روبوت Robots.txt ، به فایلی در سایت گفته میشود که وضعیت دسترسی خزنده های گوگل، به بخشهای مختلف سایت را تعیین میکند. در درجه اول، میتوانید تمام مطالبی که نمیخواهید توسط گوگل بررسی و ایندکس شوند را در این فایل فهرست کنید. علاوه بر این، برای برخی از موتورهای جستجو (نه گوگل) تعیین کنید که فایلهای مجاز را چگونه ایندکس کنند.
👁️ بازدید: 229🔎 ورودی گوگل: 1

