اگر صفحه یا مطالبی دارید که علاقه مند نیستید در نتایج جستجوی گوگل ظاهر شود، به یکی از روشهای زیر عمل کنید:
برای استفاده از فایل robots.txt شما بایستی به قسمت روت هاست خود دسترسی داشته باشید (اگر مطمئن نیستید، از میزبان سایت خود بپرسید). اگر به روت دامنه خود دسترسی ندارید، می توانید با استفاده از روبوت های meta tag در صفحات یکتای سایت ایجاد محدودیت نمایید.
مهم است توجه داشته باشید که حتی اگر از یک فایل robots.txt برای بلاک کردن جستجوگرها استفاده نمایید، گوگل می تواند از راه های دیگری مطالب شما را پیدا و آنها را ایندکس نماید. به عنوان مثال ممکن است سایت های دیگر به مطالب شما ارجاع دهند. آدرس صفحه و بصورت بالقوه دیگر اطلاعات عمومی مانند anchor text در لینک های ارجاعی به سایت و یا عنوان در Open Directory Project می توانند در نتایج جستجوی گوگل ظاهر شوند. به علاوه اگر همه ی روبوت های معتبر به اطلاعات فایل robots.txt استناد کنند، امکان دارد تعدادی از روبوت ها آنها را به گونه ای دیگر استنتاج نمایند. با این حال، یک robots.txt قابل اجرا نیست و ممکن است بعضی از اسپم کننده ها و دیگر مزاحمین آن را نادیده بگیرند. به این دلیل، پیشنهاد می کنیم از پسورد امنیتی که در بالا آمد استفاده نمایید (مطلب بالا را ببینید).
چون ما سایت شما را برای دیدن تگ noindex جستجو می کنیم لذا احتمال کمی وجود دارد که روبوت گوگل تگ متا noindex را نبیند.
منبع : آموزش سئو