Hướng dẫn file robots.txt

Chào mọi người,

File robots.txt là 1 file khá quan trọng, khi Google bots vào website thì htaccess có nhiệm vụ là cổng thứ 1, nếu mọi truy cập điều oke, thì nó sẽ bào ngay file robots.txt để xem xét, quét cái nào, không quét thư mục nào,…

Những đoạn code thông dụng trong file robots.txt:

Đoạn đầu tiên:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Ý nghĩa:

  • User-agent: * => cho phép tất cả user-agent vào website, user agent là thông tin trình duyệt từ máy người dùng, các bạn có thể Google nếu muốn tìm hiểu kỹ hơn
  • Disallow: /thư-mục/ => Dòng này có tác dụng nói với google bots rằng thư mục mà disallow không được phép quét và cache, thì khi gặp dòng này, nó sẽ bỏ qua thư mục đó và không cache bất kỳ một nội dung nào từ đây.

Chặn không cho Google bots index website:
Disallow: /

Chặn 1 trang:
Disallow: /lien-he.html

Chặn không cho Google index image:

User-agent: Googlebot-Image
Disallow: /images/hinh18cong.png

Ý nghĩa:

  • User-agent: Googlebot-image => Đối với Google bots hình ảnh
  • Disallow: /images/hinh18cong.png => Thì không được quét và cache hình có tên hinh18cong.png trong thư mục images

Chặn toàn bộ thư mục chỉ cho google bots index 1 file:

User-agent: Googlebot
Disallow: /vidu/
Allow: /vidu/demo-thoi-nha.html

Ý nghĩa:

User-agent: Googlebot => Google Bot ah
Disallow: /vidu/ => em không được index “khu vực vidu” nghe chưa
Allow: /vidu/demo-thoi-nha.html => nhưng file domo-thoi-nha.html kưng có có thể index cho anh
Cấm spambot truy cập
User-agent: SpamBot
Disallow: /admin/
Disallow: /includes/
Disallow: /config/config.php

Thì đây là những đoạn robots.txt thông dụng, chúc các bạn thành công

About Trọng Khiêm

Chào các bạn, mình là Khiêm. Niềm đam mê của mình là SEO và Website Deverloper, rất vui khi được làm quen với tất cả các bạn. Nếu cần hỗ trợ, hãy mail cho mình: buitrongkhiem2010@gmail.com Mình sẽ tư vấn SEO tổng thể website, On Page, Off Page hoặc tư vấn chiến lược khôi phục Website sau khị dính thuật toán của Google. :)
This entry was posted in Off Page, Thảo Luận SEO. Bookmark the permalink.

Gửi phản hồi

Bài viết này thuộc về Bùi Trọng Khiêm - ©hocseodelam 2013