Robots.txt là gì? Cách tạo file Robots.txt cho WordPress

Robots.txt là gì? Cách tạo file Robots.txt cho WordPress

Tiếp tục các bài viết về chủ đề thủ thuật SEO thì mình sẽ giới thiệu Robots.txt là gì? và Cách tạo file robots.txt cho mã nguồn WordPress, các bạn chú ý theo dõi để có thể hoàn tất các bước tối ưu hóa SEO cho website của mình nhé.

Robots.txt là gì?

Robots.txt là một tập tin đặc biệt chứa văn bản (không phải HTML) được đặt trong thư mục root của website (ngang hàng với index.php).

File Robots.txt
File Robots.txt

Robots.txt có tác dụng cho phép hay không cho phép các công cụ tìm kiếm truy cập đến những trang mà bạn quy định trong trong nó, giúp cho những trang này nhanh chóng được index hoặc không được index trên các kết quả tìm kiếm. Đây chính là một công cụ cực kì hữu ích giúp tăng tốc độ index trong quá trình Làm SEO.

Cấu trúc cơ bản của file robots.txt

Ví dụ:

– Chú thích:

  • User-agent: * =>> Cho phép tất cả loại Bot truy cập vào website của bạn.
  • Disallow: /wp-admin/ =>> Chặn không cho Bot truy cập vào thư mục wp-admin và những thứ bên trong nó.

Các User Agent của Google

Google có vài User Agent chính với những nhiệm vụ khác nhau. Bạn có thể ngăn chặn chúng không cho truy cập vào website với dòng lệnh User-agent tương ứng trong file robots.txt. Tuy nhiên chúng ta không nên làm việc này, chỉ hiểu để biết thôi nhé, nếu có chặn thì hãy chặn những Spam Bot thôi.

  • Googlebot: Đánh chỉ số từ các chỉ mục mới và cũ.
  • Googlebot-Mobile: Đánh chỉ số cho thiết bị di động.
  • Googlebot-Image: Đánh chỉ số  cho các file ảnh.
  • Mediapartners-Google: Xuất hiện trong các trang dăng quảng cáo của Google Adsense.
  • Adsbot-Google: Đánh chỉ số các trang được nhà quảng cáo sử dụng giới thiệu sản phẩm hay dịch vụ thông qua Google Adwords. Nó cho phép đánh giá chất lượng của trang dùng dịch vụ Adwords.

Cách sử dụng robots.txt

Hầu hết các website hiện nay đều sử dụng robots.txt với cấu trúc cho phép tất cả các Bot truy cập website, chặn những thư mục “nhạy cảm“, khai báo sitemap (sơ đồ trang web).

– Cấu trúc file robots.txt chuẩn cho WordPress:

Cách tạo robots.txt tự động

Google Webmaster Tools có một công cụ giúp tạo file robots.txt rất đơn giản, bạn chỉ việc vào Thu thập dữ liệu > Bộ kiểm tra robots.txt và tiến hành tạo cho mình một file robots.txt. Đừng quên lưu lại, tải về và upload lên thư mục root của website.

Cách tạo robots.txt tự động
Cách tạo robots.txt tự động

Ngoài ra, có một công cụ có thể tạo robots.txt online đó là Robots Generator. Bạn sẽ có thể tạo cho mình một file robots.txt như ý rất dễ dàng với công cụ này.

Kết luận

Như vậy là chúng ta đã tìm hiểu về cấu trúc của robots.txt và cách tạo file robots.txt rồi. Tuy đây là một tập tin đơn giản những có chức năng rất quan trọng giúp những công cụ tìm kiếm dễ dàng index những thông tin nóng hổi trên trang web của bạn thường xuyên nhất.

Robots.txt là gì? Cách tạo file Robots.txt cho WordPress
2.3 (3 votes)

Để lại một bình luận

14 Bình luận trên "Robots.txt là gì? Cách tạo file Robots.txt cho WordPress"

avatar
500
Lê Ngọc Tuấn
Khách

Các bác giúp giùm em với. Khi tìm trang web của mình trên google thì nó hiện: Không có mô tả cho kết quả này do robots.txt của trang web này – tìm hiểu thêm.
Mình check file robots thì thấy vẫn ổn. Web của mình http://etpco.vn/ .
Thanks!

Nam Ngô
Khách

Trang bạn đang để noindex trong meta robots thế kia thì nó index kiểu gì được

Help2blogging
Khách

This post is actually useful to any URL indexing in Google search console. Robots.txt file must be necessary of any blog. It will be submitted at any of the links will not be submitted at the link, robots.txt file gives the suggestion for Google indexing.

Quang Dang
Khách

Allow: /*.js$ Bạn cho mình hỏi là dấu $ như vậy là sao vậy bạn

Nam Ngô
Khách

Hình như là nó dư đó bạn

Long Nguyen
Khách

cho mình hỏi trang của mình thấy có robots.txt nhưng check trong Webmastertool thì chỉ thấy dòng user agent và dòng sitemap mà không thấy allow hay disalow nào. Như vậy có cần phải thêm allow hay disalow vào hay làm lại cái robot khác không? Xin cám ơn bạn

Nam Ngô
Khách

I am not understand

wpDiscuz
Đăng kí BẢN TIN

Đăng kí BẢN TIN

Đăng kí bản tin to cập nhật bài viết nhanh nhất and receive the following phần quà hấp dẫn từ Nam Ngô Blog.

Bạn đã đăng kí thành công!