Noindex Tag là gì?
Noindex Tag là một thẻ HTML được sử dụng để ngăn bot của công cụ tìm kiếm index một trang hoặc một file cụ thể trên website.
Để khai báo cho công cụ tìm kiếm biết bạn không muốn một trang được index bằng cách thêm thẻ noindex vào thẻ meta robots, thêm đoạn code dưới đây vào phần <head> của HTML:
<meta name="robots" content="noindex">Ngoài ra, thẻ noindex cũng có thể được thêm dưới dạng x-robots-tag trong header HTTP như sau:
x-robots-tag: noindexKhi bot của công cụ tìm kiếm (ví dụ như Google bot) ghé thăm trang và thấy thẻ noindex, nó sẽ không thực hiện index và thêm trang đó vào danh sách kết quả tìm kiếm. Thậm chí, nếu trước đó trang đã được index nhưng sau đó bạn thêm thẻ noindex, Google sẽ loại bỏ trang đó khỏi danh sách kết quả tìm kiếm, kể cả khi có các trang khác liên kết đến trang này.
Mặc dù bạn cung cấp chỉ thị cho công cụ tìm kiếm, nhưng không phải tất cả các bot đều tuân theo một cách giống nhau. Tuy nhiên, hầu hết các bot từ các công cụ tìm kiếm (đặc biệt là Google) thường tuân theo chỉ thị noindex.
Phân biệt Noindex và Nofollow
Nofollow và noindex là hai loại chỉ thị phổ biến trong thẻ meta robots mà Google hỗ trợ. Tuy nhiên, thẻ follow thường được Google xem là không cần thiết vì nó được áp dụng mặc định khi không có chỉ thị nào.
| Tiêu chí | Noindex | Nofollow |
|---|---|---|
| Mục đích | Ngăn công cụ tìm kiếm lập chỉ mục trang hiện tại. | Ngăn công cụ tìm kiếm theo dõi các liên kết (outbound links) trên trang hiện tại. |
| Đối tượng áp dụng | Toàn bộ một trang. | Từng liên kết cụ thể trên trang. |
| Tác động | Trang sẽ không xuất hiện trên kết quả tìm kiếm. | Trang vẫn có thể được index, nhưng không truyền “sức mạnh SEO” (link juice) cho các trang liên kết tới. |
| Cách hoạt động | Thẻ meta này sẽ yêu cầu các công cụ tìm kiếm không đưa trang vào chỉ mục của họ. | Thuộc tính rel="nofollow" được thêm vào thẻ để chỉ thị cho công cụ tìm kiếm không đi theo liên kết đó. |
Bạn có thể kết hợp noindex, follow (không index trang nhưng vẫn theo dõi link) hoặc noindex, nofollow (không index và không theo dõi link). Nếu bạn đã thêm thẻ noindex nhưng trang vẫn hiển thị trong kết quả tìm kiếm, có thể Google chưa thu thập dữ liệu trang sau khi thêm chỉ thị. Để yêu cầu Google thu thập dữ liệu trang một lần nữa, bạn có thể sử dụng công cụ URL Inspection trong Google Search Console.
Khi nào nên sử dụng Noindex Tag?
Bạn nên sử dụng thẻ noindex trong trường hợp muốn ngăn Google index các trang nào đó. Vì Google không có đủ tài nguyên để index mọi trang trên website, nên việc đánh giá những trang ít quan trọng hơn để gắn thẻ noindex là rất quan trọng. Đồng thời, giúp bạn có thể tập trung ưu tiên tối ưu những trang bạn muốn index.
Bạn nên gắn thẻ noindex trên các trang sau đây:
- Trang hệ thống: Các trang đăng nhập, đăng ký, quên mật khẩu, giỏ hàng, thanh toán.
- Trang tương tác: Trang cảm ơn (Thank You Page) sau khi người dùng điền form hoặc mua hàng.
- Trang có nội dung chất lượng thấp hoặc bị duplicate content: Các trang lưu trữ theo thẻ (tag), kết quả tìm kiếm nội bộ, hoặc các trang danh mục có nội dung mỏng.
- Trang nháp và thử Nghiệm: Trang staging, bản nháp bài viết, hoặc các tệp nội bộ không dành cho công chúng.
Việc áp dụng noindex cho các trang nên được xem xét và triển khai như một phần của kế hoạch SEO. Bạn không nên sử dụng thẻ noindex trên các trang có giá trị như:
- Trang chủ, trang giới thiệu, trang liên hệ.
- Các trang sản phẩm, dịch vụ quan trọng.
- Các bài viết blog có giá trị, mang lại traffic.
Tóm lại, không nên dùng thẻ noindex trên những trang bạn muốn thu hút nhiều organic traffic từ kết quả tìm kiếm.
Tăng tốc website, cải thiện trải nghiệm người dùng và đạt thứ hạng cao hơn với dịch vụ SEO Hosting chuyên biệt của Vietnix. Hạ tầng mạnh mẽ, tốc độ vượt trội, cùng đa dạng IP riêng, giúp bạn dễ dàng triển khai chiến lược SEO hiệu quả, xây dựng hệ thống PBN an toàn.
Cách triển khai Noindex Tag
- Chèn thẻ noindex vào code HTML của một trang
- Thêm thẻ noindex vào tiêu đề HTTP
Thẻ noindex có thể được đặt trong code HTML hoặc tiêu đề phản hồi HTTP (HTTP response header) của một website. Một số plugin CMS như Yoast SEO cho phép bạn tự động thêm thẻ noindex cho các trang bạn publish.
Chèn thẻ noindex vào code HTML của một trang
Thẻ noindex có thể được triển khai như một thẻ meta robot trong phần <head> của HTML. Thẻ meta robot được sử dụng để kiểm soát việc thu thập dữ liệu và index của một website. Mặc dù người dùng không nhìn thấy nó, nhưng các bot tìm thấy khi thu thập dữ liệu một trang.
Dưới đây là cách triển khai code:
<!DOCTYPE html>
<html>
<head>
<meta name="robots" content="noindex">
</head>
<body>
</body>
</html>Tìm hiểu cấu trúc của một thẻ meta robots.
Trong một thẻ meta, có các cặp thuộc tính và giá trị:
<meta attribute=”value”>Thẻ meta robot có hai thuộc tính đó là:
- name: Tên của các bot tìm kiếm.
- content: Chứa chỉ thị cho bot.
Cả hai thuộc tính đều yêu cầu các giá trị khác nhau dựa vào việc mà bạn muốn bot thực hiện và không phân biệt chữ hoa chữ thường.
Thuộc tính name thường sẽ có giá trị là “robots“, cho biết một chỉ thị đang nhắm đến tất cả các bot của công cụ tìm kiếm. Nếu bạn muốn chỉ thị riêng cho một bot cụ thể, bạn có thể sử dụng tên của bot đó, ví dụ như “googlebot“, nhưng điều này thường ít phổ biến. Nếu bạn muốn gửi chỉ thị khác nhau đến các bot riêng biệt, bạn cần tạo nhiều thẻ meta cho từng bot.
Bạn cần lưu ý rằng các công cụ tìm kiếm có các trình duyệt khác nhau cho các mục đích khác nhau.
Trong thuộc tính “content,” bạn đặt chỉ thị, trong trường hợp này là “noindex.” Bạn có thể thêm nhiều chỉ thị khác nhau và phân tách chúng bằng dấu phẩy.
Ưu điểm và nhược điểm của thẻ meta robots:
Phương thức HTML triển khai và sửa đổi sẽ dễ dàng hơn so với phương thức tiêu đề HTTP. Bạn không cần truy cập máy chủ để thực hiện.
Việc triển khai thẻ noindex trong HTML có thể mất nhiều thời gian do bạn phải thực hiện thủ công.
Thêm thẻ noindex vào tiêu đề HTTP
Bạn có thể áp dụng chỉ thị noindex thông qua thẻ x-robots-tag trong phần tiêu đề HTTP của website. Tiêu đề HTTP được sử dụng để giao tiếp giữa server và client (trình duyệt hoặc bot công cụ tìm kiếm).
Việc thêm chỉ thị noindex trong thẻ x-robots-tag có thể được cấu hình trên web server của bạn. Cách thực hiện có thể khác nhau tùy vào loại máy chủ bạn đang sử dụng như Apache, Nginx,…
Bạn có thể hình dung cách phản hồi HTTP với thẻ x-robots-tag trong ví dụ sau:
HTTP/1.1 200 OK
(…)
x-robots-tag: noindex
(…)Nếu bạn sử dụng máy chủ Apache và muốn ngăn việc index tất cả các file có đuôi “.pdf,” bạn có thể thêm đoạn mã sau vào tệp .htaccess:
<Files ~ "\.pdf$">
Header set x-robots-tag "noindex"
</Files>Nếu bạn sử dụng máy chủ Nginx, bạn có thể thực hiện như sau trong file .conf:
location ~* \.pdf$ {
add_header x-robots-tag "noindex";
}Ưu điểm khi sử dụng tiêu đề HTTP:
- Có thể áp dụng cho các document không phải là trang HTML, chẳng hạn như file PDF, video hoặc hình ảnh. Ngoài ra, bạn có thể nhắm mục tiêu vào một phần cụ thể của trang.
- X-robots-tag hỗ trợ việc sử dụng biểu thức chính quy (RegEx), cho phép bạn có thể nhắm mục tiêu vào trang cần noindex dựa vào các yếu tố chung. Ví dụ, bạn có thể nhắm mục tiêu các trang với URL chứa các tham số hoặc ký tự cụ thể.
Nhược điểm khi sử dụng tiêu đề HTTP:
- Để triển khai một thẻ x-robots, bạn cần phải truy cập vào máy chủ của mình.
- Quy trình triển khai phức tạp hơn so với thêm thẻ meta robots vào code HTML của trang web.
Một số thông tin thêm về cách sử dụng Noindex Tag
Dưới đây là một số hướng dẫn bổ sung về việc sử dụng thẻ noindex mà bạn cần nắm:
- Khi không thêm thẻ noindex vào code, mặc định bot có thể index trang của bạn.
- Đảm bảo cú pháp chính xác, vì bot sẽ không hiểu lệnh nếu cú pháp sai.
- Chỉ thêm thẻ vào HTML hoặc tiêu đề phản hồi HTTP, đừng thêm vào cả hai. Làm như vậy để tránh mâu thuẫn giữa các chỉ thị ở các vị trí tương ứng. Google bot có thể chọn lệnh hạn chế index trong trường hợp này.
- Lệnh noimageindex hoạt động tương tự như noindex nhưng chỉ ngăn chặn việc index hình ảnh trên một trang cụ thể.
- Sau thời gian, bot của công cụ tìm kiếm xem noindex giống như nofollow. Bạn có thể sử dụng noindex cùng với follow để thu thập dữ liệu từ liên kết, nhưng Google giải thích rằng cuối cùng chỉ thị noindex, follow sẽ giống noindex, nofollow. Điều này có thể làm giảm tín hiệu xếp hạng của các landing page liên kết.
- Không nên dùng noindex trong file robots.txt. Mặc dù điều này và một số quy tắc khác không được hỗ trợ chính thức, các bot công cụ tìm kiếm đã tuân theo các chỉ thị noindex trong file robots.txt. Tuy nhiên, từ tháng 9 năm 2019, Google đã chấm dứt việc xử lý các quy tắc không được hỗ trợ như noindex trong file robots.txt.
So sánh Noindex, robots.txt và Canonical Tag
Thẻ noindex, file robots.txt và thẻ canonical liên quan chặt chẽ với nhau và được dùng để kiểm soát việc thu thập dữ liệu và index trang web. Tuy nhiên, chúng có các điểm khác biệt để áp dụng tùy theo tình huống.
| Tiêu chí | Noindex Tag | File robots.txt | Canonical Tag |
|---|---|---|---|
| Mục đích | Ra lệnh cho bot không lập chỉ mục một trang. | Ra lệnh cho bot không thu thập dữ liệu một trang hoặc thư mục. | Cho biết đâu là phiên bản gốc trong số các trang có nội dung trùng lặp. |
| Cách hoạt động | Bot vẫn crawl trang để đọc chỉ thị, sau đó không index. | Bot sẽ không truy cập vào trang/thư mục bị chặn. | Bot crawl tất cả các phiên bản và gộp “sức mạnh SEO” vào URL gốc. |
| Khi nào dùng | Trang cảm ơn, trang quản trị, nội dung chất lượng thấp. | Tiết kiệm ngân sách crawl, chặn các khu vực không quan trọng (vd: script, hình ảnh tạm). | Các trang sản phẩm có biến thể (màu sắc, kích cỡ), các trang có tham số URL. |
Lưu ý
Không được chặn một trang bằng robots.txt và đồng thời gắn thẻ noindex cho nó. Nếu bạn chặn crawl bằng robots.txt, Googlebot sẽ không bao giờ truy cập trang đó để đọc được chỉ thị noindex.
Việc một trang quan trọng bị gắn nhầm thẻ noindex có thể gây thiệt hại lớn cho SEO. Dưới đây là quy trình kiểm tra và khắc phục chính xác.
Cách kiểm tra lỗi Noindex Tag chính xác nhất
- Cách 1: Kiểm tra trực tiếp mã nguồn
- Cách 2: Sử dụng Google Search Console
- Cách 3: Dùng curl để kiểm tra
Việc một trang quan trọng bị gắn nhầm noindex tag có thể gây thiệt hại lớn cho SEO. Dưới đây là quy trình kiểm tra và khắc phục chính xác.
Cách 1: Kiểm tra trực tiếp mã nguồn
Truy cập trang bạn nghi ngờ bị lỗi noindex tag, sau đó:
- Nhấn Ctrl + U (Windows) hoặc Option + Command + U (Mac) để xem mã nguồn.
- Nhấn Ctrl + F và tìm kiếm từ khóa <meta name=”robots” content=”noindex” hoặc X-Robots-Tag: noindex (kiểm tra trong HTTP header, tab Network của DevTools)
- Nếu thấy thẻ
<meta name="robots" content="noindex, follow"> hoặc<meta name="robots" content="noindex">, nghĩa là trang đó đang bị chặn.
Cách 2: Sử dụng Google Search Console
Google Search Console cung cấp kết quả kiểm tra chính xác từ Google. Bạn thực hiện theo các bước sau:
- Đăng nhập Google Search Console và dán URL cần kiểm tra vào thanh Kiểm tra URL.
- Xem kết quả ở mục Việc lập chỉ mục trang. Nếu trang bị noindex, lý do sẽ hiển thị rõ ràng là Bị loại trừ bởi thẻ ‘noindex’.
Cách 3: Dùng curl để kiểm tra
Bạn có thể sử dụng curl để xem mã nguồn và header HTTP của trang xem có tồn tại noindex tag không:
curl -I https://yourdomain.com/page-url |grep "robots"Nếu kết quả xuất hiện tương tự như bên dưới thì trang đó đang bị chặn lập chỉ mục.
<meta name="robots" content="noindex
<meta name="robots" content="noindex, follow">Cách khắc phục lỗi Noindex Tag trên WordPress
- Cài đặt chung của WordPress
- Cài đặt trong Plugin SEO
- Kiểm tra file robots.txt (Nâng cao)
- Yêu cầu Google index lại
Lỗi noindex tag thường xuất phát từ 3 cài đặt chính trên WordPress. Bạn cần kiểm tra và chỉnh sửa lần lượt theo thứ tự ưu tiên sau:
Cài đặt chung của WordPress
Đây là lỗi thường gặp nhất, đặc biệt với các website mới. Bạn sửa lỗi theo các bước sau:
- Đầu tiên đăng nhập vào trang quản trị WordPress, vào Cài đặt (Settings) và chọn Đọc (Reading).
- Sau đó bạn tìm mục Khả năng hiển thị với công cụ tìm kiếm”(Search engine visibility) và BỎ CHỌN ô “Ngăn chặn các công cụ tìm kiếm lập chỉ mục trang web này”.
- Cuối cùng lưu thay đổi bằng cách Save Changes.
Cài đặt trong Plugin SEO
Các plugin SEO (Rank Math, Yoast SEO) cho phép bạn thiết lập noindex tag ở cấp độ toàn cục hoặc từng trang riêng lẻ.
- Kiểm tra cài đặt toàn cục: Trong Rank Math, bạn vào Titles & Meta. Sau đó kiểm tra các tab Global Meta, Posts, Pages,… để đảm bảo tùy chọn Robots Meta không bị đặt thành No Index. Trong Yoast SEO, bạn vào Search Appearance. Kiểm tra các tab Content Types, Taxonomies… đảm bảo tùy chọn Show … in search results? được đặt thành Yes.
- Cài đặt riêng lẻ: Khi chỉnh sửa một bài viết hoặc trang, bạn cuộn xuống phần cài đặt của Rank Math/Yoast SEO. Trong tab Advanced, tìm mục Robots Meta và đảm bảo giá trị được đặt là Index.
Kiểm tra file robots.txt (Nâng cao)
Mặc dù Google không còn hỗ trợ chỉ thị noindex trong robots.txt, nhưng file này có thể đang chặn Google thu thập dữ liệu trang, khiến Google không thể thấy bạn đã gỡ noindex tag. Để sửa lỗi này, bạn thực hiện như sau:
- Truy cập file robots.txt (thường ở thư mục gốc của website) qua FTP hoặc plugin quản lý file.
- Kiểm tra xem có dòng lệnh nào chặn trang của bạn không, đặc biệt là dòng:
User-agent: *
Disallow: /Nếu thấy dòng Disallow: /, bạn hãy xóa hoặc thêm dấu # ở đầu để vô hiệu hóa.
Yêu cầu Google index lại
Sau khi đã gỡ bỏ tất cả các noindex tag, bạn cần thông báo cho Google bằng cách:
- Quay lại Google Search Console và Kiểm tra URL của trang đã khắc phục.
- Sau khi GSC kiểm tra và xác nhận trang có thể được lập chỉ mục, bạn nhấp vào nút YÊU CẦU LẬP CHỈ MỤC (REQUEST INDEXING).
- Google sẽ ưu tiên thu thập dữ liệu lại trang này. Nếu việc khắc phục thành công, trang của bạn sẽ sớm xuất hiện lại trên kết quả tìm kiếm.
