Crawled Not Indexed Là Gì? Nguyên Nhân Và Cách Khắc Phục Triệt Để

Trong quá trình làm SEO, việc theo dõi trạng thái index của các trang web trong Google Search Console là vô cùng quan trọng. Một trong những trạng thái khiến nhiều người đau đầu là “crawled not indexed”. Vậy crawled not indexed là gì? Đây là tình trạng Google đã thu thập dữ liệu (crawl) trang của bạn nhưng lại không đưa vào chỉ mục tìm kiếm (index). Nếu không hiểu rõ bản chất và cách xử lý, website của Giải Thích Chi Tiết

Crawled not indexed là một trạng thái được hiển thị trong Google Search Console (mục Pages) cho biết Googlebot đã truy cập và đọc nội dung của một URL cụ thể, nhưng vì một lý do nào đó, URL này không được lưu trữ trong cơ sở dữ liệu chỉ mục của Google. Nói cách khác, trang đó tồn tại trên web, Google biết nó có mặt, nhưng quyết định không đưa nó lên kết quả tìm kiếm.

Trạng thái này khác với “discovered – not indexed” (phát hiện nhưng chưa thu thập) và “indexed” (đã được lập chỉ mục). Việc một URL bị crawled nhưng không được index thường xảy ra với các trang có chất lượng thấp, nội dung trùng lặp, hoặc bị chặn bởi các chỉ thị kỹ thuật.

Tại Sao Website Bị Crawled Nhưng Không Indexed?

Có rất nhiều lý do dẫn đến tình trạng “crawled not indexed”. Chất Lượng Nội Dung Thấp Hoặc Trùng Lặp

Google ưu tiên index những trang có giá trị, độc đáo và hữu ích với người dùng. Nếu nội dung của bạn quá mỏng (thin content), sao chép từ nguồn khác, hoặc không mang lại thông tin mới, Google có thể quyết định bỏ qua. Các trang được tạo tự động (auto-generated) hoặc có quá nhiều quảng cáo cũng dễ rơi vào tình trạng này.

2. Chỉ Thị Noindex Bị Sai Sót

Thẻ <meta name="robots" content="noindex"> hoặc header X-Robots-Tag: noindex được đặt không đúng cách là nguyên nhân hàng đầu. Đôi khi bạn vô tình thêm noindex vào trang quan trọng, hoặc plugin SEO cài đặt sai.

3. Canonical URL Không Chính Xác

Nếu một URL bị chỉ định canonical sang một URL khác, Google sẽ ưu tiên index URL canonical và bỏ qua URL gốc (dù đã crawl). Điều này thường xảy ra với các trang có nhiều phiên bản (ví dụ: tham số tracking, phân trang).

4. Vấn Đề Về Tài Nguyên và Tốc Độ Tải Trang

Googlebot có giới hạn ngân sách crawl (crawl budget). Nếu trang của bạn tải quá chậm, hoặc có quá nhiều tài nguyên bị chặn (CSS, JS, hình ảnh), Googlebot có thể không thu thập hết nội dung và từ chối index. Các lỗi 5xx, 4xx cũng ảnh hưởng đến quyết định này.

5. Cấu Trúc URL Không Tối Ưu

URL quá dài, chứa ký tự đặc biệt, hoặc có quá nhiều tham số động dễ khiến Google đánh giá thấp và không index. Trang nằm trong thư mục sâu (deep page) cũng có thể bị bỏ qua.

6. Không Đáp Ứng Yêu Cầu Kỹ Thuật Của Google

Các vấn đề như thiếu sitemap, robots.txt chặn không đúng cách, hoặc trang không có backlink nội bộ đủ mạnh để Google nhận biết tầm quan trọng.

Cách Kiểm Tra Trạng Thái Crawled Not Indexed Trong Google Search Console

Đầu tiên, bạn vào Google Search Console, chọn mục “Pages” (Trang) trong menu bên trái. Tại đây, bạn sẽ thấy biểu đồ và danh sách các trạng thái URL. Nhấp vào dòng “Crawled – currently not indexed” để xem chi tiết.

Google cũng cung cấp công cụ “URL Inspection” (Kiểm tra URL).

Trực tiếp thì không vì trang không có trong index nên không xếp hạng. Nhưng gián tiếp, nếu quá nhiều trang bị crawled không index, Google có thể đánh giá site của bạn có chất lượng kém, ảnh hưởng đến crawl budget và thứ hạng các trang khác.

Làm thế nào để Google index lại trang nhanh hơn?

Sau khi khắc phục nguyên nhân,

Các plugin có thể hỗ trợ kiểm tra noindex, canonical, nhưng không tự động sửa content. Bạn vẫn cần can thiệp thủ công để cải thiện chất lượng nội dung và kỹ thuật.

Bao nhiêu phần trăm trang bị crawled not indexed là bình thường?

Không có con số chuẩn, nhưng nếu tỷ lệ này trên 20-30% tổng số URL được crawl, bạn nên xem xét nghiêm túc. Với các site thương mại điện tử lớn, tỷ lệ này có thể cao hơn do số lượng trang lọc, trang category trùng lặp.

Kết Luận

Hiểu rõ crawled not indexed là gì và cách khắc phục là kỹ năng không thể thiếu đối với bất kỳ SEOer nào. Đây không phải là vấn đề một sớm một chiều, nhưng với cách tiếp cận bài bản: cải thiện nội dung, tối ưu kỹ thuật, và theo dõi sát sao Google Search Console, bạn hoàn toàn có thể đưa những trang này vào index và khai thác tối đa giá trị của chúng. Hãy kiểm tra ngay tài khoản Search Console của bạn và bắt tay vào xử lý ngay hôm nay.