Để các trang web và nội dung trực tuyến hiển thị trong kết quả của công cụ tìm kiếm Google, bạn cần đảm bảo trang web của mình có thể lập chỉ mục. Google Index về cơ bản là một cơ sở dữ liệu. Khi mọi người tìm kiếm nội dung, Google sẽ chuyển sang chỉ mục của nó để cung cấp câu trả lời có liên quan. Nếu trang của bạn không được lập chỉ mục, nó không tồn tại trong cơ sở dữ liệu của Google. Trong bài viết này, Ori Agency sẽ cung cấp chi tiết hơn về Index Google, giải thích cách bạn có thể kiểm tra xem trang của mình có được lập chỉ mục hay không, cách khắc phục lỗi SEO kỹ thuật phổ biến gây ra sự cố lập chỉ mục và cách để Google thu thập thông tin trang web nhanh chóng.
I. Google Index là gì?
Index trong SEO là gì? Index là hành động khai báo trang web với Google. Hiểu một cách đơn giản, nếu Google không lập chỉ mục trang web, nó sẽ không xuất hiện trong kết quả tìm kiếm của Google.
Tổng quan về quy trình của công cụ tìm kiếm:
- Thu thập thông tin: Các bot của công cụ tìm kiếm thu thập thông tin trang web để tìm hiểu xem nó có đáng được lập chỉ mục hay không. Trình thu thập dữ liệu web hay còn gọi là “Googlebot” thu thập thông tin trên web, theo các liên kết trên các trang web hiện có để tìm nội dung mới.
- Lập chỉ mục: Công cụ tìm kiếm thêm trang web vào cơ sở dữ liệu của nó, đối với Google là “Chỉ mục” của nó. Google lập chỉ mục nội dung của bạn bằng các thuật toán hệ thống có tính đến nhu cầu của người dùng và kết quả tìm kiếm chất lượng. Bạn có thể tác động đến quá trình Index của Google thông qua việc quản lý URL của trang. Dựa vào URL, hệ thống sẽ thu thập dữ liệu, lập chỉ mục và kết quả là hiển thị thông tin của bạn trong SERPs.
- Xếp hạng: Công cụ tìm kiếm xếp hạng trang web theo các số liệu như mức độ liên quan đến truy vấn và mức độ thân thiện với người dùng.
II. Quy trình Index Google
1. Kiểm tra xem Google đã lập chỉ mục trang web chưa?
1.1. Kiểm tra Google Index với thanh công cụ
Kiểm tra trạng thái Index Google của trang web
- Trong thanh tìm kiếm của Google, hãy nhập “site: yourwebsite.com”. VD: “site:mondial.vn“
- Kết quả hiển thị ước tính số lượng trang đã được lập chỉ mục bên dưới thanh tìm kiếm.
- Nếu không có kết quả nào hiển thị, trang đó chưa được lập chỉ mục.
Kiểm tra trạng thái Index của một URL cụ thể
Nhập: site:yourwebsite.com/web-page-slug
Nếu không có kết quả thì trang đó chưa được lập chỉ mục.
1.2. Kiểm tra với Google Search Console
Google Search Console cho phép bạn theo dõi các khía cạnh khác nhau của trang web như thời điểm trang web được thu thập thông tin lần cuối, các lỗi lập chỉ mục, vấn đề bảo mật, … Đồng thời, với Google Search Console, bạn cũng có thể quản lý cách bạn xuất hiện trong kết quả tìm kiếm và gửi sơ đồ trang web theo cách thủ công.
Kiểm tra một trang web đã lập chỉ mục chưa
- Đăng nhập vào Google Search Console.
- Nhấp vào “Chỉ mục” >>> “Phạm vi”.
- Bạn sẽ thấy số lượng trang hợp lệ được lập chỉ mục.
Kiểm tra một URL cụ thể đã được lập chỉ mục chưa?
Bạn chỉ cần dán URL vào Công cụ kiểm tra URL của Google Search Console.
- Nếu trang đã được Index, bạn sẽ nhận được thông báo “URL có trên Google”.
- Nếu URL không được lập chỉ mục, hãy nhấp vào nút “Yêu cầu lập chỉ mục”.
2. Cách khai báo link với Google
Cách dễ nhất để khai báo là yêu cầu lập chỉ mục thông qua Google Search Console.
- Đi tới Google Search Console >>> Công cụ kiểm tra URL
- Dán URL bạn muốn Google lập chỉ mục vào thanh tìm kiếm.
- Chờ Google kiểm tra URL
- Nhấp vào nút “Yêu cầu lập chỉ mục”
Bạn nên thực hiện quy trình này khi xuất bản một bài đăng hoặc trang mới.
3. Thời gian để Google lập chỉ mục một trang web
Google có thể mất vài ngày đến vài tuần để lập chỉ mục một trang web, đặc biệt là trang web mới.
Ngoài ra, cũng có khả năng trang web của bạn sẽ không được lập chỉ mục nếu chúng không được thiết lập đúng cách để thích ứng với quá trình thu thập thông tin của Googlebot.
III. Cách để Google Index nhanh chóng
1. Tối ưu hóa tệp Robots.txt
Sử dụng tệp Robots.txt giúp trình thu thập thông tin ưu tiên các trang quan trọng hơn, vì vậy nó không làm quá tải trang web của bạn với các yêu cầu.
1.1. Xác nhận rằng trang web mới có tệp robots.txt
Bạn có thể thực hiện việc này bằng FTP hoặc bằng cách nhấp vào Trình quản lý tệp thông qua Bảng điều khiển. Nếu không có, bạn có thể dễ dàng tạo bằng cách sử dụng một trình soạn thảo văn bản thuần túy như Notepad.
Ngoài ra, nếu là một blogger WordPress, bạn có thể tối ưu hóa các tệp robots.txt bằng cách sử dụng một plugin WordPress đáng tin cậy như plugin SEO của Yoast.
1.2. Xóa các khối thu thập thông tin (mã Crawl Block) trong tệp robots.txt
Khối thu thập thông tin trong tệp robots.txt có thể là nguyên nhân khiến Google không lập chỉ mục toàn bộ trang web. Để kiểm tra vấn đề này, hãy truy cập yourdomain.com/robots.txt.
Nếu gặp một trong hai đoạn mã dưới đây, hãy xóa chúng vì điều này có nghĩa là chúng không được phép thu thập dữ liệu bất kỳ trang nào trên trang web.
Khối thu thập thông tin trong robots.txt cũng có thể là lý do khiến Google không lập chỉ mục một trang web. Để kiểm tra, hãy dán URL vào công cụ kiểm tra URL trong Google Search Console >>> Mức độ phù hợp.
Nếu có thông báo “Được phép thu thập thông tin? Không: bị lỗi robots.txt”, bạn nên kiểm tra lại và loại bỏ chúng nếu tệp robots.txt có bất kỳ quy tắc “không cho phép” nào liên quan đến trang hoặc tiểu mục liên quan.
1.3. Chặn Google Index một trang không nên lập chỉ mục
Nếu bất kỳ trang nào trên trang web của bạn có nội dung trùng lặp, chẳng hạn như trang bạn đang thực hiện thử nghiệm A / B, bạn sẽ không muốn lập chỉ mục trang đó.
Để chặn lập chỉ mục một trang, hãy nhập mã này vào tệp robots.txt của bạn.
- Disallow: /nameoffolder/: Điều này sẽ chặn mọi thứ trong thư mục đó hoặc chỉ chặn một tệp duy nhất.
- Disallow: /folder/filename.html. Sau đó lưu và tải lại lên máy chủ của bạn.
2. Đảm bảo tất cả các thẻ SEO đều sạch
Có hai loại thẻ SEO chính mà bạn nên tối ưu hóa:
- Các thẻ ngăn lập chỉ mục giả mạo
- Thẻ chuẩn giả mạo
2.1. Các thẻ ngăn lập chỉ mục giả mạo
Các thẻ này yêu cầu công cụ tìm kiếm không lập chỉ mục các trang. Nếu một số trang nhất định không thể lập chỉ mục, có thể chúng có thẻ noindex.
Kiểm tra hai loại sau:
Thẻ meta
Thẻ meta noindex đặt trong phần của website với 2 loại:
- : Googlebot không thể tìm kiếm và theo dấu những liên kết trong trang có thẻ này.
- : Trang có những liên kết theo dấu được, nhưng sẽ không xuất hiện trong phần kết quả tìm kiếm.
Để tìm các trang có thẻ Meta ngăn lập chỉ mục trên website, bạn có thể dùng Kiểm tra trang web của Ahrefs (Ahrefs’ Site Audit) để thu thông tin rồi đến Indexability, tìm “Noindex page”. Sau đó kiểm tra toàn bộ và xóa những thẻ Meta noindex nếu cần thiết.
X-Robots-Tag
Bạn có thể sử dụng Google Search Console để xem những trang nào có X-Robots-Tag trong tiêu đề HTML.
- Sử dụng Công cụ kiểm tra URL.
- Sau khi nhập một trang, tìm kiếm thông báo như hình dưới, bạn biết rằng có một X-Robots-Tag cần xóa.
2.2. Thẻ chuẩn giả mạo (Canonical Tag)
Thẻ chuẩn cho Google biết đâu là phiên bản ưa thích của trang. Nó trông giống như thế này:
<link rel=”canonical” href=” page.html=”” “=””>
- Nếu một trang không có thẻ chuẩn, Googlebot sẽ nhận ra đó là trang ưa thích, là phiên bản duy nhất và sẽ lập chỉ mục trang đó.
- Nếu một trang có thẻ chuẩn giả mạo, Googlebot sẽ giả định rằng có một phiên bản ưu tiên thay thế của trang đó và sẽ không lập chỉ mục trang đó, ngay cả khi phiên bản khác đó không tồn tại. Sử dụng Công cụ kiểm tra URL của Google để kiểm tra các thẻ chuẩn. Trong trường hợp này, bạn sẽ thấy cảnh báo có nội dung “Trang thay thế có thẻ chuẩn”.
. Đưa trang vào sơ đồ trang web (Sitemap)
Sơ đồ trang web về cơ bản là một danh sách (ở định dạng XML) của tất cả các trang trên trang web của bạn. Chúng cho Google biết những trang nào trên trang web là quan trọng và những trang nào không. Đồng thời cũng có thể cung cấp một số hướng dẫn về tần suất chúng nên được thu thập lại thông tin.
Theo cách nói riêng của Google, “Gửi Sơ đồ trang web giúp bạn đảm bảo rằng Google biết về các URL trên trang web của bạn”. Điều này giúp tăng tốc độ thu thập dữ liệu và đẩy nhanh quá trình lập chỉ mục hơn.
3.1. Gửi Sơ đồ trang đến Search Console
Ở Trang tổng quan, trong phần “Chỉ mục”, chọn “Sơ đồ trang web”. Nhập URL sơ đồ trang web. Nếu bạn đang sử dụng một plugin cho WordPress, thông tin đó sẽ có sẵn trong cài đặt của plugin. Thông thường, URL là yourdomain.com/sitemap.xml.
3.2. Kiểm tra xem một trang có trong sơ đồ trang web
Để kiểm tra xem một trang có trong sơ đồ trang web của bạn hay không, hãy sử dụng công cụ kiểm tra URL trong Google Search Console.
Nếu bạn thấy lỗi “URL không có trên Google” và “Sơ đồ trang web: Không có” thì nó không có trong sơ đồ trang web của bạn hoặc đã được lập chỉ mục.
4. Đảm bảo liên kết nội bộ thích hợp và liên kết ngược hiệu quả
Liên kết nội bộ giúp trình thu thập thông tin tìm thấy các trang web của bạn. Các trang không liên kết được gọi là “trang mồ côi” và chúng ít khi được lập chỉ mục.
Để kiểm tra trang mồ côi, sử dụng Kiểm tra trang web của Ahrefs (Ahrefs’ Site Audit) và xem báo cáo Links để tìm lỗi “Orphan Page (has no incoming internal links)”:
Bạn có thể sửa các trang mồ côi theo một trong hai cách:
- Nếu trang không quan trọng, hãy xóa nó và xóa khỏi sơ đồ trang web của bạn.
- Nếu trang quan trọng, hãy kết hợp nó vào cấu trúc liên kết nội bộ của trang web.
Sơ đồ trang XML hiển thị tất cả nội dung trên trang web, cho phép bạn xác định các trang không được liên kết. Dưới đây là một số mẹo về liên kết nội bộ tốt nhất:
- Loại bỏ các liên kết nội bộ nofollow: Liên kết nội bộ nofollow ngăn cản việc chuyển PageRank đến URL đích. Khi Googlebot bắt gặp các thẻ nofollow, nó sẽ báo cho Google rằng nó sẽ loại bỏ các liên kết mục tiêu khỏi biểu đồ tổng thể của web.
- Thêm liên kết nội bộ có thứ hạng cao: Liên kết nội bộ đẩy nhanh quá trình thu thập dữ liệu trang web. Vì vậy, sử dụng các trang xếp hạng cao để liên kết nội bộ đến các trang mới sẽ đẩy nhanh quá trình lập chỉ mục.
- Tạo các liên kết ngược chất lượng cao: Google công nhận rằng các trang là quan trọng và đáng tin cậy nếu chúng được liên kết nhất quán bởi các trang có thẩm quyền. Các liên kết ngược là dấu hiệu để Google biết rằng một trang nên được lập chỉ mục.
5. Tạo nội dung chất cao
Theo báo cáo “Not Another State of Marketing 2020” của HubSpot, 60% nhà tiếp thị nội dung cho biết nội dung rất quan trọng hoặc cực kỳ quan trọng đối với chiến lược tổng thể của họ.
Một nghiên cứu khác cho thấy rằng các công ty sử dụng tiếp thị nội dung có tỷ lệ chuyển đổi cao hơn 6 lần.
Nội dung chất lượng cao rất quan trọng đối với việc lập chỉ mục và xếp hạng trên SERPs. Để đảm bảo nội dung tổng thể trang web có hiệu suất cao cũng như tối ưu hóa “ngân sách thu thập thông tin”, hãy xóa các trang chất lượng thấp và hoạt động kém, chẳng hạn như các trang có nội dung trùng lặp.
Điều này cho phép Googlebot tập trung vào các trang có giá trị hơn trên trang web. Google tuyên bố rằng “ngân sách thu thập thông tin không phải là điều mà hầu hết các nhà xuất bản phải lo lắng” và “nếu một trang web có ít hơn vài nghìn URL, thì hầu hết thời gian trang web đó sẽ được thu thập thông tin một cách hiệu quả.”
6. Thường xuyên kiểm tra lỗi thu thập thông tin của Google
Đây là những gì bạn nên theo dõi:
- Lỗi thu thập thông tin
- Thời gian phản hồi trung bình
- Thống kê thu thập thông tin
Bạn nên kiểm tra lỗi thu thập thông tin ít nhất một lần một tháng cho các trang web để duy trì tần suất lập chỉ mục.
Để kiểm tra lỗi thu thập thông tin, hãy mở Search Console.
Ở bên trái, nhấp vào Cài đặt >>> Thống kê thu thập thông tin >>> Mở Báo cáo.
Trang thống kê thu thập thông tin cho biết tần suất Google lập chỉ mục trang web. Nếu kết quả tăng lên có nghĩa là bây giờ Google đang lập chỉ mục cho bạn thường xuyên hơn. Nhưng nếu biểu đồ có xu hướng đi xuống, đó có thể là dấu hiệu bạn cần đăng thêm nội dung hoặc gửi một sơ đồ trang web mới.
Ở phần “Chỉ mục”, nhấp vào “Mức độ phù hợp”.
Kết quả hiển thị bất kỳ lỗi nào mà Googlebot gặp phải khi thu thập dữ liệu trang web của bạn, chẳng hạn như lỗi 404.
Lập chỉ mục cho phép Google biết trang web của bạn. Mặc dù Google Index không có nghĩa là trang web sẽ được xếp hạng cao cho bất kỳ truy vấn liên quan và đáng giá nào, bạn vẫn cần duy trì việc khai báo link với Google thường xuyên để đảm bảo bài viết nhanh chóng tiếp cận được độc giả, từ đó thu được lưu lượng truy cập tự nhiên.
Ngược lại với Google Index nhanh chóng sẽ mang lại hiệu quả SEO tốt hơn, thì tài nguyên chặn hiển thị sẽ ảnh trực tiếp đến hiệu quả SEO.
