Hai file nhỏ nhưng ảnh hưởng lớn tới việc Google thu thập dữ liệu (crawl) website của bạn: robots.txt và sitemap.xml. Bài này giải thích rõ từng file và cách cấu hình chuẩn.
Robots.txt là gì?
File văn bản đặt ở gốc domain (tenmien.com/robots.txt), chỉ dẫn cho bot tìm kiếm biết phần nào của site được phép hoặc không nên crawl. Lưu ý: đây chỉ là “lời đề nghị” — không phải cơ chế bảo mật, bot xấu vẫn có thể bỏ qua.
Cấu trúc robots.txt cơ bản cho WordPress
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://tenmien.com/sitemap_index.xmlWordPress tự tạo robots.txt ảo mặc định khá hợp lý; nếu cần tuỳ chỉnh, các plugin SEO như Yoast/Rank Math cho phép sửa trực tiếp trong wp-admin mà không cần đụng file qua FTP.
Sitemap XML là gì?
File liệt kê toàn bộ URL quan trọng trên site (bài viết, trang, sản phẩm) theo định dạng XML, giúp Google tìm và index nội dung nhanh, đầy đủ hơn — đặc biệt hữu ích cho site mới ít backlink hoặc site có cấu trúc phân cấp sâu.
Cách tạo sitemap XML
Không cần tạo thủ công — các plugin SEO (Yoast SEO, Rank Math, All in One SEO) tự động tạo và cập nhật sitemap mỗi khi có bài mới, đặt tại đường dẫn dạng /sitemap_index.xml. Sau khi có, gửi vào Google Search Console để Google biết và crawl.
Lỗi thường gặp
- Chặn nhầm toàn site trong robots.txt (
Disallow: /) — lỗi nghiêm trọng khiến Google ngừng index toàn bộ, hay gặp khi quên tắt chế độ “Discourage search engines” sau khi launch site thật. - Sitemap chứa URL bị chặn trong robots.txt — gây mâu thuẫn tín hiệu, Google có thể bỏ qua các URL này.
- Sitemap chứa URL noindex — nên loại các trang không muốn index (trang cảm ơn, trang nội bộ) khỏi sitemap.
Sau khi hoàn tất checklist launch website, luôn kiểm tra lại Cài đặt > Đọc > “Discourage search engines from indexing this site” đã được BỎ chọn — đây là lỗi phổ biến nhất khiến site mới không lên Google.
Câu hỏi thường gặp
Có bắt buộc phải có robots.txt không?
Không bắt buộc — nếu không có file này, bot mặc định coi như được phép crawl toàn bộ site. WordPress tự tạo phiên bản ảo hợp lý ngay cả khi bạn không tạo file thủ công.
Sửa robots.txt xong bao lâu Google mới nhận ra?
Google thường crawl lại robots.txt khá thường xuyên (trong vòng vài ngày), có thể dùng công cụ “robots.txt Tester” trong Search Console để kiểm tra ngay lập tức thay vì chờ.
Site nhỏ (dưới 50 bài) có cần sitemap XML không?
Vẫn nên có — dù site nhỏ, sitemap giúp Google index nhanh và đầy đủ hơn, đặc biệt hữu ích khi site mới chưa có nhiều backlink để bot tự tìm ra hết các trang.