Tạo robots.txt cho WordPress là một trong những công việc cần thiết để bạn bắt đầu chiến dịch SEO onpage của mình. Công cụ này giúp bạn ngăn chặn những công cụ tìm kiếm website của bạn. Bloghainguyen.comsẽ giúp bạn tạo robots.txt cho WordPress và chỉ bạn cách vận dụng file này một cách triệt để nhất.
Hiện nay, có rất nhiều công cụ tìm kiếm nhằm mục đích thu thập thông tin trang web của bạn. Những công cụ này hoạt động dựa trên những con bots tự động được tạo nên từ những thuật toán hết sức phức tạp. Những con bot này sẽ nhận nhiệm vụ thu thập thông tin trên mạng để Google xếp hạng và lập chỉ mục.
Những trang web thường sẽ được lập chỉ mục cho toàn bộ trang và những thông tin trên web được index xuất hiện trên Google.
Thông thường, trang web của bạn sẽ có những tài nguyên hoặc thư mục nhạy cảm mà bạn không muốn công khai hoặc cho công cụ tìm kiếm biết được và gây ảnh hưởng đến vấn để bảo mật. File robots.txt để ngăn chặn tình trạng đó.
Tạo robots.txt cho WordPress có công dụng gì?
Về cơ bản, việc tạo robots.txt cho WordPress sẽ có 2 công dụng chính sau đây:
Tối ưu hóa quá trình sử dụng máy chỉ của bạn bằng cách ngăn chặn những con bot làm lãng phí tài nguyên. Trong một số trường hợp, các website thường bị lag hoặc chậm do cung cấp tài nguyên để phản hồi những yêu cầu của bot.
Công dụng thứ 2 là giúp tối ưu hóa tài nguyên thu thập dữ liệu từ những công cụ tìm kiếm bằng cách nói cho họ biết không nên lãng phí thời gian cho những trang mà bạn không muốn index. Nhờ đó, những công cụ tìm kiếm sẽ tập trung nhiều hơn vào việc thu thập dữ liệu từ trang bạn quan tâm.
Cách tạo file robots.txt cho WordPress
Một trong những cách tạo robots.txt WordPress đơn giản nhất là dùng Plugin Yoast SEO. Plugin này không chỉ giúp bạn tạo robots.txt WordPress, mà còn có nhiều tính năng bổ ích khác giúp quá trình SEO của bạn thêm phần hiệu quả.
Cách cài plugin Yoast SEO như sau:
Tại giao diện quản trị trang web, bạn chọn vào mục Plugins, chọn tiếp Add new. Điền tên plugin và nhấn tìm kiếm.
Tạo robots.txt cho wordpress bằng Yoast SEO
Tiếp theo, tại SEO bạn chọn Tools.
Lưu thay đổi vào file robots
Chọn vào dòng chữ File editor, rồi nhấn Lưu thay đổi vào robots.txt để hoàn thành quá trình tạo và chỉnh sửa robots.txt.
Cách kiểm tra file robots.txt:
Kiểm tra file bằng Robots.txt tester của Google
Bạn có thể kiểm tra file này thông qua công cụ Robots.txt tester của Google. Đầu tiên, bạn cần nhấn vào dòng chữ “Please select a property” chọn website của bạn, ngay lập tức Google sẽ hiển thị công cụ giúp bạn kiểm tra file robots.txt đó.
Tiến hành kiểm tra file
Ngoài ra, bạn còn có thể kiểm tra những URL khác, như trang chủ của bạn chẳng hạn. Không những vậy, bạn còn có quyền kiểm tra những URL bạn đã chặn để đảm bảo bạn đã chặn thành công.
File robots.txt có thực sự chặn được tất cả các công cụ tìm kiếm lập chỉ mục không?
Robots.txt thực chất không thể kiểm soát được toàn bộ những con bot và không cho phép nó lập chỉ mục. Do đó, để ngăn chặn được triệt để vấn đề này, bạn nên sử dụng thẻ meta noindex hoặc phương pháp khác.
Robots.txt chỉ yêu cầu những công cụ tìm kiếm không được lập chỉ mục chứ không yêu cầu nó không được thu thập thông tin. Và chính Google cũng đã tuyên bố rằng trang của bạn có thể sẽ được lập chỉ mục nếu có một trang web bên ngoài liên kết với trang bạn và trang web đó không tạo Robots.txt.
Hướng dẫn dùng Robots.txt để chặn truy cập toàn bộ website
Chặn một số truy cập với Robots.txt
Giả sử trường hợp bạn muốn chặn tất cả các quyền truy vào vào thông tin website, bạn có thể làm theo cách dưới đây mà Bloghainguyen.com hướng dẫn bạn. Thông thường, những trang web mới sẽ thực hiện công việc này, vì họ không muốn những công cụ tìm kiếm thu thập thông tin và lập chỉ mục những nội dung chưa được hoàn chỉnh của họ.
Cách làm này khá đơn giản, bạn chỉ cần thêm đoạn mã sau vào file Robots.txt là được:
User-agent: *
Disallow: /
Cách dùng Robots.txt để chặn truy cập vào tệp hoặc thư mục nào đó
Nhiều trường hợp, có những thư mục hoặc những tệp mà bạn không muốn truy cập, bạn có thể thực hiện như sau:
Ví dụ chặn toàn bộ thư mục wp-admin hoặc wp-login.php:
Dùng Robots.txt để ngăn chặn bot thu thập dữ liệu kết quả tìm kiếm WordPress
Cách sử dụng robots.txt như thế nào?
Đây là tinh chỉnh dành riêng cho mã nguồn mở WordPress giúp bạn ngăn chặn trình thu thập thông tin từ những trang kết quả tìm kiếm của mình. WordPress sẽ dùng tham số S = để thực hiện điều này. Vì vậy để ngăn chặn, bạn có thể áp dụng đoạn mã sau đây:
User-agent: *
Disallow: /?s=
Disallow: /search/
Cách dùng Robots.txt để ngăn bot vào trang web của bạn
Đây là ví dụ cho công cụ tìm kiếm Bing, nếu bạn không muốn trang này lấy thông tin từ website của bạn. Ngược lại, bạn lại muốn Google index thông tin của bạn nhiều hơn.
Cách thực hiện như sau:
User-agent: Bingbot
Disallow: /
Kết luận
Như vậy, việc tạo robots.txt cho WordPress giúp ích rất nhiều cho người dùng khi muốn ngăn chặn các con bots truy cập vào thông tin không mong muốn. Nó cũng giúp ích rất nhiều cho quá trình SEO của bạn. Do đó, nên cài ngay từ khi thành lập website. Chúc bạn sử dụng thành công công cụ hữu ích này!
