Tạo và sử dụng file robots cho google

"robots.txt mang thể quy định từng chiếc bot khác nhau của các SE khác nhau mang thể vào web hay từng khu vực của web hay không? Vài cái bot của các SE: Googlebot (Google), Googlebot-Image(Google), Yandex(SE của Nga), Bingbot(Bing)/Yahoo Slurp(Yahoo)…"

Dưới đây là hướng dẫn tạo và dùng file robots.txt cho web, để các bộ máy tìm kiếm quản lý index nội dung của website bạn

(dịch vụ : dịch vụ tối ưu hóa website | dịch vụ seo )

robots.txt là file văn bản mang cấu trúc, khi các spider (bot, crawler) của các SE (Search engine) vào website để thu thập dữ liệu thì sẽ vào file robots.txt để xem những chỉ dẫn trong file này.

robots.txt mang thể quy định từng loại bot khác nhau của các SE khác nhau sở hữu thể vào web hay từng khu vực của website hay không?
Vài cái bot của các SE: Googlebot (Google), Googlebot-Image(Google), Yandex(SE của Nga), Bingbot(Bing)/Yahoo Slurp(Yahoo)…

bí quyết phân tích tối ưu hóa hiệu quả  khi Google thông báo vào năm ngoái rằng sẽ mã hóa tất cả dữ liệu từ khóa, Marketer lại hối hả chọn kiếm bí quyết thay thế để theo dõi chọn kiếm, bao gồm dữ liệu từ Bing, Adword, xem xét các top landing page. Nhưng sau lúc đa số thứ đã hạ nhiệt, có vẻ như các phân tích dường như không hoàn toàn thiết yếu. những tool phân tích đưa lại sự giúp đỡ đắc lực trong tối ưu hóa nhưng ko phải là thống trị hoàn toàn. Dưới đây là 6 bí quyết để thành công có tối ưu hóa mà ko cần sử dụng tool phân tích nào cả.

các cú pháp thông dụng trong file robots.txt
User-agent: đối tượng bot được chấp nhận
Disallow/Allow: URL muốn chặn/cho phép
*: Đại diện cho tất cả
Ví dụ: User-agent: * (Có nghĩa là chấp nhận toàn bộ các dòng bot.)
Khóa tất cả site
Disallow: /
Chặn một thư mục và toàn bộ vật dụng nằm trong nó
Disallow: /wp-admin/
Chặn một trang
Disallow: /private_file.html
mẫu bỏ một hình từ Google Images
User-agent: Googlebot-Image
Disallow: /images/sexy.jpg
Bỏ toàn bộ những hình từ Google Images:
User-agent: Googlebot-Image
Disallow: /
Chặn 1 file hình bất kỳ, ví dụ .gif
User-agent: Googlebot
Disallow: /*.gif$
những điều nên hạn chế trong file robots.txt
- Phân biệt chữ hoa chữ thường.
- không được viết dư, thiếu khoản trắng.
- ko buộc phải chèn thêm bất kỳ ký tự nào khác ngoài các cú pháp lệnh.
- Mỗi một câu lệnh phải viết trên một cái.
bí quyết tạo và vị trí đặt file robots.txt
- sử dụng notepad hay bất cứ chương trình nào tạo file, sau ấy đổi tên file là robots.txt.
- Đặt ở thư mục gốc của web. ( thietkewebchuanseo.com/robots.txt )