Tạo và sử dụng file robots cho google

"robots.txt mang thể quy định từng chiếc bot khác nhau của những SE khác nhau có thể vào web hay từng khu vực của web hay không? Vài cái bot của những SE: Googlebot (Google), Googlebot-Image(Google), Yandex(SE của Nga), Bingbot(Bing)/Yahoo Slurp(Yahoo)…"

Dưới đây là hướng dẫn tạo và sử dụng file robots.txt cho website, để các bộ máy tìm kiếm quản lý index nội dung của website bạn

(dịch vụ : dịch vụ seo website | dịch vụ tối ưu hóa )

robots.txt là file văn bản với cấu trúc, khi các spider (bot, crawler) của những SE (Search engine) vào web để thu thập dữ liệu thì sẽ vào file robots.txt để xem các chỉ dẫn trong file này.

robots.txt với thể quy định từng mẫu bot khác nhau của những SE khác nhau sở hữu thể vào web hay từng khu vực của web hay không?
Vài loại bot của những SE: Googlebot (Google), Googlebot-Image(Google), Yandex(SE của Nga), Bingbot(Bing)/Yahoo Slurp(Yahoo)…

phương pháp phân tích tối ưu hóa hiệu quả  lúc Google thông báo vào năm ngoái rằng sẽ mã hóa toàn bộ dữ liệu từ khóa, Marketer lại hối hả chọn kiếm bí quyết thay thế để theo dõi chọn kiếm, bao gồm dữ liệu từ Bing, Adword, xem xét các top landing page. Nhưng sau lúc tất cả thiết bị đã hạ nhiệt, với vẻ như các phân tích dường như ko hoàn toàn thiết yếu. các tool phân tích đưa lại sự giúp đỡ đắc lực trong tối ưu hóa nhưng không hề là thống trị hoàn toàn. Dưới đây là 6 bí quyết để thành công sở hữu seo mà ko phải dùng tool phân tích nào cả.

các cú pháp thông dụng trong file robots.txt
User-agent: đối tượng bot được chấp nhận
Disallow/Allow: URL muốn chặn/cho phép
*: Đại diện cho toàn bộ
Ví dụ: User-agent: * (Có nghĩa là chấp nhận đa số những dòng bot.)
Khóa toàn bộ site
Disallow: /
Chặn 1 thư mục và hầu hết trang bị nằm trong nó
Disallow: /wp-admin/
Chặn 1 trang
Disallow: /private_file.html
chiếc bỏ một hình từ Google Images
User-agent: Googlebot-Image
Disallow: /images/sexy.jpg
Bỏ mọi các hình từ Google Images:
User-agent: Googlebot-Image
Disallow: /
Chặn một file hình bất kỳ, ví dụ .gif
User-agent: Googlebot
Disallow: /*.gif$
các điều nên giảm thiểu trong file robots.txt
- Phân biệt chữ hoa chữ thường.
- ko được viết dư, thiếu khoản trắng.
- ko cần chèn thêm bất kỳ ký tự nào khác ngoài các cú pháp lệnh.
- Mỗi 1 câu lệnh bắt buộc viết trên 1 dòng.
phương pháp tạo và vị trí đặt file robots.txt
- tiêu dùng notepad hay bất cứ chương trình nào tạo file, sau đấy đổi tên file là robots.txt.
- Đặt ở thư mục gốc của website.