Làm thế nào tôi có thể sử dụng file Robots.txt?
10/08/2009 09:22 ( 12350 Lần Xem )
Đây là một file nằm trong thư mục chính của một website . File này cho các spiders của những công cụ tìm kiếm biết chỗ nào trên website chúng được phép “lần mò” tới. Về cơ bản, spider có thể scan bất cứ file nào nếu bạn sử dụng cấu trúc sau:

User-agent: *
Disallow:

Bạn có thể không cho phép các Search Engine tìm đến một số folder hay file mà bạn muốn bằng cách sử dụng cấu trúc sau:

User-agent: *
Disallow: /foldername, filename/

Xem thêm bài: Sự quan trọng của tập tin robots.txt - Robots là gì ? 

Xem Thêm : robots , robots la gi

Công ty CP công nghệ dịch vụ Binna

Địa chỉ:B3 - Ngõ 195, Trung Kính - Yên Hòa - Cầu Giấy - Hà Nội.
ĐT: 04.85856509
Email: info@binnatech.com Website: www.binnatech.com

Hotline: (+84)096 896 3456 Liên hệ

Online :
Visitors : 3667030
NULL   thiet ke website   Website   Google   Thương mại điện tử   Website   Tên miền   tư vấn thiết kế website   facebook   seo   domain   thương mại điện tử   Microsoft   Hacker   Twitter   Intel   thiết kế website   dịch vụ SEO   Thiết kế Lôgô   PageRank   quảng cáo website   quang cao website   thiet ke web   thiết kế web   quang cao website   thiết kế web   thue cho dat may chu   Tên miền   tối ưu hóa website   iPhone   laptop   N/A   netbook   tăng rank   tang rank   tối ưu hóa website   thư điện tử chuyên nghiệp   tang rank   search engine   yahoo   atom   thuê chỗ đặt máy chủ   server hosting   delicated server   Quảng bá   đối tác   Bảng giá hosting   thiết kế   Quảng bá website   Google Adwords   Đối tác: Bất động sản - Cho thuê văn phòng Vietnam Bamboo OneVn.Net , du lich sapa xem phim online ,Pin laptop ,  sua iphone

Liền kề nam la khê,

Bán chung cư nam la khê,

Cho thuê chung cư N05,

Cho thue can ho Indochina Plaza,

Cho thuê chung cư Indochina Plaza,

Cho thuê căn hộ Hapulico,

Cho thuê chung cư Hapulico,

Bán chung cư Hapulico,

Bán căn hộ Hapulico,

Bán căn hộ Royal City,

Bán chung cư Royal City,

Cho thuê căn hộ Royal City,

Cho thuê chung cư Royal City,

Cho thuê chung cư,

Bán chung cư Vp5 Linh Đàm,

Bán chung cư, bán chung cư giá rẻ, chung cư xala, bán chung cư trung hòa nhân chính, bán chung cư cầu giấy, bán chung cư Hà Đông,

http://www.aalaserusa.com http://www.ealatorre.com/ http://www.eranimation.com/ http://www.movestulsa.com/ http://www.vonbecker.com/ http://www.imageswausau.com/ http://www.louiesrun.com/ http://www.apsip.ca/ http://canadagoosesale.visosquare.com/ http://canadagooseoutlet.marshhouseart.com/