User-agent: *
Request-rate: 1/2s 0000-0930
Request-rate: 1/2s 1630-2359
Request-rate: 1/20s 0931-1629
#指定同一个网络蜘蛛每多少秒采集一次网页和采集时间段，例如1/5 0600-0845

Crawl-delay: 20
#同一个网络蜘蛛两次采集网站内容的时间间隔，单位是秒

Visit-time: 0000-0930
Visit-time: 1630-2359

Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$

Disallow: /css/
Disallow: /images/
Disallow: /js/
Disallow: /library/