爬虫注意事项

1. 大多数网站的根目录存在robots.txt，标注了管理者允许爬虫访问的范围

2. 短时间大量访问或类似行为可能会被视作ddos攻击