当前位置:首页 > 联系方式 >

【python爬虫】scrapy爬虫框架练手(一)创建工程,使

作者:永年县聚联紧固件制造有限公司    发布时间:2017-09-11 14:22:49

【python爬虫】scrapy爬虫框架练手(一)创建工程,使用scrapy shell、xpath

【python爬虫】scrapy爬虫框架练手(一)创建工程,使用scrapy shell、xpath:scrapy是个好东西,它的官方文档写的很详细,很适合入门。链接:

最近上手scrapy,想记录点东西免得以后自己忘记。网上scrapy教程一搜一大把,所以记录一些认为比较重要的学习思路。

1. 创建工程注意事项

框架结构和django蛮像的,一眼就能看个大概。其中setting.py在之后的用处很大,感觉比scrapy.cfg重要,有空可以大概浏览一遍,其中LOG_LEVEL并没有默认写在里面,不过默认LOG_LEVEL= ‘DEBUG’, 每次运行爬虫输出很多信息。

一开始很有用,毕竟还不熟悉,到了后来,每次都输出抓取到的list显得太繁琐了,可以改成LOG_LEVEL= ‘INFO‘, ’warning‘ ’error‘,建议以后设置成’‘INFO’。

企业建站2800元起,携手武汉肥猫科技,做一个有见地的颜值派!更多优惠请戳:武汉做网站公司 http://www.45qun.com

  • 上一篇:Python 入门教程 9 ---- A Day at the Supermarket
  • 下一篇:最后一页
  •