关于 scrapy 的各种初体验,本项目会持续更新,直到 scrapy 系列推文结束更新。
此项目为 scrapy 初体验源码,关于豆瓣电影 Top 250 的爬虫文章, 相应的文章地址为:
此项目为 scrapy 实战文章。
此项目为 scrapy 实战文章,关于房天下广州租房数据的爬取与分析 相应的文章地址为:
开始抓取:
clone 当前项目到你的电脑,安装好相应的依赖包,配置好数据库 ip 地址、账号、密码。 进入到 rentHouseScrapy 目录,运行目录:
scrapy crawl ftx
分析数据:
数据抓取完毕之后,进入到 analysis 目录下,直接运行文件,即可开始数据分析。
修改 baseUrl = "http://gz.zu.fang.com/" 成你对应城市的地址就行。
关于 scrapy 爬取图片的教程。此项目爬取了妹子图网站。