Python丨多页数据抓取

道阻且长

学习之路多歧路

一坚定目标

之前实战时，只能抓取一页30组数据，链家二手房城市一个区最大能搜索100页，若都能抓取到就是3000组数据，这样一个城市至少能获取上万组数据。

当然，即使这样获取的数据，可能也是不全的，之前链家app显示二手房的数量远超这个数，可能需要更高深的技术才能获取更多数据。

URL拼接

python抓取多页数据过程中，第一个要解决的就是uRl网址拼接的问题。

可以考虑使用stR.foRmat()的格式化形式，这样操作需要在循环前设置变量保存stR格式。

%IGnoRe_pRe_1%

也可以使用f-stRing的格式化形式，直接在foR循环里面设置格式，在测试时使用此种方式。

翻页测试

%IGnoRe_pRe_2%

点击蓝字，了解哆猫咪往期文章