使用Python爬取实习僧算法JD

北京中科医院是假的吗 https://m.39.net/baidianfeng/a_5154116.html
前言小王同学之前做了一个爬虫给自己的CSDN刷量，其实跟写一个简单的小爬虫差不多。在公司里，爬虫一般都跟nlp相关的业务息息相关，这次先爬取一下实习僧网站上的算法JD，为以后学习nlp相关的知识准备一下数据。先在实习僧上搜索算法岗位，发现url有一定的规律性，后面的两个字段k就是key，p就是page，然后这就解决了遍历所有page的需求。下图为实习僧网页的链接和形式。详细思路分析取得每个page的url之后，我们还需要知道这样几件事情：1.从每个page解析出具体jd的url2.进行jd详情页解析出jd内容和title对于第一个问题，我们需要看一下前端代码，这个也很简单，打开前端页面，搜索“href”，或者搜索一些title上有的关键词，去找跳转的link在哪。然后我们发现点这个link就可以跳转，跳转后的url是

转载请注明：http://www.aierlanlan.com/rzfs/7257.html