网页端抓数据免不了要跟JavaScript打交道，尤其是JS代码有混淆，对cookie做了手脚。找到cookie生成的地方要费一点时间。这样一个网页，用浏览器打开很正常。然而用requests下载URL却得到“521”的状态码，返回的内容是一串压缩混淆的JavaScript代码。就是下面这个样子：返回的是JavaScript就好说了。肯定是浏览器运行这段……继续阅读 » 搞java代码 3年前 (2022-05-24) 58浏览 0评论0个赞
Cookies 池的搭建很多时候，在爬取没有登录的情况下，我们也可以访问一部分页面或请求一些接口，因为毕竟网站本身需要做 SEO，不会对所有页面都设置登录限制。但是，不登录直接爬取会有一些弊端，弊端主要有以下两点。设置了登录限制的页面无法爬取。如某论坛设置了登录才可查看资源，某博客设置了登录才可查看全文等，这些页面都需要登录账号才可以查看和爬取。一些……继续阅读 » 搞java代码 3年前 (2022-05-24) 61浏览 0评论0个赞
之前讲到的新闻爬虫，是基本不受目标服务器限制的爬虫，技术上的挑战主要在抓取任务的管理、分配，并发的使用，提高效率等方面。而实际中，不同抓取目标的爬虫会遇到很多阻碍，这个阻碍就是登录。曾几何时，登录是一件很简单的事情，一个账户及其密码，POST给服务器，服务器验证通过即可。那是一个美好的朴素年代，服务器不设防，用户不贪婪。然而，时过境迁，人心变了。越来越多的……继续阅读 » 搞java代码 3年前 (2022-05-24) 27浏览 0评论0个赞
首先进入github登录页：https://github.com/login输入账号密码，打开开发者工具，在Network页勾选上Preserve Log（显示持续日志），点击登录，查看Session请求，找到其请求的URL与Form Data、Headers。此时除Cookies与authenticity_token无法直接获得外，其余模拟登录所需参数皆……继续阅读 » 搞java代码 3年前 (2022-05-21) 11浏览 0评论0个赞
