网页端抓数据免不了要跟JavaScript打交道，尤其是JS代码有混淆，对cookie做了手脚。找到cookie生成的地方要费一点时间。这样一个网页，用浏览器打开很正常。然而用requests下载URL却得到“521”的状态码，返回的内容是一串压缩混淆的JavaScript代码。就是下面这个样子：返回的是JavaScript就好说了。肯定是浏览器运行这段……继续阅读 » 搞java代码 3年前 (2022-05-24) 58浏览 0评论0个赞
爬虫——BeautifulSoup4解析器BeautifulSoup用来解析HTML比较简单，API非常人性化，支持CSS选择器、Python标准库中的HTML解析器，也支持lxml的XML解析器。其相较与正则而言，使用更加简单。示例：首先必须要导入bs4库#!/usr/bin/<a href="https://www.gaodai……继续阅读 » 搞java代码 3年前 (2022-05-24) 33浏览 0评论0个赞
个人爬虫挣钱方法大致如下爬虫技术挣钱方法1:接外包爬虫项目这是网络爬虫最通常的的挣钱方式，通过外包网站，熟人关系接一个个中小规模的爬虫项目，一般向甲方提供数据抓取，数据结构化，数据清洗等服务。做外包越来越难，做的人太多，网上能接爬虫外包的人从在校大学生、两鬓白发的老猿，到几个人团队作战都在抢几千元一个的项目，交付时间又很紧，你如果没有客户资源，现成的解……继续阅读 » 搞java代码 3年前 (2022-05-24) 27浏览 0评论0个赞
什么是Selenium？Selenium相当于是一个机器人，可以模拟人类在浏览器上的一些行为，比如点击，填充数据，删除cookie等。我们可以利用这项技术来完成动态网页的爬虫。环境的配置1.下载对应浏览器的驱动。2.Python安装selenium库。以谷歌浏览器为例：（1）检查自己谷歌浏览器的版本。在谷歌浏览器地址栏输入：chrome://s……继续阅读 » 搞java代码 3年前 (2022-05-24) 27浏览 0评论0个赞
1、设置Headers有些网站不会同意程序直接用上面的方式进行访问，如果识别有问题，那么站点根本不会响应，所以为了完全模拟浏览器的工作，我们需要设置一些Headers 的属性。首先，打开我们的浏览器，调试浏览器F12，我用的是Chrome，打开网络监听，示意如下，比如知乎，点登录之后，我们会发现登陆之后界面都变化了，出现一个新的界面，实质上这个页面包含了……继续阅读 » 搞java代码 3年前 (2022-05-24) 26浏览 0评论0个赞
python应用最多的场景还是web快速开发、爬虫、自动化运维：写过简单网站、写过自动发帖脚本、写过收发邮件脚本、写过简单验证码识别脚本。爬虫在开发过程中也有很多复用的过程，这里总结一下，以后也能省些事情。1、基本抓取网页get方法import urllib2url "http://www.baidu.co……继续阅读 » 搞java代码 3年前 (2022-05-24) 30浏览 0评论0个赞
前面我们实现了一个简单的再也不能简单的新闻爬虫，这个爬虫有很多槽点，估计大家也会鄙视这个爬虫。上一节最后我们讨论了这些槽点，现在我们就来去除这些槽点来完善我们的新闻爬虫。问题我们前面已经描述清楚，解决的方法也有了，那就废话不多讲，代码立刻上（Talk is cheap, show me the code!）。downloader 的实现import&n……继续阅读 » 搞java代码 3年前 (2022-05-24) 34浏览 0评论0个赞
Cookies 池的搭建很多时候，在爬取没有登录的情况下，我们也可以访问一部分页面或请求一些接口，因为毕竟网站本身需要做 SEO，不会对所有页面都设置登录限制。但是，不登录直接爬取会有一些弊端，弊端主要有以下两点。设置了登录限制的页面无法爬取。如某论坛设置了登录才可查看资源，某博客设置了登录才可查看全文等，这些页面都需要登录账号才可以查看和爬取。一些……继续阅读 » 搞java代码 3年前 (2022-05-24) 60浏览 0评论0个赞
Python版本 : 3.6浏览器版本： Chrome目标分析：由于是第一个实验性质爬虫，我们要做的不多，我们需要做的就是：1、从网上爬下特定页码的网页2、对于爬下的页面内容进行简单的筛选分析3、找到每一篇帖子的 标题、发帖人、日期、楼层、以及跳转链接4、将结果保存到文本。前期准备：看到贴吧的url地址是不是觉得很乱？有那一大串认不得的字符……继续阅读 » 搞java代码 3年前 (2022-05-24) 30浏览 0评论0个赞
Selenium 是一个用于测试 Web 应用程序的框架，该框架测试直接在浏览器中运行，就像真实用户操作一样。它支持多种平台：Windows、Linux、Mac，支持多种语言：Python、Perl、PHP、C# 等，支持多种浏览器：Chrome、IE、Firefox、Safari 等。1 安装（1）安装 Seleniumpip instal……继续阅读 » 搞java代码 3年前 (2022-05-24) 35浏览 0评论0个赞
