在公司做分布式深网爬虫，搭建了一套稳定的代理池服务，为上千个爬虫提供有效的代理，保证各个爬虫拿到的都是对应网站有效的代理IP，从而保证爬虫快速稳定的运行，当然在公司做的东西不能开源出来。不过呢，闲暇时间手痒，所以就想利用一些免费的资源搞一个简单的代理池服务。1、问题代理IP从何而来？刚自学爬虫的时候没有代理IP就去西刺、快代理之类有免费代理的网站去爬，……继续阅读 » 搞java代码 3年前 (2022-05-24) 29浏览 0评论0个赞
IP合法性校验是开发中非常常用的，看起来很简单的判断，作用确很大，写起来比较容易出错，今天我们来总结一下，看一下3种常用的IP地址合法性校验的方法。 IPv4的ip地址格式：（1~255）.（0~255）.（0~255）.（0~255）方法1： 正则表达式判定法最简单的实现方法是构造一个正则表达式。判断用户的输入与正则表达式是否匹配。若匹配……继续阅读 » 搞java代码 3年前 (2022-05-24) 25浏览 0评论0个赞
整数输入#!/<a href="https://www.gaodaima.com/tag/usr" title="查看更多关于usr的文章" target="_blank">usr</a>/bin/python3usr_<a href="https://w……继续阅读 » 搞java代码 3年前 (2022-05-21) 25浏览 0评论0个赞
使用python获取本机IP地址的方法如下方法一：通常使用socket.gethostbyname()方法即可获取本机IP地址，但有时候获取不到(比如没有正确设置主机名称)，示例代码如下：import socket# 获取本机计算机名称hostname = socket.gethostname()#&nbs……继续阅读 » 搞java代码 3年前 (2022-05-21) 24浏览 0评论0个赞
mysql2005错误，错误代码的意思是无法连接上主机localhost解决方案如下：在使用navicat创建mysql连接的时候在主机或IP地址一栏填写：127.0.0.1而不要填写localhost，然后在断网的情况下进行测试会发现是可以连接成功的。错误原因：在有网络的情况，会自动解析localhost为127.0.0.1，而断网的情况下，lo……继续阅读 » 搞java代码 3年前 (2022-05-21) 17浏览 0评论0个赞
当我们大量的处理爬虫的时候,我们的IP地址容易被封掉 这个时候我们就需要代理IP来帮助我们完成接下来的任务了这次我采用的是Requests模块来完成请求的注意事项写在代码中<a href="https://www.gaodaima.com/tag/import" title="查看更多关于import的文……继续阅读 » 搞java代码 3年前 (2022-05-21) 16浏览 0评论0个赞
TOR是全球有名的匿名网络，具有很高的匿名性，简单点说，Tor网络利用流量转发的方式，达到隐藏真实请求端(客户端)的目的，是目前比较受欢迎也比较有名气的的匿名工具。其原理图如下：由于出口IP随机轮换，且具有很强的匿名性，因此我们可以使用Tor网络作为爬虫代理，用来解决一些网站的IP封禁问题。Tor的安装和使用Tor安装sudo apt-g……继续阅读 » 搞java代码 3年前 (2022-05-21) 22浏览 0评论0个赞
python判断是否是IP:import <a href="https://www.gaodaima.com/tag/re" title="查看更多关于re的文章" target="_blank">re</a>def isIP(str): ……继续阅读 » 搞java代码 3年前 (2022-05-21) 44浏览 0评论0个赞
原因：使用socket.gethostbyname()的方式就可以获取本机IP地址但是偶尔的时候获取不到(比如没有正确设置主机名称)ip解决方法：再重新获取ip示例代码如下：import socket获取本计算机的名称hostname = socket.gethostname()获取本计算机IPip ……继续阅读 » 搞java代码 3年前 (2022-05-21) 23浏览 0评论0个赞
ip、数字互转# ip ==> 数字>>> ip2num = lambda x:sum([256**j*int(i) for j,i in enumerate(x.split('.')[::-1])])>>> ip2num('192.168.0.1')32322355……继续阅读 » 搞java代码 3年前 (2022-05-21) 8浏览 0评论0个赞
