安装pyspider出现的问题

本文来自微信公众号:coder_xiaobu,欢迎关注

一.安装pyspider

<code class="language-shell">pip install <a href="https://www.gaodaima.com/tag/pyspider" title="查看更多关于pyspider的文章" target="_blank">pyspider</a>
</code>

www#gaodaima.com来源gao.dai.ma.com搞@代*码网搞代码

二.启动

<code class="language-shell">pyspider all
</code>

三.安装中出现的问题处理

1. 安装的时候出现如下的错误

<code class="language-shell">"Please specify --curl-dir=/path/to/built/libcurl"
</code>

解决方法：下载安装pycurl，下载地址https://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl，下载对应版本的whl文件，比如pycurl‑7.43.0.4‑cp38‑cp38‑win32.whl，然后安装下载文件,然后再安装就可以了。

<code class="language-shell">pip3 install pycurl‑7.43.0.4‑cp38‑cp38‑win32.whl
</code>

2. 启动的时候出现如下错误

<code class="language-shell">async=True, get_object=False, no_input=False):
</code>

解决方法：打开python安装目录下面的Libsite-packagespyspiderun.py文件，查找所有的async将其替换为async1。

3. 启动出现如下错误

<code class="language-shell"> def __init__(self, inqueue, outqueue, poolsize=100, proxy=None, async=True):
</code>

解决方法：打开python安装目录下面的Libsite-packagespyspiderfetcher ornado_fetcher.py文件，查找所有的async将其替换为async1。

4. webUI打不开

解决方法：打开python安装目录下面的Libsite-packagespyspiderwebuiapp.py文件，查找所有的async将其替换为async1。

5. 启动出现如下错误:

<code class="language-shell"> - Deprecated option "domaincontroller": use "http_authenticator.domain_controller" instead
</code>

解决方法:打开python安装目录下面的Libsite-packagespyspiderwebuiwebdav.py文件，查找 “domaincontroller”: NeedAuthController(app),将其修改为

<code class="language-shell">"http_authenticator":{
        "HTTPAuthenticator":NeedAuthController(app),
    },
</code>

6. 启动出现如下错误:

<code class="language-shell">ImportError: cannot import name "DispatcherMiddleware" from "werkzeug.wsgi" (D:softpython3.8Libsite-packageswerkzeugwsgi.py)
</code>

解决方法：降低wsgidav的版本

<code class="language-shell"># 卸载原版本
pip uninstall wsgidav
# 安装低版本的
pip install werkzeug==0.16.1
</code>

7. 启动出现如下错误:

<code class="language-shell">pkg_resources.DistributionNotFound: The "wsgidav>=2.0.0" distribution was not found and is required by pyspider
</code>

解决方法，安装 wsgidav

<code class="language-shell">pip install wsgidav==2.0.0
</code>

四、安装Phantomjs

下载地址：http://npm.taobao.org/dist/phantomjs/
下载完成配置环境变量，将其下面的bin目录路径加入PATH环境变量里面。

喜欢 (0)赏

[搞代码]

分享 (0)