scrapy怎样配置在pycharm,pycharm怎么配置

scrapy怎样配置在pycharm,pycharm怎么配置

1. ⾸先得有⼀个Scrapy项⽬，我在Desktop上新建⼀个Scrapy的项⽬叫test，在Desktop⽬录打开命令⾏，键⼊命令：scrapy startproject test1 ⽬录结构如下：2. 打开Pycharm，选本章主要介绍如果再pycharm上配置运行scrapy,这样可以在pycharm打断点调试，方便抓取数据1. 编写main.py文件‘zhihu’换成你爬虫的名字，这里以知乎的爬虫为例mian.py 文件需要放

在其文件里输入cmd 就可以了然后安装pip install Twisted‑20.3.0‑cp39‑cp39‑win_amd64.whl 安装完成后再输入pip install scrapy,回车验证安装是否成功在DOS里输入scrapy 这主要是为了在pycharm中可以通过点击Run/Debug 按钮来代替每次在命令行中输入scrapy crawl crawlName 步骤1 在scrapy的项目目录中创建一个start.py 文件，写入如下内容：# -*-

∩＾∩ 打开文件观察一下文件的内容：import sys

import os

from scrapy.cmdline import execute

# 命令行执Pycharm中没有直接构建Scrapy项目的模板和指令，所以需要自行在命令行中通过指令进行项目的创建。格式：scrapy [指令] [项目名] eg: scrapy startproject [project] 第二步：使用Pyc

然后就是创建scrapy的工程了在空目录下按住Shift键右击，选择“在此处打开命令窗口”，输入一下命令：scrapy startproject tutorial 然后你就可以默默的等着计算机帮你创建scarpy的一.新建文件run.py这个名字随意哈方法一. fromscrapy.cmdlineimportexecute execute(['scrapy','crawl','爬虫程序名字','-a','参数名=参数值','--nolog'])#

ˇ﹏ˇ 在WINDOWS下配置开发环境真曲折，遇到问题：在cmd中安装成功了爬虫scrapy 库，可是到了开发工具pycharm 中运行的时候提示找不到Scrapy 库！运行时错误提示：ModuleNotFoundError: No modu11. 安装Scrapy pip install twisted > 等待安装成功pip install pywin32 > 等待安装成功pip install scrapy > 等待安装成功12. 如果安装不了，仍然可以参考使用wheel方法安装。