scrapy+php爬虫网站的配置

环境配置需求

  1. 需要python配置的环境,python3.6 下载地址: https://www.python.org/ftp/python/3.6.0/python-3.6.0-embed-amd64.zip 安装好后,可以需要配置系统的环境: https://www.cnblogs.com/dangeal/p/5455005.html
  2. php网站,thinkphp 可参考:
    https://jingyan.baidu.com/article/ca2d939d2cf5aceb6c31ce0e.html
  3. python依赖先安装pip:
    http://blog.csdn.net/nomey_mr/article/details/55095984

pip 是python的依赖管理工具,可以安装python所需要的功能扩展

cmd命令行执行如下

pip install scrapy
pip install pymysql

爬虫启动

cd SpiderArticle的目录
python run.py

数据库的配置,爬虫的配置

SpiderArticle/settings.py 最下面几行

MYSQL_HOST = '127.0.0.1'
MYSQL_DBNAME = 'simple_cms'
MYSQL_USER = 'root'
MYSQL_PASSWD = '123123'
  1. 导入数据库,phpmyadmin等工具导入 doc/database.sql

  2. php网站的数据库配置

application/database.php 需要配置你设置的数据库还有账号密码

<?php
return [
    // 服务器地址
    'hostname'        => '127.0.0.1',
    // 数据库名
    'database'        => 'simple_cms',
    // 用户名
    'username'        => 'root',
    // 密码
    'password'        => '123123',
];

0 comments

To reply to the article, please Login or registered