scrapy ssh连接远程服务器

时间:2022-05-23 Aomori 人气:0

前段时间用scrapy尝试抓取一些数据，写的时候真的很酸爽，眼睛要花掉了但是！我没有存到数据库中，也就是说我只是确认了爬虫的代码没问题（草）
为什么我要用服务器的mysql，本地的不好吗？其实是我没有在本地装MySQL，但是我有服务器，再加上有phpmyadmin这么友好的web-base数据库管理工具，干嘛还折腾本地装软件

挖坑

其实刚开始写的时候，我是把数据库这模块的代码抛开的，链接数据库？不是很简单的事情吗，有啥好写的，首先打开搜索引擎，输入“ 如何用python连接远程mysql ”不就好了嘛！
然后我发现我看不懂，肯定是我打开的方式不对

填坑

后来经过了一路子的折腾，终于写好了，也连上了！
这里说一点不同的，在纯python上链接远程MySQL的代码，搬到scrapy上，是行不通的，虽然原理差不多，但还是得改
肯定是我搜索的姿势不正确，我找不到相关完整的scrapy链接远程mysql的参考，纯python的参考为居多。当时我另写了一个纯python测试链接，成功之后搬到scrapy的piplines.py上，Error警告啊

好了好了，不说废话了，回归正题

开搞

这里用到两个库，pymysql和sshtunnel

sshtunnel

它是让你通过ssh安全通道访问远程服务器的python库

pymysql

pymysql是在python3.5以上版本，用于链接MySQL的一个库，如果你是python3.4就装mysqldb这个库，（因为有很多参考上用的是mysqldb库）所以根据你的版本，不要装错了，不然就吃红条（错误）吧

代码

放置在piplines.py中

import pymysql
import sshtunnel

class SpiderPipeline(object):

    server = sshtunnel.SSHTunnelForwarder(
            ('**.***.**.**', 22),  #写你服务器的ip地址
            ssh_username='**',     #连接服务器的用户名
            ssh_password='**',     #连接服务器的密码
            remote_bind_address=('**.***.**.**', 3306), #服务器ip
            local_bind_address=('127.0.0.1', 3306)
        )
    server.start()   #连接开启
    print('SSH连接成功')

    def __init__(self):
            self.connect = pymysql.connect(
                host='127.0.0.1',
                port=3306,
                user='***',      # 数据库的用户名
                database='***',  # 数据库的库名
                password='***',  # 数据库密码
                charset='utf8'
            )
            print('mysql数据库连接成功')
            self.cursor = self.connect.cursor()
            print('游标获取成功')

    def process_item(self, item, spider):
        #我这里写的是插入数据的sql语句
        sql = """INSERT INTO charpter(CharterName,NovelName) VALUES ('%s','%s')""" % (item['charter_name'],item['book_name'])
        #执行sql
        self.cursor.execute(sql)
        #提交数据
        self.connect.commit()
        print('数据插入成功')
        return item

    def close_spider(self,spider):
        self.cursor.close()    #关闭游标
        self.connect.close()   #关闭数据库链接
        # server.stop()        #关闭ssh链接

这里就不多说废话了，看代码里面的注释基本能看懂了

我这种方式是同步存储，存储的速度相对慢一点，异步存储方式我还没去研究，这里给自己挖个坑，研究完异步存储我就另写一篇文哈哈哈

Mysql相关问题

如果发现代码无误的情况下，还是无法链接成功，这个时候就要看看你服务器的MySQL是否允许外来接入

mysql开放3306端口

要让MySQL允许链接，就要开放3306端口

查看端口是否打开

netstat -an|grep 3306

打开MySQL配置文件

文件路径：/etc/mysql/my.cnf

将里面的bin-address = 127.0.0.1 注释掉

重启MySQL

service mysqld restart

防火墙开放3306端口

查看firewalld状态

systemctl status firewalld

开放3306端口

firewall-cmd --zone=public --add-port=3306/tcp --permanent

重载

firewalld-cmd --reload

小结

其实连接数据库还是挺简单的，至少代码一看就懂，细心还是很重要的。当死活连不上，死活报错的时候，反过来想，代码肯定没问题，应该是哪个数据库的表或字段没有和代码上的一一对应，密码有特殊符号但是没转义等等，除此之外剩下的就交给程序玄学了

加载全部内容