随着全网扫描项目的开发,越来越细致的问题暴露出来,从能用到用的好,还有很长的路要走。

这个问题前段时间就发现了,程序一般跑个一天会越来越慢,直到某个时候程序彻底崩了,而且最后的报错也一般是mysql的报错:

pymysql.err.OperationalError: (2013, 'Lost connection to MySQL server during query ([Errno 104] Connection reset by peer)')

我突然意识到,并不是程序有问题,否则也不会跑这么长时间,而是与数据的连接不稳定导致,而之所以与数据库连接不稳定是因为程序有大量的web请求与mysql插入与查询请求。

之所以会越来越慢是因为一开始所有线程都还是存活状态,但是当某个线程遇到mysql连接出了问题的时候 该线程会立刻死掉,mysql连接问题会是间歇性的,所以线程都开始慢慢死掉,当最后一个线程死掉的时候主线程也就结束了。

前期的解决方案

最开始我用的是简单的方案,所有线程都用的是一个mysql连接,从始至终只有这一个连接,这个连接断掉,程序也就over。

后来我开始在每次执行一个sql的时候都单独建立一个mysql连接,执行完就close掉,很明显这样的问题在于,频繁连接,断开mysql,这样是相当消耗系统资源的,而且增加了mysql连接失败的几率,所以万一哪个线程没有连接成功 这个线程也over了。

最终解决方案:DBUtils

最终的解决方案还是用了数据库连接池,而且个人觉得这是个相当完美的方案。

在介绍模块的使用方法之前还是先说下原理:

1.在程序创建连接的时候,可以从一个空闲的连接中获取,不需要重新初始化连接,提升获取连接的速度
2.关闭连接的时候,把连接放回连接池,而不是真正的关闭,所以可以减少频繁地打开和关闭连接

DBUtils模块demo

下载地址:https://pypi.python.org/pypi/DBUtils/

直接上一个直观的demo,算是给自己的一个备忘

import pymysql
from DBUtils.PooledDB import PooledDB
pool = PooledDB(pymysql,50,host='localhost',user='root',passwd='pwd',db='myDB',port=3306 charset="utf8") #5为连接池里的最少连接数
conn = pool.connection() #以后每次需要数据库连接就是用connection()函数获取连接就好了
cur=conn.cursor()
SQL="select * from table1"
r=cur.execute(SQL)
r=cur.fetchall()
cur.close()
conn.close()

 

您的支持将鼓励我们继续创作!

[微信] 扫描二维码打赏

[支付宝] 扫描二维码打赏