渗透工具

树莓派使用ngrok内网转发搭建教程【各种问题终极解决方案】

前几天买了个树莓派3b,实现远程控制自然要有内网转发,没什么毛病,但是任何事情我遇到的问题总比别人多,下面就开始折腾了。 一开始装的是树莓派的原生系统,花生壳官网有树莓派专用的客户端也就是arm版,但是用着用着很多渗透软件装着太麻烦,于是换了kali系统, 那么问题来了,花…继续阅读 »
Python

Python-DBUtils 使用mysql数据库连接池提升效率

随着全网扫描项目的开发,越来越细致的问题暴露出来,从能用到用的好,还有很长的路要走。 这个问题前段时间就发现了,程序一般跑个一天会越来越慢,直到某个时候程序彻底崩了,而且最后的报错也一般是mysql的报错: pymysql.err.OperationalError: (2013, 'Lost connection to MySQL server during query ([Errno 104] Co…继续阅读 »
Python

理解Queue队列中join()与task_done()的关系

在网上大多关于join()与task_done()的结束原话是这样的: Queue.task_done() 在完成一项工作之后,Queue.task_done()函数向任务已经完成的队列发送一个信号 Queue.join() 实际上意味着等到队列为空,再执行别的操作 但是可能很多人还是不太理解,这里以我自己的理解来阐述这两者的关联。 理解 如果线程里…继续阅读 »
这就是生活

你看那个人好像一条狗【转】

很久一段时间,一直麻木在技术的世界里,甚至没有多余的思绪跳出技术思维,想一想技术之外的一些东西。 之所以称之为“技术之外”,因为对于我这种金刚猿来说,从事业与理想的角度只分为技术,与非技术。 所谓技术,我一般也称之为“术”,诸如,线程如何调优,这个函数有哪些参数,…继续阅读 »
WEB开发

Mysql ibdata1文件瘦身与清理方法

终究,我还是从innodb转到了myisam,光innodb库的大小就够我受的,更别说查询速度了。 但是我遇到了一个问题,从innodb转到myisam很快就能完成,ibdata1文件还是那么大,有27G。 嗯,可以理解,可能因为我的库还在。 但是当我删除一个大库的时候瞬间就完成了,那一瞬间我就感觉不妙,几百万的数据…继续阅读 »
Python

Mysql数据迁移启动报错:/mysqld: File './mysql-bin.000007' not found

此贴为备忘帖: 背景:将mysql 的var目录数据全部迁移至另一mysql服务器,权限正常的情况下 无法启动mysql,报错:  ERROR! MySQL is not running, but lock file (/var/lock/subsys/mysql) exists 查看var下的localhost.localdomain.err日志,报错为: 170322 14:47:52 mysqld_safe Starting mysqld daemon with databases from /usr/local/mysql/var 170322 …继续阅读 »
Python

Python requests响应内容乱码解决方案

一般在针对性的爬取某个网站的时候可能不需要考虑太多这方面问题,因为一个网站的编码基本是固定的,但是当需要去请求大量编码各不相同的网站时,自动解码就显得尤为重要。 这几天在用requests模块扫描大量网站首页的时候发现有大量的乱码,我们都知道requests中的encoding属性是可以自动识别网…继续阅读 »
Python

Python 获取顶级域名模块ExtractLevelDomain[自定义等级]

这个模块在很多爬虫项目里应该还是挺实用的,不过我是用来批量查询whois和备案单位的,因为库里有大量的子域名,所以只需要对同顶级域名的其中一个域名获取信息即可,否则会造成数据库大量冗余信息,而且在后期更新的时候还会造成系统及网络不必要的压力。 找了这么个提取顶级域名的模…继续阅读 »
Python

Python whois查询模块完美版【基于Linux whois】

全网域名扫描项目还在进行中,之前想的很简单的whois提取本以为很简单,看了下linux下whois出来的结果格式很多都不一样,自己写的话是比较麻烦的。 在线接口的话找了很多,还是只有站长之家最靠谱,但是由于量很大,而且又有请求限制,还是决定再找找whois的轮子,找了两个,一个很烂,.cn  .com…继续阅读 »
网络运维

Shadowsocks linux服务器快速搭建[无需修改配置]

之前内网转发的时候用过ss,在服务器上装个showdowsocks,再将这个ss端口转发到外网,不过现在已经不需要这么麻烦了。 那时候用的是windows版,比较不稳定,后来随便看了下linux 版的安装,看着麻烦也就没弄了,今天偶然在折腾python 使用vpn的时候,看到了一个快速配置shadowsocks的方法,简单又稳定,…继续阅读 »