Python

Mysql数据迁移启动报错:/mysqld: File './mysql-bin.000007' not found

此贴为备忘帖: 背景:将mysql 的var目录数据全部迁移至另一mysql服务器,权限正常的情况下 无法启动mysql,报错:  ERROR! MySQL is not running, but lock file (/var/lock/subsys/mysql) exists 查看var下的localhost.localdomain.err日志,报错为: 170322 14:47:52 mysqld_safe Starting mysqld daemon with databases from /usr/local/mysql/var 170322 …继续阅读 »
Python

Python requests响应内容乱码解决方案

一般在针对性的爬取某个网站的时候可能不需要考虑太多这方面问题,因为一个网站的编码基本是固定的,但是当需要去请求大量编码各不相同的网站时,自动解码就显得尤为重要。 这几天在用requests模块扫描大量网站首页的时候发现有大量的乱码,我们都知道requests中的encoding属性是可以自动识别网…继续阅读 »
Python

Python 获取顶级域名模块ExtractLevelDomain[自定义等级]

这个模块在很多爬虫项目里应该还是挺实用的,不过我是用来批量查询whois和备案单位的,因为库里有大量的子域名,所以只需要对同顶级域名的其中一个域名获取信息即可,否则会造成数据库大量冗余信息,而且在后期更新的时候还会造成系统及网络不必要的压力。 找了这么个提取顶级域名的模…继续阅读 »
Python

Python whois查询模块完美版【基于Linux whois】

全网域名扫描项目还在进行中,之前想的很简单的whois提取本以为很简单,看了下linux下whois出来的结果格式很多都不一样,自己写的话是比较麻烦的。 在线接口的话找了很多,还是只有站长之家最靠谱,但是由于量很大,而且又有请求限制,还是决定再找找whois的轮子,找了两个,一个很烂,.cn  .com…继续阅读 »
网络运维

Shadowsocks linux服务器快速搭建[无需修改配置]

之前内网转发的时候用过ss,在服务器上装个showdowsocks,再将这个ss端口转发到外网,不过现在已经不需要这么麻烦了。 那时候用的是windows版,比较不稳定,后来随便看了下linux 版的安装,看着麻烦也就没弄了,今天偶然在折腾python 使用vpn的时候,看到了一个快速配置shadowsocks的方法,简单又稳定,…继续阅读 »
网络运维

Linux 下Socks5极速搭建指南[简便配置]

今天试图用python requests模块加载shadowsocks代理,发现根本不支持,所以python想用vpn还必须得搭建Socks5。 之前因为懒,看网上得很多教程相当繁琐就懒得搞了,没想到今天还是免不了这个劫,所以这篇文章是个备忘也算是个总结。 毕竟sock5 毕竟我们毕竟只是用来作为工具,用来开发或者渗透,更或者…继续阅读 »
Python

Python selenium+PhantomJS实现爬取动态JS[自定义header]

爬取js的必要性在这里就不必多说了,也就是直接请求html并不会返回js所加载的数据,只有经过浏览器渲染后才回出现数据,比如在http://s.tool.chinaz.com/same 查询出的数据是经过js加载的(一方面为了数据不会被搜索引擎爬取,另一方面降低服务器并发负载)。 这种情况python一般可以用PhantomJS实现,这个工具…继续阅读 »
网络运维

linux下使用"ntfs-3g"挂载ntfs格式硬(U)盘【老年痴呆备忘帖】

显然这是个备忘文章。 每次想用一些工具的时候总觉得自己已经在博客上写过了,今天在博客顺手一搜竟然没找到,赶紧来补下。 虽然这个ntfs-3g工具很简单,但是在实际工作中还是非常实用的,比如把自己硬盘里的某些文件挂载到高性能服务器上处理,效率还是相当可以的。 友情提醒: 即…继续阅读 »
网络运维

linux下解压unzip报错“cannot find zipfile directory……”

这个问题,今天在解压大文件的时候遇到的,但是我也试了下小文件也无法解压,均报错: Archive: trunk.zip End-of-central-directory signature not found. Either this file is not a zipfile, or it constitutes one disk of a multi-part archive. In the latter case the central directory and zipfile comment will be found on the last disk(s) of this archive. unzip: ca…继续阅读 »
PHP

PHP实现字符编码互转[ANSI、Unicode、Unicode big endian、UTF-8、UTF-8+Bom]

最近在做工具的时候遇到读取两个文件编码不一致的情况,但实际情况并不是用iconv转换就可以的那么简单,因为其中一个编码是ANSI,另一个是Unicode big endian,这时候用函数mb_detect_encoding 都识别不了编码,更别想用几个函数就能简单转换了。 不过google到了一个不错的php类,引入即可。  <?php /…继续阅读 »