这个模块在很多爬虫项目里应该还是挺实用的，不过我是用来批量查询whois和备案单位的，因为库里有大量的子域名，所以只需要对同顶级域名的其中一个域名获取信息即可，否则会造成数据库大量冗余信息，而且在后期更新的时候还会造成系统及网络不必要的压力。 找了这么个提取顶级域名的模…继续阅读 »

全网域名扫描项目还在进行中，之前想的很简单的whois提取本以为很简单，看了下linux下whois出来的结果格式很多都不一样，自己写的话是比较麻烦的。 在线接口的话找了很多，还是只有站长之家最靠谱，但是由于量很大，而且又有请求限制，还是决定再找找whois的轮子，找了两个，一个很烂，.cn  .com…继续阅读 »

之前内网转发的时候用过ss，在服务器上装个showdowsocks，再将这个ss端口转发到外网，不过现在已经不需要这么麻烦了。 那时候用的是windows版，比较不稳定，后来随便看了下linux 版的安装，看着麻烦也就没弄了，今天偶然在折腾python 使用vpn的时候，看到了一个快速配置shadowsocks的方法，简单又稳定，…继续阅读 »

今天试图用python requests模块加载shadowsocks代理，发现根本不支持，所以python想用vpn还必须得搭建Socks5。 之前因为懒，看网上得很多教程相当繁琐就懒得搞了，没想到今天还是免不了这个劫，所以这篇文章是个备忘也算是个总结。 毕竟sock5 毕竟我们毕竟只是用来作为工具，用来开发或者渗透，更或者…继续阅读 »

爬取js的必要性在这里就不必多说了，也就是直接请求html并不会返回js所加载的数据，只有经过浏览器渲染后才回出现数据，比如在http://s.tool.chinaz.com/same 查询出的数据是经过js加载的(一方面为了数据不会被搜索引擎爬取，另一方面降低服务器并发负载)。 这种情况python一般可以用PhantomJS实现，这个工具…继续阅读 »

显然这是个备忘文章。 每次想用一些工具的时候总觉得自己已经在博客上写过了，今天在博客顺手一搜竟然没找到，赶紧来补下。 虽然这个ntfs-3g工具很简单，但是在实际工作中还是非常实用的，比如把自己硬盘里的某些文件挂载到高性能服务器上处理，效率还是相当可以的。 友情提醒： 即…继续阅读 »

这个问题，今天在解压大文件的时候遇到的，但是我也试了下小文件也无法解压，均报错： Archive: trunk.zip End-of-central-directory signature not found. Either this file is not a zipfile, or it constitutes one disk of a multi-part archive. In the latter case the central directory and zipfile comment will be found on the last disk(s) of this archive. unzip: ca…继续阅读 »

最近在做工具的时候遇到读取两个文件编码不一致的情况，但实际情况并不是用iconv转换就可以的那么简单，因为其中一个编码是ANSI，另一个是Unicode big endian，这时候用函数mb_detect_encoding 都识别不了编码，更别想用几个函数就能简单转换了。 不过google到了一个不错的php类，引入即可。  <?php /…继续阅读 »

今天才得知支付宝又出了个ar实景红包这么个玩意，各种平台已经推出了各种破解姿势。 我也尝试了一把，下午3，4点的时候图片还是这样的： 横线很规律， 根据网传的一些方法，基本上都是用原图部分来覆盖黑线部分，来达到模拟还原的效果，我自己也P了一个图，确实成功撸了7毛钱红…继续阅读 »

继最新京东泄露12G的用户数据裤子下载分享【这集你肯定没看过！】之后。 两天过去了，瓜也差不多快吃完了， 大家奋不顾身探索京东12G的热情也稍微散去了些，现在回想起来也是心有余悸，那些个非死命找我要12G陆小凤传奇电影的瓜友，你们肿么了，搞得我也想下下来看看，生怕错过了什么。 …继续阅读 »