IP代理
中文版

一个简单的工具来代理ip。

要求
Python 2.7
Virtualenv(可选)
点子(可选)
您可以virtualenv用来建立新的python虚拟环境,并pip安装所有依赖项。但是,您可以使用任何其他喜欢的工具。

用法
建立环境
为这个项目构建一个新的virtualenv,在shell中运行:

$ virtualenv ~/virtualenvs/ipproxy
$ source ~/virtualenvs/ipproxy/bin/activate 
(ipproxy)$ pip install -r requirements.txt 
抓取可能的代理IP
然后从一些预定义的网站中搜寻所有可能的代理IP:

(ipproxy)$ python crawl.py 
等待一会儿,只需一杯咖啡(可能会更长一些,这完全取决于您的网络),您将在data目录中得到结果:

all.csv
china.csv
foreign.csv
high_anonymous.csv
low_anonymous.csv
non_anonymous.csv
每个CSV文件包含四列:ip,port,anonymous,info。好像:

ip,port,anonymous,info
110.73.0.125,8123,3,中国-广西-防城港
207.226.142.113,3128,3,中国-香港
……
对于anonymous列,这意味着:

0:未知
1:无
2:低
3:高
检查可用的代理IP

(ipproxy)$ python check.py --helpusage: check.py [-h] [--target TARGET] [--timeout TIMEOUT] [--worker WORKER]                [--thread THREAD] [--loglevel LOGLEVEL]                input
positional arguments: input the input proxy ip list, in csv format(supprot gz)
optional arguments: -h, --help show this help message and exit --target TARGET target uri to validate proxy ip, default: http://www.baidu.com --timeout TIMEOUT timeout of validating each ip, default: 15s --worker WORKER run with multi workers, default: CPU cores --thread THREAD run with multi thread in each worker, default: 100 --loglevel LOGLEVEL set log level, e.g. debug, info, warn, error; default: info因此,将上述csv作为输入,您可以运行:
(ipproxy)$ python check.py data/high_anonymous.csv您还可以指定其他一些参数:
(ipproxy)$ python main.py input.csv --target http://www.google.com.hk --timeout 10 --worker 4 --thread 200 --loglevel debugOutputdata/proxyip.csv)与输入相似,多一个col speed(越小越好):
ip,port,anonymous,info,speed110.84.128.143,3128,1,中国-福建-福州,0.1076648235321044958.247.125.205,10032,3,中国-上海-上海,0.5216059684753418......



看一看example.py。

数据源
http://www.cz88.net/proxy
http://www.kuaidaili.com
http://www.xicidaili.com
http://cn-proxy.com
http://www.66ip.cn
执照
只是享受它。

【文章来源】:

https://github.com/jiehua233/ipproxy


推荐文章++++

*内网渗透之代理转发

*自动获取代理ip小脚本

*怎么测试nginx反向代理


–by i3geek