仅文本 | 带图像的文本

Tech feedback and support (技术支持) => 动态网中文技术支持区 => 主题发帖人为: drq 于 一月 07, 2010, 06:32:57 上午

标题: 几种代理阻止动网通工作
作者: drq 于 一月 07, 2010, 06:32:57 上午
下面几种免费代理
会造成动网通不工作：

需要密码的代理
动网通显示速度却不连接

拒绝服务的代理
上游返回403 Forbiden
动网通显示速度却不连接

国内的代理
大陆代理等于没代理

限制连接数的代理
打开复杂网页会卡住不动

限流量的代理
用一段时间后拒绝服务

限速的代理
打开大页面会卡住不动

有过滤功能的代理
某些tor出口设有privoxy
会过滤某些http数据

解决方法：
进行代理验证：
例如代理猎手、莲花
使用循环调度工具：
例如multiproxy
标题: Re: 几种代理阻止动网通工作
作者: drq 于 一月 07, 2010, 06:47:11 上午
选择代理验证网址：
可以选谷歌雅虎CNN
但静态网页更靠谱
例如使用robots.txt：
http://paypal.com/robots.txt
一般网站都有这个文件
标题: Re: 几种代理阻止动网通工作
作者: 逝者如斯夫斯基 于 一月 07, 2010, 09:36:34 上午
privoxy有利有弊
在自己电脑上安装privoxy还是不错的，很多广告都可以过滤掉。
标题: Re: 几种代理阻止动网通工作
作者: wen 于 一月 07, 2010, 09:43:50 上午
引用自: drq 于 一月 07, 2010, 06:47:11 上午
选择代理验证网址：
可以选谷歌雅虎CNN
但静态网页更靠谱
例如使用robots.txt：
http://paypal.com/robots.txt
一般网站都有这个文件

请问robots.txt怎么用？谢谢
标题: Re: 几种代理阻止动网通工作
作者: 逝者如斯夫斯基 于 一月 07, 2010, 01:31:30 下午
robots.txt跟搜索引擎的相关
标题: Re: 几种代理阻止动网通工作
作者: drq 于 一月 08, 2010, 01:12:18 上午
用MultiProxy进行
代理校验的正确方法：
导入代理列表
选中全部代理
选择Menu
选择Find Fastest...
输入网站的robots链接
确认等待校验完成
标题: Re: 几种代理阻止动网通工作
作者: drq 于 一月 08, 2010, 01:21:17 上午
MultiProxy的不足：
不能限制每个代理的
并发连接数
没有罚分自动禁用机制
标题: Re: 几种代理阻止动网通工作
作者: aa 于 一月 08, 2010, 05:36:29 上午
引用自: drq 于 一月 07, 2010, 06:47:11 上午
选择代理验证网址：
可以选谷歌雅虎CNN
但静态网页更靠谱
例如使用robots.txt：
http://paypal.com/robots.txt
一般网站都有这个文件

robots链接在哪里？是输入：http://paypal.com/robots.txt 吗？

下面是上面的网站打开的robots  ，具体怎么选那些输入？

### BEGIN FILE ###

# PayPal robots.txt file
# Allow Google to spider the PayPal site
User-agent: GoogleBot
Disallow: /xclick-auction/

# Allow MSN to spider the PayPal site
User-agent: MSNBot
Disallow: /xclick-auction/

# Allow Yahoo! to spider the PayPal site
User-agent: Slurp
Disallow: /xclick-auction/

# Baiduspider
User-agent: baiduspider
Disallow: /xclick-auction/

# Ask
User-agent: Teoma
Disallow: /xclick-auction/
Disallow: /affil/

User-agent: *
Disallow: /

### END FILE ###
标题: Re: 几种代理阻止动网通工作
作者: drq 于 一月 08, 2010, 11:13:44 上午
multiproxy中
借用robots文件验证代理：
导入代理
标题: Re: 几种代理阻止动网通工作
作者: drq 于 一月 08, 2010, 11:18:50 上午
选中全部验证
标题: Re: 几种代理阻止动网通工作
作者: drq 于 一月 08, 2010, 11:22:14 上午
等待验证成功
标题: Re: 几种代理阻止动网通工作
作者: drq 于 一月 08, 2010, 11:49:48 上午
验证前设置自动排序
才能出现前面截图中的排序效果
标题: Re: 几种代理阻止动网通工作
作者: drq 于 一月 08, 2010, 11:53:33 上午
multiproxy 调度优化：
为了速度
选中并禁用慢代理
例如ping>7000

选择循环方式
降低并发连接数
图见 自动排序

如果页面打不开
或记录窗口里有代理
长时间卡在Connecting状态
禁用这个问题代理
否则影响动网通使用效果
标题: Re: 几种代理阻止动网通工作
作者: Giraffe 于 一月 09, 2010, 05:00:08 上午
请问验证网站选哪些网站，哪些网站验证代理最准确？g y m 好像并不很准确

http://paypal.com/robots.txt  输入这个网站验不出任何代理。
标题: Re: 几种代理阻止动网通工作
作者: drq 于 一月 09, 2010, 05:46:57 上午
paypal 只是举个例子
任何美国网站+/robots.txt
都可以，例如：
http://amazon.com/robots.txt
只要在浏览器中能打开不是空白
开头为http而不是https就可以
注意被封锁的网站不能用做验证
动网通+multiproxy速度很好
我这里可以流畅看youtube视频
但因为代理调度策略的原因
网页打开前反应总有些迟钝
标题: Re: 几种代理阻止动网通工作
作者: drq 于 一月 09, 2010, 05:56:58 上午
可以将全部代理导出来备份
然后多测几个网站
每测一次删除一批无效代理
在剩下的稳定代理中
禁用Ping>3000的代理

免费代理的表现都很不稳定
过一段时间要重新验证一下
想获得好速度折腾在所难免
标题: Re: 几种代理阻止动网通工作
作者: twfcc 于 一月 10, 2010, 01:06:27 上午
引用自: macuser 于 一月 07, 2010, 07:46:20 上午
为什么不可以让动网通自动搜索代理？
自己找的代理比较快,自动模式找到也未必能用
其实现在逍遥游，动网通和自由门690以後版本就等如把自由门689以前的功能一分为三
标题: Re: 几种代理阻止动网通工作
作者: drq 于 一月 10, 2010, 02:39:35 上午
免费代理的良品率太低了
7,8个网站搜集的200多个代理
这些代理都至少通过1次验证
进行压力测试同一网站的不同网页
最后反复测试多次
总能验证成功的只剩不到3,40个
那些手里只有4,5个代理的
用起来不断就怪了，调度这块
没有平衡和积分规则做动态调整
网页浏览很难有好的体验

现在也懒的仔细验证了，
youtube都通过代理从
keepvid.com下下来看
分成小块多线程下载速度不错
仅文本 | 带图像的文本