背景：国内某企业爬虫工程师一枚，每天都在和爬虫相爱相杀，本回答只介绍自己用过的代理IP提供商，我的关键词：
写在前面的科普知识：很多人把IP可用率作为购买第一参考因素，其实市面上的的IP资源基本都是租用代理拨号服务器，IP可用率普遍都能达到90%以上，因此谁家的IP可用率都差不多(老铁们，我说的可不是免费的万人骑IP)。而我们真正该关心的应该是业务成功率，比如：
不同的两家代理IP提供商，都使用一万个IP，第一家抓取了5000条数据，第二家抓取了1000条数据。为什么会这样呢?
因为第二家用户太多了，导致业务冲突。比如我抓取微博的数据，第二家有10个抓取微博的用户，那我还怎么能抓取到，都被风控给拦截了。而第一家没有抓取微博的用户，抓取的成功率是不一样的。
为什么把代理云排在首位？独享IP池搭建及共享IP池租用，回到我最初关键词：需求高并发、支持多终端、可用IP数量。这些是我的需求，代理云很好的满足了。
为了抓取效率，我都是60个终端一起跑，每天大约需求8万+IP，以后终端数量还会增加。代理云每天可使用不重复IP百万+，一次可提取1000个IP，不限制提取时间间隔，市面上一次提取几个几十个IP的那种，一天累死我也抓不出来多少数据。一秒5个并发和一秒1000个并发的效率，那差距非常大。代理云不限制使用终端，支持账号密码验证，没有额外费用，填一段代码就直接解决了我多终端的问题。且上文说到业务成功率，除了独享IP就是代理云的IP池模式了，天生物理隔绝业务冲突，解决了业务冲突导致抓取低的问题。
芝麻代理这两年发展的声势很大，自然也少不了亲自测评一下。效果还不错，他家的代理IP数量在市面上算多的，起码客服回复“需要多少就有多少”，着实惊到我了，确实量级很大。但是单次只能提取200个IP，并且是IP白名单绑定验证，多个白名单要多收费。。。如果你需求IP数量大，可以试试他家，企业背景和实力都不错，但是多终端一起跑的，要提前做好心理准备。
如果需求量小，可以尝试下这个，你绝对没体验过的API版本，使用前先下载客户端选择API版，使用中必须运行客户端，听起来好麻烦的有没有。But，用起来简单到飞起，0代码就可以接入API，无需做IP白名单等繁琐的操作，API调用代理IP直接使用。
IP有效时间可选择1~35分钟，比较灵活。API单次最多可提取30个代理IP，API调用频率5S。
讯代理自上线运行以来进行过一些优化，他家套餐划分清晰，收费也较合理，优质代理9元包天，混拨代理29元包天，独享代理9元包天。对于小爬虫来说，讯代理是一个不错的选择。但是单次提取代理数最多30个，每隔10秒钟提取一次，一天下来累计不重复IP大概4万+。相信我，如果你需求量较大，这个获取频率绝对是噩梦。
我尝试过很多号称百万量级的IP资源，其实也就。。。不多说大家都懂。但是爬虫代理家线万IP。他家还有一个最大的优势，反向代理，这种代理IP真人度较高，更适合做一些效果补量的业务，比如注册、投票等。
目前我在一家创业公司做数据采集的工作，主要用到的编程语言是 Python。因为工作的原因，所以调研过市场上常见的代理IP提供商。我就简单说说我知道的一些东西，并推荐几家较好的代理IP提供商，希望对有相同需求的朋友有一些帮助。
2.隧道代理（或者叫动态代理）：提供一个统一的入口，每个请求随机分发到代理池中的某个代理IP上。
这是我原来在用的。讯代理的隧道代理服务（他们自己叫动态转发），只提供按转发量计费的套餐，10万转发数，20元。
简单计算一下，如果是包天计费的，按每秒最大请求数为5计算，理想情况下，一天能发出的最大的请求数为43万。折算成按量计算的线元。
最后，建议有条件的情况下，使用多家的服务，做冗余。当有一家出现问题的情况下，不会影响到业务。
做为一个苦逼的爬虫，之前除了应付现在越来越高级的反爬之外，还顺便淌了无数代理ip的坑。。不得不说这个行业真的是一团乱，想找一家靠谱的真的不容易！而且这行业内斗特别厉害，不是你怼他，就是他怼你！服务器时不时的崩溃，搞的用户也很崩溃。。我就说说我用过的这几家吧！
先说我现在在用的这家，这家是我们py交流群里面的一个群友给我们发的小广告，据说是他一个朋友的个人工作室做的，站长是专业运维出身，服务器稳定性还是不错的。
顺便说下，这家的客服是所有站里面最专业的，虽然是个糙汉子。。不过因为是技术出身，所以交流比较愉快。有些站的客服真是。。我还以为我在淘宝买衣服呢！！
站大爷在我们业界算是赫赫有名了，是几个东北的技术人员合伙做的一个东西，算是最早的非扫描代理商了。也是我第一家付费的站点。（站大爷已经改版了，目前体验还不错）
讯代理最近的口碑相当不错，也支持免费试用。我试了一下，ip有效率大概也在85%以上。所以购买了一个月的混拨代理，其实就是不限量代理。按照他们设定的频率来提取的线w左右的量，要上量的话得另外加钱。使用下来总体还是不错的，就是期间服务中断过一次，大概停了有4个小时左右。后来我问他们的客服，说是被同行攻击了（还怀疑是站大爷干的，哈哈）
不过！！在我要续费的时候，他涨！价！了！包天从19直接涨到了29。我核算了下成本，就觉得有点贵了，原来的性价比真的是不错的
这两家为什么要放在一起说呢，因为虽然他们不承认他们是同一家，但是绝壁就是一家！因为他们的网页结构，还有客服的回答都一模一样！连客服的标准化回答都一模一样，我也是醉了。。
网站做的还可以，但是咨询一些专业的问题后客服就不理我了。。(大概是客服不会？那也应该联系下技术支持啊！)于是看了他家的百度口碑，好多差评，所以直接没考虑他家的，直接跳过了。
蚂蚁代理主要做的是动态转发代理，我研究了下他的文档，其实接入模式和原理和讯代理的那套转发是一致的，只是接入文档稍有不同。在示例代码这一块也是挺完善的，不过没有像讯代理一样提供github地址，需要直接在网站上复制黏贴。
动态转发就是你把你代码的proxy设置成他们的服务器，那么每次请求他们会使用一个随机的IP，每次都会变化，也就是说，你只需设置一次代理，就可以得到随机变化的IP，免去频繁更换代理的麻烦，这对于高并发的爬虫采集来说非常来用，省去了 代理池的维护这一个步骤。具体的是api好用还是转发好用就看大家的实际业务需求了。
暂时就接触过这几家，另外几家扫描的免费站点我就不说了。目前蘑菇代理的api用用感觉还可以，希望能长久吧。。不然真不知道还能换哪里了= =最后推荐一本关于HTTP的书籍
我是一名爬虫工程师，使用过国内大部分的免费/付费代理IP提供商，这里挑选用过的几个代理IP的提供商给大家参考下吧。
买的是私密代理包天套餐，15元，每10秒可以提取10个IP，一天去重大概有8万左右的代理IP，可用率94.40%，平均延迟1.48秒 。
这家应该是著名的免费代理IP提供商西刺代理有关系，西刺代理的首页有这家的推荐广告。 我买了专业版，包天19元，测试下来：代理可用率56.80%，平均延迟6.87秒。 总体来说，不满意。
另外，大象代理返回的许多代理IP是国外的代理IP，如果你要抓取国内的一些数据，速度会有影响。
我买的是短效优质代理API包天，25元。代理的可用率97.60%，平均延迟1.56秒，一天不重复代理数4万。 站大爷的质量很好，只可惜价格较贵。
我测试的是私密代理 - 包天，60元。代理可用率35.60% ，平均延迟16.63秒，一天可用ip数1000+。 只能说质量很一般，然后价格偏高。
讲道理，这个行业水深火热，各种营销，各种名词，各种私密代理、公开代理等等，其实都是质量残次不齐的表现，讲几个关键词
住宅IP：高匿是付费代理的基本要求，不是高匿的就不在本次讨论范围，就好像我们讨论哪款汽车好，不应该考虑自行车一样，那什么是住宅IP？我们可以理解成IP真人率的问题，你获取的IP代理，通过检测网站：，显示如下：
那么问题来了，如果你是目标网站，你发现访问你网站的IP都来自于数据中心，你会认为它是正常用户吗？当你认为它是爬虫程序时，你还会给它返回正常的数据吗？拒绝访问、返回空白这些都还是轻的，有些网站会返回给你“加工”过的数据，而你自己还不自知，这才是最恐怖的，当你利用了这些不正确的数据，后果你细品。
这里要说明一点，检测是不是真实宽带或者数据中心的IP，一定要检测发送请求的IP，而不是服务器的ip,服务器的IP一定是显示数据中心的，因为有些二次转发的模式，返回给你的IP都是服务器IP，但是请求IP会另外分配。
独享IP：是指当你获取IP后，这段时间内，这个IP就只提供给你使用而不会分配给其他人使用，这样保证了IP的稳定性，同时确保了带宽，不会受到其它用户干扰，如果是共享IP，那同时有很多人在使用这个IP发送请求，速度就得不到保证，如果同时有另外一个用户也在爬取跟你一样的网站，同一个IP发送多个请求，你细品会发生什么？那么如何区分独享还是共享呢？很简单，提取不收费，使用才收费的，就都是共享的，因为IP放在哪里，你不用别人在用，我没什么损失，独享IP一般都是提取就计费的，因为分配给你之后，这个IP就被你占用了，我无法卖给其它人，所以无论你用不用，我都会收费，现在你还觉得提取不扣费，使用才扣费的就是好产品吗？
IP池大小：现在声称几十万、几百万、几千万IP的都有，但是重复调用的和真实IP要区分开，有些有1万IP，重复调用每天能有几十万，会声称自己几十万IP，有些有十万IP，重复调用每天可到百万级别，会吹嘘自己有几百万IP，我目前用到过的，线万左右，避免广告嫌疑，我就不说是哪家了，不过真有这么大需求的话，我想你也不会轻易下手购买，市面上主流的都测试一遍，你就知道我说的是哪家了。无论广告怎么吹嘘，一测就什么都出来了，所以重要的事情说三遍：多测试多对比！多测试多对比！多测试多对比！
并发量：并发是什么意思大家都懂，测试一家供应商实力除了看IP池，其实看并发量也是很好的一个指标，小打小闹的，并发量肯定是不高的，我用过最高的并发可以达到万级的。同样是上面的那家。
分布：真正离散分布的住宅IP，分布肯定是遍布全国所有的城市，或者全球几乎所有互联网覆盖的国家和地区，只是数量多与少的问题，这样与网民IP高度重合的，才是网站反爬程序最无解的。
时效：其实爬虫对于IP时效要求很低，因为一个IP一般短时间内根据反爬，发送几次请求就需要更换了，所以对时效要求不高，短的几十秒1分钟就够，长的也就十几分钟半个小时。所以这点对爬虫不那么重要。
所以，爬虫程序在选择IP代理的时候，一定要选择住宅IP，而且必须独享，一分钱一分货，一块钱五分货是没错的，所以那些几百块钱包月不限量提取的，你问问为什么那么便宜。那些所谓的开放代理、私密代理，如果你是个人小需求，可以试试看，大公司就别去浪费时间了，一来它没那么大量满足你，二来质量也满足不了你的要求。
另外，所谓的不限量，实际上是限量的，因为它池子有限，所以会限制你提取频率，限制并发，比如每10秒才能提取50个IP，那你算算一天最多是多少IP？这叫不限量吗？
回答里面真是充斥各种软文，各种误导，还有人推荐芝麻和云代理这些性价比极低的玩意儿。要我说，频率要求不高（1秒5次这种）用隧道代理比如阿布云，量大并发高的可以考虑蘑菇和讯代理混用做代理池校验。
这几天我把各大商家的代理套餐全都买了一遍，然后按照统一的标准做了一下详细的测评，希望对大家有所帮助。
随着大数据时代的到来，爬虫已经成了获取数据的必不可少的方式，做过爬虫的想必都深有体会，爬取的时候莫名其妙 IP 就被网站封掉了，毕竟各大网站也不想自己的数据被轻易地爬走。
对于爬虫来说，为了解决封禁 IP 的问题，一个有效的方式就是使用代理，使用代理之后可以让爬虫伪装自己的真实 IP，如果使用大量的随机的代理进行爬取，那么网站就不知道是我们的爬虫一直在爬取了，这样就有效地解决了反爬的问题。
那么问题来了，使用什么代理好呢？这里指的代理一般是 HTTP 代理，主要用于数据爬取。现在打开搜索引擎一搜 HTTP 代理，免费的、付费的太多太多品牌，我们该如何选择呢？看完这一篇文章，想必你心中就有了答案。
对于免费代理，其实想都不用想了，可用率能超过 10% 就已经是谢天谢地了。真正靠谱的代理还是需要花钱买的，那这么多家到底哪家可用率高？哪家响应速度快？哪家比较稳定？哪家性价比比较高？为此，我对市面上比较流行的多家付费代理针对可用率、爬取速度、爬取稳定性、价格、安全性、请求限制等做了详细的评测，让我们来一起看一下到底哪家更强！
在这里我主要测试的是付费代理，免费代理可用率太低，几乎不会超过 10%，但为了作为对比，我选取了西刺免费代理进行了测试。
付费代理我选取了站大爷、芝麻 HTTP 代理、太阳 HTTP 代理、讯代理、快代理、蘑菇代理、阿布云代理、全网代理、云代理、大象代理进行了对比评测，购买了他们的各个不同级别的套餐使用同样的网络环境进行了测评，详情如下：
注：其中蘑菇代理、太阳 HTTP 代理、芝麻 HTTP 代理的默认版表示此网站只有这一种代理，不同套餐仅是时长区别，代理质量没有差别。
本次测评主要分析代理的可用率、响应速度、稳定性、价格、安全性、使用频率等因素，下面我们来一一进行说明。
可用率就是提取的这些代理中可以正常使用的比率。假如我们无法使用这个代理请求某个网站或者访问超时，那么就代表这个代理不可用，在这里我的测试样本大小为 500，即提取 500 个代理，看看里面可用的比率多少。
响应速度可以用耗费时间来衡量，即计算使用这个代理请求网站一直到得到响应所耗费的时间。时间越短，证明代理的响应速度越快，这里同样是 500 个样本，计算时只对正常可用的代理做统计，计算耗费时间的平均值。
由于爬虫时我们需要使用大量代理，如果一个代理响应速度特别快，很快就能得到响应，而下一次请求使用的代理响应速度特别慢，等了三十秒才得到响应，那势必会影响爬取效率，所以我们需要看下商家提供的这些代理稳定性怎样，总不能这一个特别快，下一个又慢的不行。所以这里我们需要统计一下耗费时间的方差，方差越大，证明稳定性越差。
价格，这个当然是需要考虑的内容，如果一个代理不论是响应速度还是稳定性都特别不错，但是价格非常非常高，这也是不可接受的。
这的确也是需要考虑的因素，比如一旦不小心把代理提取的 API 泄露出去了，别人就肆意使用我们的 API 提取代理使用，而一直耗费的是我们的套餐。另外一旦别人通过某些手段获取了我们的代理列表，而这些代理是没有安全验证的，这也会导致别人偷偷使用我们的代理。在生产环境上，这方面尤其需要注意。
有些代理套餐在 API 调用提取代理时有频率限制，有的代理套餐则会限制请求频率，这些因素都会或多或少影响爬虫的效率，这部分因素我们也需要考虑进来。
要做标准的测评，那就必须在标准的测评环境下进行，且尽可能排除一些杂项的干扰，如网络波动、传输延迟等一系列的影响。
由于我的个人笔记本是使用 WiFi 上网的，所以可能会有网络波动，而且实际带宽其实并不太好把控，因此它并不适合来做标准评测使用。评测需要在一个网络稳定的条件下进行，而且多个代理的评测环境必须相同，在此我选择了一台腾讯云主机作为测试，主机配置如下：
另外在评测时还需要遵循一个原则，那就是现取现测，即取一个测一个。现在很多付费代理网站都提供了 API 接口，我们可以一次性提取多个代理，但是这样会导致一个问题，每个代理在提取出来的时候，商家是会尽量保证它的可用性的，但过一段时间，这个代理可能就不好用了，所以假如我们一次性提取出来了 100 个代理，但是这 100 个代理并没有同时参与测试，后面的代理就会经历一个的等待期，过一段时间再测这些代理的话，肯定会影响后半部分代理的有效性，所以这里我们将提取的数量统一设置成 1，即请求一次接口获取一个代理，然后立即进行测试，这样可以保证测试的公平性，排除了不同代理有效期的干扰。
由于我们有一项是测试代理的响应速度，所以我们需要计算程序请求之前和得到响应之后的时间差，这里我们使用的测试 Python 库是 requests，所以我们就计算发起请求和得到响应之间的时间差即可，时间计算方法如下所示：
这里 used_time 就是使用代理请求的耗时，这样测试的就仅仅是发起请求到得到响应的时间。
测试时我们也需要使用一个稳定的且没有反爬虫的链接，这样可以排除服务器的干扰，这里我们使用百度来作为测试目标。
在测试时免不了的会遇到代理请求超时的问题，所以这里我们也需要统一一个超时时间，这里设置为 60 秒，如果使用代理请求百度，60 秒还没有得到响应，那就视为该代理无效。
要做测评，那么样本不能太小，如只有十几次测试是不能轻易下结论的，这里我选取了一个适中的测评数量 500，即每个套餐获取 500 个代理进行测试。
嗯，测评过程这边主要说一下测评的代码逻辑，首先测的时候是取一个测一个的，所以这里定义了一个 test_proxy() 方法：
这里加了一些判断，如 is_proxy() 方法判断了获取的是不是符合有效的代理规则，即判断它是不是 IP 加端口的形式，这样可以排除 API 返回一些错误信息的干扰。另外这里设置了 total_count 和 valid_count 变量，只有符合代理规则的代理参与了测试，这样才算一次有效测试，total_count 加一，如果测试可用，那么 valid_count 加一并记录耗费时间。最后调用了 stats_results 方法进行了统计：
对于安全性，此处主要考虑提取 API 是否有访问验证，使用代理时是否有访问验证，即可以通过设置白名单来控制哪些可以使用。
其中只有芝麻 HTTP 代理、太阳 HTTP 代理默认使用了白名单限制，即只有将使用 IP 添加到白名单才可以使用，可以有效控制使用权限。
除了常规的测试之外，我这边还选取了某些套餐的与众不同之处进行说明，这些特点有的算是缺点，有的算是优点，现列举如下：
分项了解了各个代理套餐的可用率、响应速度、稳定性、性价比、安全性等内容之后，最后做一下总结：
在python爬虫方面的应该中，更换ip的场景是经常的事情。而这个时候爬虫代理ip就派上用场了。作用很多，不仅能防止ip被封，而且能减少许多人工方面的工作。节省更多的营销成本。作为一名爬虫工作者往往需要寻找ip服务商接下来简单写写这些年用过的产品，由于工作性质的需要寻找海外http服务商。
大家都知道，目前国内关于爬虫的代理IP服务提供商多如牛毛，但是涉及海外IP资源的代理服务商就寥寥无几，那么今天和大家分享几款代理IP服务。
ipidea是一家国内的住宅IP服务商，每天有着9000万全球真实的住宅IP，还提供国内约300万的住宅IP，动静态独享都有包含，平时使用时检测一般都是5M/S左右。
特点：国内服务商不存在时差和客服语言沟通方面的阻碍，含有国内外240+国家地区9000万IP
Storm Proxies是美国一家较出名的新秀代理品牌，虽然成立不到三年，但跟许多商家都有合作。Storm只有美国、欧洲、美国+欧洲混合，和世界混合包可选择，目前不提供除了美国之外其他指定国家的代理。
特点：ip授权，也就是一个ip只能在一个终端使用，针对性强，主要是领英、脸书、推特、INS、等，按照不同的用途购买不同的代理，比较有针对性；起订量低，适合对代理个数需求量小的受众。
优点：ip授权，流量无限制；名义上不提供免费试用，但提供48小时无效退款服务，也就是说，无论你购买哪个套餐，只要在48小时之内不满意的，可以申请退款。
缺点：代理数量较少，如果你想买中国的代理，只能买一个全球包，然后自己提取，不划算；没有中文客服；目前只接受老美常用的付款方式。
缺点：不支持在软件上运行，只能在浏览器上使用；只有两种支付方式，无中文客服（虽然网站上有中文选项，但仅限客户需求设置页面，其他页面无中文）；目前该网站只提供HTTP协议的代理。
microleaves，2012年创建的老品牌。账户密码授权，按代理个数记价，平时也有优惠。适合小需求受众购买。支持HTTP(S)和SOCKS4/5协议。
特点：跟storm proxies 不同，接受reseller。前者则是严禁客户把账号转出。
优点：不提供试用，但是购买的3天内如果有任何问题都可以沟通能否能退，有反向代理，万人骑代理可选；带宽无限制。
以上是我使用过的，个人认为如果想方便的话还是找国内服务商，时差这个问题在这上面处理不好比较浪费时间，也是没有办法的事情，后期如果再有机会接触其他的http代理我会更新补充。
我们是有比较高频次的请求，但是每个请求的流量不大，时间上，每天也都差不多，最开始是用芝麻，后面用了一段时间代理云，然后是luminati1，芝麻代理，
使用：通过一个接口获取IP:port后存起来，这个ip是有时间限制的，看你在芝麻上的配置，可以几分钟到几十分钟不等，我们应该是高频，所以一般都是时间最短的。获取IP后存起来，然后设置失效时间（接口有返回），具体调用的时候 发现调不通了或是 429状态了，就把这个IP去掉。价格：是按IP数收费，我们每天有小几十万的请求，平均1个IP能支持大约50~100个请求，大约一天会消耗2000~3000个IP，芝麻的定价一个IP是0.04,一天大约是80~120块，比较贵比较稳定
2, 代理云感觉一天太贵了，想搞包月的，就找了代理云，这是和他们 直接谈的，2000块包月，1W+的IP，估计可以谈，具体的可看各自。
使用，这个不需要自己维护个IP池，他们会给个域名作代理，里面会有权限信息，直接请求即可，但你不知道具体请求目标地址的IP，如果要换IP，代理地址中的SESSIONID换一个即可。使用比较方便
价格：这个有多种收费，如固定IP，和流量，我是用流量的，由于我们高频和不高的流量，我们这个省了很多钱，粗略50美元能用40天，
首先大家请排除芝麻代理，为什么呢。 这个老板太把人当傻子。一大堆代理网站换个包皮就改点文字，UI都懒得重新设计，全他妈都是一家公司。
随着代理IP的发展，越来越多人认识到了代理IP的用处，是许多网络工作人员必不可少的工具。也正是由于代理IP的普及，代理IP软件也是愈来愈多，让许多人不知该如何选择。
一、预算。想必许多企业在做1个新项目时都有会有预算，打算投入多少成本费用，预计盈利有多少，估算投入产出比，在这儿就不多过多诠释了。
二、业务要求。业务需要什么协议的代理IP来支撑，比如说HTTP、HTTPS或者Socks5;一回要同时使用多少IP、1个IP大概用多长时间时间、每天大概需用多少IP量、对IP质量有什么要求?连通率保证在什么范围之内等等。
三、检测实际效果。根据预算和业务要求能够大概的挑选1个套餐，然后要求客服开通检测或者开通包天套餐开始检测，然后开始实际效果评估。
四、综合分析。根据预算和检测实际效果开始综合分析，有可能预算会高一些或者低一些，同样有可能实际效果会好一些或者差一些，这些都要综合分析，故此挑选最适合自身的套餐。
海量IP供您使用，遍布全国的自营服务器节点领先的大数据IP下达系统，覆盖北京，深圳，广州，成都等200+城市 。
支持线路定制，任意城市IP都可以联系客服进行定制，全平台协议定制 ，现场技术支持 ，项目定制开发。
动态IP业务支持月卡、双月、半年、全年的付费方式，您可以结合自己的业务场景选择效率最高、成本最低的购买方式。
由于开python培训有讲过爬虫的缘故，这个问题已经被ask无数次了，一般问的基友也都是爬虫防ban用的，那么在此，我把我个人尝试过的代理渠道都写一下。总体来讲，质量好的都不便宜，便宜的质量都比较渣，一分钱一分货
网上的免费代理IP很多，但一般都是短时间可用。最近写了个程序爬取网上的免费高匿代理，并测试可用性，IP池15分钟测试一次。
