Luminati learning hub

Videos

Best Practices

按照您的需求来购买IP

网络类型

• 何时购买住宅IP？

  住宅动态IP是指私人的IP地址，这意味着你在访问网络时是通过真实的用户发送你的请求。购买住宅IP可确保你不会被目标网站屏蔽或提供误导信息。。

• 何时购买数据中心IP？

  数据中心IP也称为静态固定IP。

  意味着你可以使用一个特定的IP，且这个IP固定不变。适合用需要进行长时间的请求会话中，你可以持续使用该IP。通常价格要比住宅动态IP价格便宜一些。

• 何时购买移动IP？

  移动IP是指通过蜂窝（3G / 4G网络）连接的一部分住宅IP，这些IP连接到互联网不是通过wifi，也不是通过有线连接。移动IP通常用于检测你刊登在网上的广告，是否在不同提供商的移动设备上都是准确无虚假地被投放。

专属类型

• 何时购买共享IP？

  共享IP是开始使用Luminati网络的最简单的方式。他们是指在各个国家的全球IP池，许多用户共享这些IP来访问数量众多的网站。您可以使用这个选项作为切入点，在遭到屏蔽或误导时再选择有更多专属性的选项。

• 何时购买拥有专用网域的独享专属IP？

  专用网域确保您是在您选择的网域使用这些IP的唯一用户。

• 何时购买拥有无限网域的专用IP？

  无限网域是指完全专属于您的IP。当您在使用时，其他任何人都无法使用这些IP。购买专用IP确保您的结果不会收到代理服务其他用户的影响。

如何分配IP

IP的分配通过 分区通道 通道页面操作。
开始时您需要创建一个新的 通道 并进行其他设置，选择你想要的IP数量并保存。
您也可以通过编辑您通道中的IP数量，更新分配的IP数量。

当关闭一个通道时会释放所有分配到该通道的IP，因此您再次开启该通道时，将会有新的IP分配到该通道

如何下载我的IP的列表？

如需下载全部 gIP 或 数据中心IP 可以通过如下2种方式：

1. 在您的Luminati CP 通道页面 下载您的IP列表 可以进入具体的一个通道，在设置标签页里点击‘下载gIP列表‘（针对gIP）或’下载IP列表‘（针对数据中心）
2. 使用下列命令通过API下载您的gIP清单：
• 对于gIP：
  curl "https://luminati.io/api/get_route_vips?" \ -H "X-Hola-Auth: lum-customer-ACCOUNT_ID-zone-ZONE-key-ZONE_PASSWORD"
• 对于数据中心IP：curl "https://luminati.io/api/get_route_ips?" \ -H "X-Hola-Auth: lum-customer-ACCOUNT_ID-zone-ZONE-key-ZONE_PASSWORD"

住宅IP的成本效益

我们是如何计算该表格的？

您的公司需要通过每小时向一个特定网站发送1,000个http请求来从该网站收集信息。您负责编写数据抽取代码并通过服务器运行。目标网站允许每分钟50个来自同一IP地址的请求，超过这个限制您的数据抽取程序就会被屏蔽。现在，您必须要购买更多的代理。

假设您选择了数据中心代理：
您不希望共享IP，所以您购买了200个独享专属的数据中心IP。您花费了2个小时来编写整合数据抽取程序与心得数据中心代理的代码，随后运行新的程序。这次，您的目标网站用了3天的时间来发现您的数据抽取程序。当您的代理被发现后，您将需要购买新的代理并重复这一过程，并每天检查以确保代理没有被发现。每月的成本（所有数字均来自于真实客户）：

• 200个专用IP：$500
• 带宽：（1000个请求 x 每个请求20KB x 24小时 x 30天 = 14.5GB）：每月$3
• 开发人员（2小时代码植入 X 10 + 每3天有1个小时管理代理）：每月3整天的工作或900美元

您每月仅在这些事情上花费的总成本就至少为$1400，并且程序开发员每小时$30的时薪是保守估计。此外，这还不包括您的目标网站在屏蔽您之前发送错误信息，所导致的信息可靠性不足，或者您的信息流每几天就被切断一次，这对您的品牌或者收益来说是十分不利的。

假设您选择了Luminati住宅代理：
您购买40GB的基础套餐并包含无限的住宅IP。您将花费2个小时整合您的数据抽取程序。由于每天可用的住宅IP数量平均为3百万，您的目标网站将无法发现您的数据抽取程序，这样您就可以专注于其他项目。

带宽和无限IP的成本仅为$500每月。您的信息将永远是真实可靠的，因为您的每一个请求都是成功的，并且不会在月中被突然切断。当您的业务随着数据的抽取不断增长，且您的项目超过每月600MB时，成本的差异可能会远高于~$1000.

Luminati让您在不使用时可以暂停您的账户，所以您的成本可能低于$500每月。首先使用数据中心的5美元赠金，来测试Luminati的性能。之后您就可以通过我们的住宅网络的访问权，以低价来获取可靠的数据。

成为Luminati专业用户

抓取网站数据是如何避免被屏蔽或误导（隐形）？

我为什么应该关注？
当一个目标网站检测到来自代理（数据中心静态）IP的网络爬虫后，它通常会：

• 屏蔽该IP，或
• 向该IP故意显示误导性信息，或
• 降低响应速度

目标网站是如何识别我的数据抓取活动的？
目标网站记录访客的IP并分析这些IP的活动。假设您在使用一个传统的数据中心代理，目标网站可以：

1. 识别在特定时间段内来自单一IP的活动（请求率）远高于人类的能力
2. 识别来自于这些目标网站能够访问的代理服务器列表中的IP地址
3. 识别这些IP具有相同的子网屏蔽范围

如何避免被检测到？

1. 为了避免因每个IP的请求数量而被检测到，您可以降低每秒的请求数量。但是，这也会降低您的数据抓取速度
2. 为了避免因为您的IP来自于一个代理服务器而被目标网站检测到，您必须通过不同的住宅IP循环发送您的请求。您应当能够在足够多的IP中循环以确保目标网站无法检测到您的活动
3. 使用住宅IP时不存在子网屏蔽范围

如果适用传统代理解决方案，目标网站迟早会检测到您的数据抓取活动，并可以屏蔽或向您提供错误的信息。

如何在特定城市获取IP

我为什么应该关注？
举例：如果您负责测试Yelp城市级别的服务 - 您需要在世界上10,000个不同的城市检查网站。

如何在一个特定城市获取一个IP？
如果您使用传统的数据中心代理解决方案来处理您的信息收集任务，您将受到这些数据中心地理位置的限制。大型的住宅网络能够让您在世界上的任何特定城市获得IP地址。

如何加快您的网页数据抓取？

我为什么应该关注？
如果您通过单一IP发送的请求数量高于目标网站允许的范围，您的目标网站将识别您的IP并将其屏蔽或使用错误的信息误导您。这就意味着您的信息收集会比过往慢很多。

我如何加速我的数据获取？
假设您用1000个数据中心IP以每IP每秒1个请求的速度发送一千万个请求，您的常规程序可能需要花费3个小时。如果拥有10,000,000个住宅IP，你完成这项任务可能只需要1秒钟。

通过Luminati住宅网络循环切换多个并行会话操作指南：

1. 打开Luminati Proxy Manager软件
2. 进入’代理‘标签
3. 检查您的住宅通道端口
4. 将端口设置由’preset‘更改为’‘round-robin (ip) pool‘
5. 将您的请求循环至 127.0.0.1:{portnum} 住宅通道的 {portnum} 端口

如何循环您的IP地址

我为什么应该关注？
当许多请求从同一IP发送到网站时，该网站可以标记你的IP是用来爬虫的IP，并屏蔽你的IP或发送误导信息。定时更改或切换您的IP地址，有助于防止目标网站将您的IP识别为爬虫。循环切换IP可将故障率降至1％以下。

我应当如何循环我的IP地址？
通过操作简便的proxy manager软件，在Luminati您可以控制：

• 改变IP前允许发送的请求数量
• IP切换的间隔时长
• 您循环池中的IP数量

使用Luminati循环您的IP地址的指南：

1. 打开Luminati Proxy Manager软件
2. 进入’代理‘标签
3. 点击您希望编辑的代理，然后点击编辑按钮
4. 在’Preset‘或’IP Policy‘下查看循环选项
5. 将您的请求循环至 127.0.0.1:{portnum} 住宅通道的 {portnum} 端口

如何在Luminati中使用SOCKS5？

我为什么应该关注？
SOCKS服务器是一种可以用于任何端口上的任何网络协议类型的代理服务器，并以用户的名义建立与服务器的连接，随后在用户和服务器间循环通信。

为什么要使用Luminati的SOCKS5?
您使用Luminati的SOCKS5时，proxy manage软件会将任何端口80或端口443的请求转换成http以及https的请求，这样您就不需要担心您的目标网站接受何种格式。对于任何其他端口，用户与主机间的通信都不会改变。


使用SOCKS5的指南：

• 打开Luminati Proxy Manager软件
• 点击一个端口，随后’Edit Proxy‘
• 在’General‘一栏下添加SOCKS端口号
• 进入”Performance” - 将反向解译设置为：DNS
• 添加一个解译文件
  • 将 '--resolve PATH'添加至程序代码中
  • 遵循主机文件格式
  • 列出您将要使用的域名及其IP
  • 在proxy manager的‘工具’页面，添加域名和来自解析文件的IP

我应当如何避免子网屏蔽范围？

什么是子网屏蔽范围？
网络中较小的一部分称为子网，可用于将主机聚集起来并同时管理。子网是基于IP地址的，这样就能使网站或恶意用户更容易的识别并屏蔽整个子网。例如，屏蔽223将屏蔽以223开头的所有IP地址，而屏蔽223.1仅会屏蔽以223.1开头的IP地址 - 这就是子网屏蔽范围。

我为什么应该关注？
由于数据库的IP常常在同一子网中，他们就更容易被网站屏蔽，尤其当他们是已知的代理时。

避免子网屏蔽范围：
住宅代理无法被这样屏蔽，因为他们没有子网范围。使用Luminati的住宅IP能够确保在网站使用子网屏蔽范围方法时您不会受到影响。

如何从API转换至Proxy Manager？

我为什么应该关注？
使用Luminati Proxy Manager可提供API中不易提供的高级功能。您只需单击代理管理器中的按钮，而不必手动编写任务的机制，例如尽可能长时间保留IP或在每次请求后轮换IP。

从API转换至Proxy Manager的指南：

1. 安装Luminati Proxy Manager此处
2. 修改代码使HTTP请求直接发送到特定的端口（例如127.0.0.1:2400）而不是发送到zproxy.lum-superproxy.io:22225
3. 通过LPM仪表板配置自定义代理和区域的设置。您不需要在请求旁边发送用户参数（lum-customer-customer_name-zone-zone_name ...），因为所有需要的数据都包含在手动代理配置中。

如何使用iPhone配置Luminati原始API？

使用iPhone配置Luminati原始API的指南

1. 打开您的设备设置应用程序并进入Wi-Fi
2. 点击您连接的Wi-Fi网络名称
3. 下拉到底部您将会找到一个‘HTTP 代理’的部分。它默认设置为‘关闭’。将其设置为‘手动’：
• 在服务器位置输入：zproxy.lum-superproxy.io
• 在端口位置输入： 22225
• 选择 Authentication: DISABLE
4. 打开浏览器
5. 添加目标URL
6. 在弹出窗口中点击设置
7. 添加用户名（例如lum-customer-lum_qa-country-us-zone -city）
8. 通道密码并点击OK

我如何才能知道网站对我隐形？（提供误导信息）

我为什么应该关注？
网站对您隐形就指的是您从抓取数据的网站获得的都是误导信息。
例如：如果您在收集对比竞争信息来加入您的自动定价算法，目标网站可以用虚假的低价来回应您的请求来影响您的价格和利润。

如何判断网站何时对您隐形
当使用传统代理网络（基于数据中心的IP）时，您的目标网站可能轻易的识别您的活动并用虚假信息回应您的请求。因此，确保网站不对您隐形的唯一方式是通过住宅IP循环您的请求。

通过数以百万的住宅IP循环请求的指南：

1. 打开Luminati Proxy Manager软件
2. 进入’代理‘标签
3. 检查您的住宅通道端口
4. 将端口设置由’preset‘更改为’‘round-robin (ip) pool‘
5. 将您的请求循环至 127.0.0.1:{portnum} 住宅通道的 {portnum} 端口

隆重推出：Luminati Chrome浏览器插件

我为什么应当使用它？
使用Chrome浏览器扩展程序对您的网站进行自我测试，验证您的广告，或者只是浏览网站，模拟其他国家/地区。它是Luminati Proxy Manager的强大补充工具，使用简便，适用于非技术型的用户。您还可以让其他无权访问仪表板的人员在不需要知道帐户信息的情况下，使用该扩展程序。

该插件有哪些功能？
Luminati Chrome浏览器插件支持数据中心和住宅IP的浏览，使您能够在任何国家搜索。您可以调整客户端，定制DNS的配置以实现保密或速度的最大化，并设置随机IP循环。

下载Luminati Chrome浏览器插件的指南：

• 下载Luminati Chrome浏览器插件此处
• 插件将出现在您的搜索框旁边
• 点击插件上的深蓝色按钮
• 在专用的配置页面设置插件参数

常见问题