TL;DR

• Nstproxy推出了两个新产品：代理管理器和Crawl。
• 代理管理器帮助团队集中管理代理操作，包括路由、池管理、轮换规则和请求可见性。
• Crawl提供一个托管的网络数据收集API，将URL转换为Markdown、HTML、屏幕截图、PDF和其他可用格式。
• 现有的Nstproxy客户可以继续使用他们当前的代理产品、账户、API密钥和定价。

介绍

Nstproxy一直致力于帮助团队通过代理基础设施可靠地访问网络。随着操作规模的扩大，访问网站只是挑战的一部分。团队还需要更好的方法来管理多个项目中的代理流量，监控请求性能，以及在不维护复杂基础设施的情况下收集网页内容。

为了解决这些需求，Nstproxy推出了两个新产品：

• 代理管理器，用于集中管理代理操作的层。
• Crawl，用于收集和处理网络内容的托管API。

与Nstproxy现有的代理网络结合，这些工具帮助团队构建更完整的网络数据工作流程。

Nstproxy网络数据工作流程

不同的团队在处理网络数据时有不同的需求。有些团队需要可靠的代理访问网站。有些团队需要对大规模代理操作有更好的控制和可见性。还有一些团队需要不维护自己的爬虫系统便能使用的现成网络内容。

Nstproxy现在支持这些不同的工作流程：

• 代理：可靠访问网络资源
• 代理管理器：集中代理流量管理
• Crawl：通过简单API进行网络内容收集

这些产品可以根据您的工作流程要求独立使用或结合使用。

代理管理器：代理操作的集中控制

运行一个小型爬虫工作流程相对简单。随着操作规模的扩大，跨多个项目、团队和目标网站管理代理基础设施变得更加具有挑战性。

代理管理器旨在简化代理使用背后的操作层。团队通过集中路由器端点路由流量，而不是分别在不同的脚本和应用程序中管理代理凭证、路由规则、轮换逻辑和监控。代理管理器处理代理操作层，而您的应用程序则专注于收集和处理数据。

• 集中代理池管理。 根据工作流程类型创建和组织代理池。例如，价格监控项目可以使用专用的居民池；而SEO跟踪工作流可以使用单独的配置。不同的团队可以管理自己的流量环境，而互不影响。
• 灵活的路由和轮换控制。 在一个地方配置流量路由和轮换策略。当代理需求发生变化时，更新代理管理器配置，而不是每个依赖于它的爬虫和脚本。
• 请求记录和可见性。 代理管理器记录每个请求，包括目标域、响应代码、状态和时机。当出现故障时，日志能告诉您问题是来自代理池、速率限制还是目标网站的变化——无须跨多个系统交叉引用日志。
• 基于团队的访问管理。 对于多个团队共享代理资源的组织，代理管理器为每个团队提供单独的路由器端点。团队可以访问所需的资源；管理员则维护对配置和使用可见性的控制。

代理管理器旨在为已经运行网络爬虫、爬虫系统、SEO监控工具或数据收集工作流的团队提供更好的代理管理，而无需重建现有基础设施。连接现有工作流程只需改变一个代理端点——不需要更改爬虫逻辑。