Scrapy 是 Python 开发的一个快速，高层次的屏幕抓取和 web 抓取框架，用于抓取 web 站点并从页面中提取结构化的数据。Scrapy 用途广泛，可以用于数据挖掘、监测和自动化测试。本文作者 Erdem İşbilen 为我们演示了如何使用 Python 和 Scrapy 怎样在半个小时内对 10 个在线商店抓取信息。有了 Python 和 Scrapy，我们就可以完成大量的工作，而不需要自己费大力气去开发。
获取启动 App 项目所需的源数据是一步。即便你是全栈开发人员，希望开发一款出色的 Web 应用程序，并能全身心投入到项目中。在编写代码之前，仍然需要一个与领域相关的数据集。这是因为现代应用程序会同时或成批处理大量数据，以便为其用户提供价值。本文，我将解释生成这样一个数据集的工作流程。你将会看到，我在没有任何人工干预的情况下是如何对许多网站进行自动网页抓取的。
我的目标是为价格比较网络应用程序生成一个数据集。我将使用的产品类别以手提袋为例。对于这样的应用，应该每天从不同的在线商店那里收集手提包的产品信息和价格信息。尽管有些在线商店提供了 API 让你访问所需的信息，但并非所有在线商店都会这么做。所以，网页抓取不可避免。
在本文的示例中，我将使用 Python和 Sparky为 10 个不同的在线商店生成网络蜘蛛（Web spider）。然后，我将使用 Apache Airflow自动化这一过程，这样就不需要人工干预来定期执行整个过程。
源代码和现场演示 Web 应用程序
你可以在GitHub 仓库找到所有相关的源代码，也可以访问在线 Web 应用程序，使用的是网页抓取项目提供的数据。