Эта статья была первоначально опубликована в блоге Zenrows. В этом руководстве вы создадите агент Mastra с помощью специального инструмента Zenrows Fetch, который считывает защищенные страницы и страницы, обработанные с помощью JavaScript, а затем добавите рабочий процесс, который извлекает список URL-адресов в...
Эта статья была первоначально опубликована в блоге Zenrows.
В этом руководстве вы создадите агент Mastra с помощью специального инструмента Zenrows Fetch, который считывает защищенные страницы и страницы, обработанные с помощью JavaScript, а затем добавите рабочий процесс, который параллельно извлекает список URL-адресов. Вам понадобится Node.js 22.13 или новее, ключ API OpenAI или Anthropic, а также ключ API Zenrows.
Готовый агент сравнивает живые списки продуктов Walmart и возвращает либо Markdown для анализа, либо структурированный JSON с такими полями, как цена и рейтинг. Полный код находится на GitHub.
Предварительные условия
Вам нужен Node.js 22.13 или новее.
Вам нужен ключ API для одного поставщика модели. В этом руководстве по умолчанию используется OpenAI и показана антропная альтернатива. Получите ключ OpenAI на панели инструментов разработчика OpenAI или ключ Anthropic на панели инструментов разработчика Anthropic.
Вам понадобится ключ API Zenrows для получения полного содержимого веб-страниц. Создайте его на панели инструментов Zenrows.
Почему встроенный инструмент выборки не справляется
Встроенный в Mastra инструмент webFetchTool выполняет простые HTTP-запросы, не запускает JavaScript и возвращает необработанный HTML. Этого достаточно для простых страниц. На отображаемых в браузере или защищенных страницах, таких как список продуктов, защищенный Cloudflare,