Ключевые выводы Режим AI и обзор AI ссылаются на одни и те же URL-адреса только в 13,7% случаев, поэтому очистка одного не дает вам ничего достоверного о другом. Исходные URL-адреса находятся в комментариях HTML с ключами UUID, а не в тегах привязки, поэтому чтение парсера возвращает...
Ключевые выводы
Режим AI и обзор AI ссылаются на одни и те же URL-адреса только в 13,7% случаев, поэтому очистка одного не дает вам ничего достоверного о другом.
URL-адреса источников находятся в комментариях HTML с ключами UUID, а не в тегах привязки, поэтому парсер, читающий , возвращает пустой список цитирования, а не ошибку.
Удалите фрагменты #:~:text, прокручиваемые до текста, перед подсчетом, иначе одна статья будет читаться как несколько отдельных URL-адресов и увеличит количество цитирований.
Google AI Mode не помещает свои источники в теги привязки. Он отображает каждый из них как кнопку и скрывает фактический URL-адрес в комментарии HTML с ключом UUID. Парсер, читающий , ничего не находит. Именно этот выбор дизайна и составляет большую часть работы в этом посте.
Остальное — в исходном HTML вообще ничего нет. Оболочка загружается, затем ответ передается через отдельный вызов /async/folwr. Проанализируйте загрузку страницы, и вы получите пустой контейнер.
Создайте URL-адрес с udm=50 и aep=11, чтобы принудительно использовать интерфейс.
Перед навигацией зарегистрируйте сетевой перехватчик на странице https://www.google.com/async/folwr.
Перемещайтесь и рассматривайте страницу, отличную от 200, как CAPTCHA, а не как мертвую страницу.
Опрашивайте до тех пор, пока не будет получен перехваченный ответ, с жестким тайм-аутом.
Прочтите текст ответа на сеансе данных-