Автор оригинала: FreeCodeCamp Community Member.
Praven Dubey
Некоторое время назад мне пришлось ползти на сайт для ссылок и дополнительно использовать эти ссылки на страницу для сканирования данных с использованием селена или кукловода. Настройка для контента на сайте было битоно, поэтому я не мог начать напрямую с Selenium и Node. Кроме того, к сожалению, данные были огромными на сайте. Я должен был быстро придумать подход к первому ползу всей ссылки и пройти те, что для деталей ползет каждую страницу.
Вот где я узнал это прохладные вещи с консолью браузера API. Вы можете использовать это на любом веб-сайте без особой настройки, так как это просто JavaScript.
Давайте прыгнем в технические детали.
Обзор высокого уровня
Для ползания всех ссылок на странице я написал небольшой кусочек JS в консоли. Этот JavaScript выползет все ссылки (занимает 1-2 часа, так как он также делает пагинацию) и сбрасывает JSON Файл со всеми сказанными данными. Что нужно помнить, это то, что вам нужно убедиться, что сайт работает Аналогично на приложение одной страницы. В противном случае он не перезагружает страницу, если вы хотите ползти более одной страницы Отказ Если это не так, ваш код консоли будет упущен.
Среда не обновляет страницу для некоторых сценариев. На данный момент давайте сканируем историю и сохраняем соскобные данные в файле с консоли автоматически после утилизации.
Но прежде чем мы сделаем это, здесь быстрая демоверсия последнего исполнения.
1. Получите экземпляр объекта консоли из браузера
// Console API to clear console before logging new data
console.API;
if (typeof console._commandLineAPI !== 'undefined') { console.API = console._commandLineAPI; //chrome} else if (typeof console._inspectorCommandLineAPI !== 'undefined'){ console.API = console._inspectorCommandLineAPI; //Safari} else if (typeof console.clear !== 'undefined') { console.API = console;}
Код просто пытается получить экземпляр объекта Console на основе текущего браузера пользователя. Вы можете игнорировать и непосредственно назначить экземпляр в ваш браузер.
Пример, если вы используете Хром следующий код должен быть достаточным.
if (typeof console._commandLineAPI !== 'undefined') { console.API = console._commandLineAPI; //chrome}
2. Определение функции младшего помощника
Я предполагаю, что вы открыли среднюю историю в вашем браузере. Линии от 6 до 12 определяют атрибуты элемента DOM, которые можно использовать для извлечения Название истории, CLAP Count, имя пользователя, URL Image Image, Описание профиля и время прочтения истории, соответственно.
Это основные вещи, которые я хочу показать для этой истории. Вы можете добавить еще несколько элементов, таких как извлечение ссылок из истории, все изображения или ссылки в встраивании.
3. Определение нашего старшего помощника функции – зверь
Как мы ползаем страницу для разных элементов, мы сохраним их в коллекции. Эта коллекция будет передана в одну из основных функций.
Мы определили имя функции, Консоль .save Отказ Задача этой функции – выбросить файл CSV/JSON с передачи данных.
Это создает объект BLOB с нашими данными. А Blob Объект представляет собой файловый объект неизменных, необработанных данных. Blobs представляют данные, которые не обязательно в формате JavaScript-National.
Создать BLOB прикреплен к тегу ссылки < ; a> на котором срабатывает событие щелчка.
Вот быстрая демоверсия Консоль .save с маленьким массив передается как данные.
Собрать все куски кода, это то, что у нас есть:
- Экземпляр API консоли
- Функция помощника для извлечения элементов
- Консоль Сохранить функцию для создания файла
Давайте выполним нашу консоль .save () в браузере, чтобы сохранить данные в файле. Для этого вы можете пойти на История на среднем И выполните этот код в консоли браузера.
Я показал демонстрацию извлечения данных с одной страницы, но один и тот же код может быть настраивается, чтобы сканировать несколько историй с домашней страницы издателя. Привести пример FreeCodecamp : Вы можете ориентироваться от одной истории в другую и вернуться (Использование кнопки Back Browser) к Главная страница Издательства Без страницы обновляются.
Ниже приведен голый минимальный код, необходимый для извлечения нескольких историй с домашней страницы издателя.
Давайте посмотрим код в действии для получения описания профиля из нескольких историй.
Для любого такого типа приложения, как только вы покончили данные, вы можете передать его нашим console.save Функция и хранить его в файле.
Функция сохранения консоли может быть быстро прикреплена к вашему консоли и может помочь вам выбросить данные в файл. Я не говорю тебе есть Чтобы использовать консоль для соскабливания данных, но иногда это будет способнее быстрее подход, поскольку все мы очень знакомы работаем с DOM, использующим селекторы CSS.
Вы можете скачать код из Гадость
Ресурсы, чтобы узнать больше о консоли:
Использование консоли | Инструменты для веб-разработчиков | Google Developers Узнайте, как навигаться по Chrome Devtools JavaScript Console. developers.google.com Консоль браузера Консоль браузера похожа на веб-консоль, но нанесено на весь браузер, а не на один контент. Developer.mozilla.org Blob Объект BLOB представляет собой файловый объект неизменных, необработанных данных. Blobs представляют данные, которые не обязательно в … Developer.mozilla.org.