Демонстрационный код здесь
Отказ от ответственности: хотя это не спонсируемый пост, ссылки, содержащиеся здесь, являются партнерскими ссылками. Однако Luminati – это продукт, который я использую в настоящее время в своем производственном коде.
Иногда использование прокси -сервиса стоит стоимости. Использование Luminati – отличный пример того, когда это так. Я не часто использую прокси. Я люблю исследовать и реверс -инженер. Узнайте больше о Luminati Здесь Анкет
Веселье в сети – это понимание того, что мешает вам от автоматического доступа к веб -сайту, а затем создает инструмент, способный идеально поддерживать ожидаемый запрос. Однако, когда мне нужен код, который работает регулярно, мне нужно запустить его из облака. И иногда облачные IP -адреса блокируются на уровне IP. Это время, когда использование прокси имеет смысл.
Введите Luminati
Luminati делает его очень простым в регистрации. Go Здесь и нажмите «Start Now». Они очень тщательны с проверкой, и, прежде чем я смог полностью его использовать, они должны были убедиться, что у меня был действительный бизнес с государственным секретарем. Я не уверен, что произойдет, если бы у меня не было реального бизнеса, который был зарегистрирован в государственном секретаре.
Оказавшись в пределах Luminati, вы увидите приборную панель и место для настройки ваших «зон» или разных прокси.
Тот, в котором меня больше всего интересовало, был вращающийся жилой прокси. У меня есть пример целевого веб -сайта, с которого я собираю информацию, которая при соскобке из моего дома это работает без каких -либо проблем. При соскобке из облака запрос просто раз. В какой -то момент я даже установил соединение VNC и попытался получить доступ к сайту из браузера Chrome из графического интерфейса, и оно все еще истекло. Это пример того, когда прокси имеет смысл.
Нажатие на значок «Редактировать» возле настройки жилых помещений обеспечивает имя пользователя и пароль, которые вам нужно будет использовать. Если вы используете пример кода, который я предоставляю, просто переименуйте .sample.env к .env и замените образец имени пользователя и пароль на то, что найдено в вышеуказанном разделе.
Когда вы хотите использовать прокси, просто добавьте prod = true Собственность в .env файл.
И это действительно все, что вам нужно сделать в Luminati, чтобы получить настройку.
Код
У меня есть примеры с использованием Аксиос , запрос (ну, запрос-промот ) и Кукольник Анкет
Axios самый странный. Кажется, что использование Прокси Опция не работает при вызове на сайтах HTTPS. У Luminati есть тестовый сайт, который дает IP -адрес, из которого мы звонят.
async function withAxios() {
const url = 'https://lumtest.com/myip.json';
const options: AxiosRequestConfig = { };
if (process.env.prod) {
console.log('Production enabled, using Luminati');
options.proxy = false;
options.httpsAgent = new HttpsProxyAgent(`https://${process.env.luminatiUsername}:${process.env.luminatiPassword}@zproxy.lum-superproxy.io:22225`)
}
const axiosResponse = await axios.get(url, options);
console.log('Response from axios', axiosResponse.data);
}
А вот разница с прокси: без прокси:
Вот код при использовании запроса. Прокси работает, как и ожидалось здесь.
async function withRequest() {
const url = 'http://lumtest.com/myip.json';
const options: Request.Options = {
url: url,
method: 'GET'
};
if (process.env.prod) {
console.log('Production enabled, using Luminati');
options.proxy = `http://${process.env.luminatiUsername}:${process.env.luminatiPassword}@zproxy.lum-superproxy.io:22225`;
}
const response = await requestPromise(options);
console.log('Response from request', JSON.parse(response));
}
И ответ с доверенным лицом и без него:
И, наконец, код с кукловодом. Это простая вещь; Просто добавьте прокси как args опция, а затем аутентифицируется с объектом страницы.
async function withPuppeteer() {
const url = 'https://lumtest.com/myip.json';
const options = {
args: []
};
if (process.env.prod) {
options.args.push('--proxy-server=zproxy.lum-superproxy.io:22225');
}
const browser = await puppeteer.launch(options);
const page = await browser.newPage();
if (process.env.prod) {
console.log('Production enabled, using Luminati');
await page.authenticate({
username: process.env.luminatiUsername,
password: process.env.luminatiPassword
});
}
await page.goto(url);
const response = await page.$eval('pre', elem => elem.textContent);
console.log('Response from puppeteer', JSON.parse(response));
await browser.close();
}
И ответ с доверенным лицом и без него:
Обслуживание клиентов
Я был бы очень упущен, если бы не говорил о обслуживании клиентов Luminati. Как только я создал свою учетную запись, мне назначили менеджер по делам, и она включала его информацию в Skype. У меня было несколько вопросов И поэтому я протянул руку. Он быстро отреагировал и привел меня в контакт с техническим представителем.
И он, и технический представитель отвечали на мои вопросы всегда быстро и очень полезно. Я только недавно позвонил с техническим представителем, чтобы обсудить проблему, которая у меня была. Он провел много времени, помогая мне найти решение проблемы, которая была моей и не связанной с Луминати.
Обслуживание клиентов Luminati отличное. Я не могу рекомендовать это достаточно. Luminati-это действительно Rolls-Royce of Proxies, и я использую их сейчас, и я намерен продолжать их использовать. Посмотрите больше о Luminati Здесь Анкет
Демонстрационный код здесь
Ищете бизнес -лиды?
Используя методы, о которых говорили здесь, в javascriptwebscrapingguy.com Мы смогли запустить способ получить доступ к потрясающим веб -данным. Узнайте больше в Кобальтовая интеллект !
Пост Джордан использует Luminati появился первым на JavaScript Web Scraping Guy Анкет
Оригинал: “https://dev.to/aarmora/jordan-uses-luminati-932”