1 Новая капча Авито
Новый алгоритм капчи меньше учитывает интервал между запросами и связанную с ним скорость скачивания. Предыдущий алгоритм очень лояльно относился к медленному скачиванию и при интервале между запрсами в 10 - 15 секунд почти никогда не включал капчу. А если и включал, то сам же и убирал ее при повторном запросе. Новая капча значительно злее: она регулярно появляется и сама, как правило, не уходит при повторном запросе.
В качестве промежуточной меры предусмотрено повышение удобства ручного решения капчи:
- При любой нештатной странице открывается браузер. Это улучшает контроль над парсингом, поскольку позволяет увидеть капчу, ошибку 404 и подобные случаи.
- Нештатная страница остается открытой в течение двух минут. Это позволяет спокойно отреагировать, сделать скриншот, кликнуть на открывшейся странице правой кнопкой мышки и сохранить содержание страницы для отправки в техподдержку.
- Если на нештатной странице находится новая капча geetest в неизменном виде - автоматически нажимается кнопка Нажмите для подтверждения, после чего загружается капча. В окне браузера будет следующий вид:
- Для решения капчи нужно нажать левой кнопкой мыши на овале со стрелочкой и удерживая кнопку нажатой вести мышку до совпадения фигуры с ее вырезом:
- После решения капчи не нужно ничего делать. После истечения двухминутного интервала парсинг автоматически продолжится. Можно закрыть браузер предварительно открыв соответсвующую ему вкладку Excel.
В ответ на недружелюбное поведение капчи можно сократить интервал между запросами.
Если ситуация сохранится продолжительное время, будут использованы другие способы для нейтрализации капчи.
2 Номера телефонов и авторизация в Авито
На открытие номеров телефонов влияет авторизация в Авито. При авторизации открываются все номера телефонов при их наличии. Без авторизации открываются не все номера телефонов, в одних регионах открываются больше, в других - меньше.
Авторизация в Авито также влияет на вредность капчи: без авторизации капча появляется значительно чаще, чем с авторизацией.
Для авторизации нужно сделать следующее: Старт → Пауза → открыть вкладку Excel с Авито → Браузер → нажать Вход и регистрация и пройти авторизацию → Браузер → повторить для других вкладок Excel, на которые сохраняются данные Авито → Старт.
3 Звонки через Авито
К уже привычным звонкам в Ватсапе, Телеграме, Скайпе и других приложениях теперь добавились и звонки в Авито. Это относится не только к телефонам и планшетам, но и к офисным компьютерам. Выглядит это так:
Таким образом Авито тестирует следующий шаг в монетизации своего главного продукта - предоставления контакта с потенциальным покупателем. Если при подменном номере соединение осуществляла телефонная компания, то при Звонок через Авито соединение проходит через инфраструктуру Авито без использования подменного номера.
***
Для получения обновления в меню Робастика О Робастике кликнуть кнопку Обновить сейчас.
***
Изменения на сайтах происходят постоянно и это неизбежно сказывается на работе парсеров. Изменения структуры данных, настройка прав доступа, оптимизация нагрузки, защита от деструктивных действий и многие другие незаметные внешне изменения - это обычная каждодневная жизнь IT-сервисов.
Часто эти изменения приводят к отсутствию некоторых данных в скачиваемой информации, нарушают действия на странице (например, открытие номера телефона) или выводят мешающее на скриншоте всплывающее окно.
По этой причине к сбоям парсинга надо относиться как к нормальному явлению. При обнаружении сбоя надо сразу сообщать о нем с указанием:
- версии Excel,
- версии Робастика,
- ссылок, на которых наблюдается сбой,
- скриншота окна Excel при сбое,
- описанием сбоя (отсутствуют или неверные данные, не сохраняются фото и т.п.).
Сообщить о сбое можно в любом удобном канале:
Сразу сообщайте обо всех неполадках в Робастике и это поможет его сделать лучше для вас!