Автоматические ссылки для парсинга

Ситуация: нужно парсить землю с Авито, потом офисы с ЦИАНа, повторять каждый день. Кликать в меню парсинга, копировать туда ссылку, открывать диалог выбора файла, искать там файл - такая рутина утомит кого угодно. Обойдемся без этого!

1 Принцип работы

Если в любом файле Excel добавить вкладку (лист) с названием Robastik (или Робастик - в русской локали), то ссылки с этой вкладки автоматически добавятся в парсер Робастика при нажатии в меню кнопки Старт.

2 Как это работает

В скачанном с сайта архиве с установочным файлом Робастика также находится папка Демонстрационные примеры. В этой папке есть файл Демо Добавление ссылок.xlsx:

Этот файл демонстрирует работу автоматических ссылок.

В этом файле есть вкладки Robastik и Робастик. Русский язык можно использовать если Excel на русском языке. Во всех остальных случаях будут работать только ссылки на вкладке с названием на английском.

Использовать обе вкладки вместе не нужно, достаточно одной из них. Если их оставить обе, то работать будет только одна. Во избежание путаницы оставьте одну любую вкладку: если нравится русский и у вас Excel на русском → оставьте русскую, в другом случае → оставьте английскую.

На вкладке находятся ссылки для парсинга. Они расположены в одну колонку, одна за другой, с 3-й по 9-ю строки.

При нажатии кнопки Старт эти ссылки будут по очереди с 3-й по 9-ю строки добавлены в парсер, появятся в меню парсинга и все ссылки начнут загружаться:

Дополнительно указывать файл для сохранения данных не нужно → они будут сохраняться в этот же файл Демо Добавление ссылок.xlsx и для этого создаются вкладки с названиями парсеров:

3 Правила автоматических ссылок

Как оформлять ссылки для парсинга, чтобы они добавлялись автоматически:

1. Ссылки автоматически добавляются только со вкладки (листа) с названием Robastik или Робастик (в русской локали).
2. Ссылки могут быть расположены в любом месте вкладки (листа).
3. Первой добавляется ссылка, расположенная в самой верхней левой ячейке.
4. Следующей добавляется ссылка, расположенная в той же колонке, что и предыдущая, и в следующей строке.
5. Если в указанной в п.4 ячейке нет ссылки, процесс добавления закончен.
6. Результат парсинга сохраняется в этот же файл Excel.

Подробно разберем каждый пункт.

1. Если в файле есть вкладка Robastik, с нее будут добавлены ссылки. Если вкладки нет → добавлять нечего. Ссылки добавляются из активного файла Excel. То есть если файл со ссылками открыт, но курсор находится в другом файле Excel без ссылок, то при нажатии кнопки Старт ссылки добавлены не будут. Если же во втором файле Excel тоже есть вкладка Robastik, то ссылки будут добавлены только из второго файла. Активировать саму вкладку Robastik не нужно, она будет получена из активного файла Excel.
2. Не имеет значения - расположены ли ссылки выше или ниже на вкладке. Выбирайте расположение удобное вам. Косвенное удобство располагать первую ссылку в ячейке А1 заключается в том, что в таком случае исключается возможность того, что выше этой ссылки может быть использованная ячейка без ссылки, которая мешает добавлению ссылок.
3. Для добавления ссылок сначала Excel находит самую верхнюю левую использованную ячейку. Использованной Excel считает любую ячейку, которая была использрвана любом способом: в ячейке использован формат (цвет фона или сделаны границы), добавлено условное форматирование, введен невидимый символ (например, пробел). Если в ячейке что-то было и затем оно было удалено → такая ячейка тоже считается использованной. Если выше и левее ссылок расположена такая "использованная" ячейка, она будет восприниматься Excel как неверная ссылка и тем самым будет мешать добавлению ссылок.
4. Если первая ссылка находится в ячейке С3 (как в демонстрационном файле), то следующая ссылка должна находиться в той же колонке С и в следующей строке 4, то есть в ячейке С4. Если следующая ссылка будет находиться в ячейке В4 или D4 или С5, то она не будет добавлена и следующие за ней тоже не будет добавлены. Этим удобно пользоваться, когда часть ссылок в списке нужно пропустить, но не удалять из списка. Например, если в демонстрационной файле нужно пропустить парсинг ссылки https://bryansk.cian.ru/cat.php?deal_type=sale&engine_version=2&offer_type=flat&p=2&region=4562, то ее нужно переместить в любое место, кроме ячеек левее и ниже первой ссылки и не сразу после последней. "Запретные" ячейки отмечены красным:

При таком расположении будут добавлены все ссылки, кроме перемещенной.

5. Если в следующей ячейке нет ссылки, запускается парсинг добавленных ссылок. Добавленные ссылки отображаются на кнопках меню, как если бы они были добавлены обычным порядком через кнопку Добавить ссылку в меню. Если до нажатия на кнопку Старт в меню парсинга были введены (другие) ссылки, они удаляются. Получается, что при старте парсинга в меню отображаются не те ссылки, которые фактически будут загружаться. Это контринтуитивно, но это делает автоматическое добавление ссылок простым и быстрым.
6. При автоматическом добавлении ссылок данные всегда загружаются в тот файл, из которого добавлены ссылки. В демонстрационном примере ссылки добавляются из файла Демо Добавление ссылок.xlsx и загруженные объявления будут сохраняться в этот же файл на созданных для этого соответствующих вкладках. В этом заключается удобство: открыть один файл и кликнуть Старт → данные загрузились в этот же файл, открыть следующий файл и кликнуть Старт - выбирать файл для сохранения объявлений не нужно.

Ручное добавление ссылок для парсинга описано в основном разделе.