Нужен специалист по HeadLess браузерам
Boe специалиста по headless браузерам.
У меня есть задача, и требуется Ваша помощь.
Я делаю сканер арибтражных ситуаций ("вилок") для личных нужд.
Я умею парсить букмекерские конторы, и все вообщем то работает.
Но гигантская проблема в том, что я делаю это фактически обычным браузером.
И это все дико ресурсоемко.
По этой причине я хотел бы перейти на HeadLess браузер.
Например Chrome Headless.
Все равно будет ресурсоемко, но все таки не так как обычным браузером.
Мне сейчас нужно парсить всего 2 конторы. Это приблизительно 100 одновременно открытых страниц.
Сейчас у меня есть пачка JS скриптов, которые парсят страницы и выводят нужные мне данные в консоль. Из консоли я забираю эти данные в программу, написанную на DELPHI и делаю все что мне нужно.
Прошу помочь в этом вопросе.
Конкретно: нужно построить рабочую связку: HeadLess браузер (например Chrome HeadLess) + что то что им управляет. Нужно чтобы можно было открывать параллельно большое количество страниц и на каждой странице каждую секунду выполнять JS скрипт, который выводит в консоль данные, которые можно забрать и их обработать (например - положить в MySQL базу).