Парсер сайта

СДЕЛАТЬ ПАРСЕР ПЕРЕВОДЧИКА

1. Парсер берет из бд MySQL InnoDB значение на русском языке, отправляет его в вебверсию переводчика deepl.com и перевод сохраняет в бд. Данные ставятся в очередь перевода, которую можно смотреть в интерфейсе.

Для подключения к deepl.com используются прокси.

Данные берем отсюда:

1

Таблица: categories

Столбец: category_name_ru > category_name_en

2

Таблица: subcategories

Столбец: category_name_ru > category_name_en

3

Таблица: _keys

Столбец: key_name_ru > key_name_en

4

Таблица: phrases

Столбцы:

mixed_name_ru > mixed_name_en

key_adjectives_ru > key_adjectives_en

key_nouns_main_ru > key_nouns_main_en

key_verbs_subject_ru > key_verbs_subject_en

key_verbs_argument_ru > key_verbs_argument_en

key_nouns_dependent_ru > key_nouns_dependent_en

key_nouns_argument_ru > key_nouns_argument_en

key_nouns_subject_ru > key_nouns_subject_en

Могут быть пустые строки - их пропускаем

Визуально нужно:

выпадающий список:

Выбираю категорию или подкатегорию для парсинга. Могу выбрать некоторые или все.

К подкатегории привязаны данные в таблице _keys. Могу выбрать некоторые или все.

К _keys привязаны данные в таблице phrases. если выбран key, то в очередь отправляются все привязанные phrases.

Очередь перевода ведется в отдельной табличке, с которой работает крон. Статус перевода отслеживается. На странице можно увидеть и отфильтровать: в очереди / переведено

Очередь перевода в deepl ведется в табличке phrases в столбце deepl (создать), с которой работает крон. Статус перевода отслеживается (0 не переведено / 1 в очереди / 2 переведено). Можно отфильтровать записи по статусу.

Данные в столбце deepl можно очистить