Добавить в nginx.conf исключение для robots.txt и файлов *.xml
Дано: набор контейнеров фронтенд, сервер, рендетрон (пререндерер статики)
В nginx конфигурации в случае, если на фронт пришел гугл бот, происходит редирект на рендетрон.
Необходимо сделать исключение для robots.txt и файлов *.xml, чтобы для них не происходило редиректа.
Сам nginx.conf:
server {
listen 0.0.0.0:80;
root /usr/share/nginx/html;
gzip on;
gzip_min_length 1000;
gzip_proxied expired no-cache no-store private auth;
gzip_types text/plain text/css application/json application/javascript application/x-javascript text/xml application/xml application/xml+rss text/javascript;
if ($http_user_agent ~* "googlebot|bingbot|yandex|baiduspider|twitterbot|facebookexternalhit|rogerbot|linkedinbot|embedly|quora link preview|showyoubot|outbrain|pinterest\/0\.|pinterestbot|slackbot|vkShare|W3C_Validator|whatsapp") {
rewrite ^(.*)$ /rendertron/$1;
}
location / {
try_files $uri $uri/ /index.html;
}
location /api/ {
proxy_pass http://server:80;
}
location /rendertron/ {
resolver 127.0.0.11 ipv6=off;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $remote_addr;
proxy_pass http://rendertron:3000/render/$scheme://$host:$server_port$request_uri;
}
}