Files
telemt/docs/Advanced_settings/HIGH_LOAD.ru.md
T

19 KiB

Настройка Telemt для высокой нагрузки

English · Русский · Deutsch

Используйте это руководство, когда измерения показывают конкретное ограничение ресурсов. Значения ниже — примеры настройки, а не подтверждённая гарантия определённого числа соединений. Перед изменениями запишите версию ядра, действующую конфигурацию, частоту подключений, расход памяти и задержку. Сохраните прежние значения и меняйте одну группу настроек за раз, чтобы сравнить результат и при необходимости откатить изменение.

Термины объяснены в общем словаре.


1. Системные лимиты и файловые дескрипторы

Также учитывайте server.max_connections при расчёте клиентской нагрузки, в том числе через ME. 0 снимает этот общий клиентский лимит и не ограничивает ME 128 клиентами. Ограничения дескрипторов ОС, пользовательские лимиты, очереди, бюджеты памяти и политики ME Writer продолжают действовать. Для изменения параметра нужен перезапуск процесса.

Каждое TCP-соединение требует файлового дескриптора. При 100 тысячах соединений стандартные лимиты Linux (зачастую 1024 или 65535) будут исчерпаны немедленно.

Общесистемные лимиты (sysctl)

Увеличьте глобальный лимит файловых дескрипторов в /etc/sysctl.conf:

fs.file-max = 2097152
fs.nr_open = 2097152

На уровне пользователя (limits.conf)

Отредактируйте /etc/security/limits.conf, чтобы разрешить пользователю (от которого запущен telemt) резервировать дескрипторы:

* soft nofile 1048576
* hard nofile 1048576
root soft nofile 1048576
root hard nofile 1048576

Переопределения для Systemd / Docker

Если используется Systemd, добавьте в ваш telemt.service:

[Service]
LimitNOFILE=1048576
LimitNPROC=65535
TasksMax=infinity

Если используется Docker, задайте ulimits в docker-compose.yaml:

services:
  telemt:
    ulimits:
      nofile:
        soft: 1048576
        hard: 1048576

2. Тонкая настройка сетевого стека ядра (sysctl)

Создайте выделенный файл /etc/sysctl.d/99-telemt-highload.conf и примените его через sysctl -p /etc/sysctl.d/99-telemt-highload.conf.

2.1 Очереди соединений и защита от SYN-флуда

Увеличьте размеры очередей, чтобы поглощать внезапные всплески соединений и смягчить атаки типа SYN flood:

net.core.somaxconn = 65535
net.core.netdev_max_backlog = 65535
net.ipv4.tcp_max_syn_backlog = 65535
net.ipv4.tcp_syncookies = 1

2.2 Исчерпание портов и TIME-WAIT сокеты

Сначала отличите ошибки исходящих подключений из-за нехватки портов от большого, но безвредного числа записей TIME-WAIT. Проверьте ошибку подключения, адреса и порты назначения и вывод ss -s. Если ограничение действительно связано с исходными портами, диапазон можно расширить с учётом портов, зарезервированных другими службами:

net.ipv4.ip_local_port_range = 10000 65535

tcp_tw_reuse управляет повторным использованием TIME-WAIT-сокетов, когда это допускает протокол. В указанной документации ядра 0 отключает повторное использование, 1 включает его глобально, 2 — только для loopback. Перед изменением проверьте значение в работающем ядре. tcp_max_tw_buckets ограничивает число сохраняемых записей, а не продолжительность TIME-WAIT.

tcp_fin_timeout действует на осиротевшие соединения в FIN_WAIT_2: его уменьшение не сокращает TIME_WAIT. При диагностике исчерпания портов различайте эти механизмы. См. справочник IP sysctl ядра Linux.

2.3 TCP Keepalive

Эти sysctl задают значения по умолчанию для сокетов с включённым TCP keepalive, если приложение не переопределило соответствующие параметры. Проверки начинаются после пяти минут простоя; с учётом последующих проб общий срок составляет примерно 7–8 минут:

net.ipv4.tcp_keepalive_time = 300
net.ipv4.tcp_keepalive_intvl = 30
net.ipv4.tcp_keepalive_probes = 5

Для клиентских сокетов Telemt задаёт время ожидания и интервал через timeouts.client_keepalive — по умолчанию 15 секунд. Для ME-сокетов на Linux используются 30 секунд простоя, интервал 10 секунд и 3 пробы. Это параметры TCP; ME RPC Ping/Pong, timeouts.client_ack и политики простоя при передаче данных выполняют отдельные проверки. Поэтому пример sysctl не определяет срок жизни каждого соединения Telemt. Проверяйте нужный сокет и настроенный прикладной таймаут.

2.4 Буферы TCP и управление перегрузкой

До и после изменения буферов сравните расход памяти, пропускную способность и задержки p95/p99 при одинаковой нагрузке. Максимум ниже задаёт верхнюю границу для подходящего сокета, а не постоянное выделение такого объёма каждому соединению. Telemt также явно устанавливает размеры буферов сокетов, поэтому одних системных значений по умолчанию недостаточно для оценки.

# Example buffer ceilings: size them for the available memory and workload.
net.core.rmem_default = 262144
net.core.wmem_default = 262144
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216

Проверьте доступные алгоритмы командой sysctl net.ipv4.tcp_available_congestion_control. Если BBR поддерживается, сравните его с действующим алгоритмом при характерных RTT, потерях и нагрузке. Это руководство не подтверждает универсального снижения задержки. Пример настройки BBR:

net.core.default_qdisc = fq
net.ipv4.tcp_congestion_control = bbr

3. Тюнинг Conntrack (Netfilter)

Правила межсетевого экрана с отслеживанием состояния и NAT могут использовать nf_conntrack. Проверьте, включён ли учёт на нужном маршруте, особенно при наличии правил NOTRACK. Переполнение таблицы может приводить к отбрасыванию новых пакетов. Проверьте текущие лимиты и использование:

sysctl net.netfilter.nf_conntrack_max
sysctl net.netfilter.nf_conntrack_count

Если измеренное заполнение приближается к пределу и памяти достаточно, оцените увеличение таблицы. Короткие таймауты могут удалить состояние NAT или межсетевого экрана, нужное долгоживущим соединениям; проверяйте их отдельно. Ниже приведены примеры значений:

# In /etc/sysctl.d/99-telemt-highload.conf
net.netfilter.nf_conntrack_max = 2097152
# Reduce timeout from default 5 days to 1 hour
net.netfilter.nf_conntrack_tcp_timeout_established = 3600
net.netfilter.nf_conntrack_tcp_timeout_time_wait = 12

Внимание: в зависимости от ОС, вам может потребоваться выполнить modprobe nf_conntrack перед установкой этих параметров.

При server.conntrack_control.inline_conntrack_control = true и режиме notrack или hybrid правилами, созданными Telemt, управляет один владелец. Он учитывает поколения конфигурации, применяет изменения IPv4 и IPv6 и отклоняет устаревшие или конфликтующие публикации. После ошибки повторяет согласование правил через 1, 2, 4, 8, 16 секунд, затем с паузой не более 30 секунд. При частичном сбое пытается восстановить прежние правила; если откат не удался, действующее состояние считается неизвестным до успешного согласования. telemt_conntrack_control_state{flag="rule_apply_ok"} показывает, применён ли требуемый набор. При включённой основной телеметрии попытки учитываются в telemt_conntrack_rule_reconcile_total{result="success"|"error"} и telemt_conntrack_rule_rollback_total{result="success"|"error"}. При завершении работы Telemt пытается удалить собственные правила в пределах 30 секунд. Изменение настроек conntrack требует перезапуска процесса.


4. Архитектура: развёртывание за HAProxy

4.1 L4-развёртывание native MTProxy и TLS-front

Для массового native MTProxy- или TLS-front-трафика L4 HAProxy может поглощать всплески соединений перед передачей TCP-потоков в Telemt. Следующий пример не подходит для WEB-listener.

Пример haproxy.cfg для высокой нагрузки

global
    # Disable detailed connection logs under load
    log stdout format raw local0 err
    maxconn 250000
    # Tune buffers and socket acceptance
    tune.bufsize 16384
    tune.maxaccept 64
defaults
    log     global
    mode    tcp
    option  clitcpka
    option  srvtcpka
    timeout connect 5s
    timeout client  1h
    timeout server  1h
    # Purge dead peers quickly
    timeout client-fin 10s
    timeout server-fin 10s
frontend proxy_in
    bind *:443
    maxconn 250000
    option tcp-smart-accept
    default_backend telemt_backend
backend telemt_backend
    option tcp-smart-connect
    # Preserve the client IP for Telemt through PROXY v2
    server telemt_core 10.10.10.1:443 maxconn 250000 send-proxy-v2 check inter 5s

Важно: включите PROXY protocol на явном listener Telemt и задайте в server.proxy_protocol_trusted_cidrs адреса непосредственного HAProxy. Проверьте адрес прослушивания и правила межсетевого экрана. Полная настройка listener показана в примере двойного перехода.

4.2 WEB-развёртывание

WEB-режиму нужны TLS-терминатор уровня L7 и приватный HTTP/1.1 listener Telemt без шифрования, с proxy_protocol = false. Предыдущий пример L4 с send-proxy-v2 для этого не подходит. Следуйте руководству WEB: сохраняйте Host, точный путь и строку запроса, а также заголовки WebSocket Upgrade. Передавайте один заново сформированный X-Forwarded-For только от явно доверенных CIDR терминатора. На публичном TLS-входе ALPN должен предлагать h2 для https-lanes и http/1.1 для WebSocket Upgrade.

Для WEB-listener задайте web_client_ip_source = "x_forwarded_for"; в web_trusted_proxy_cidrs укажите только адреса непосредственного HAProxy. Не доверяйте доступной клиентам подсети и не включайте PROXY protocol на этом listener.

Направляйте весь виртуальный хост в один процесс Telemt. При размещении в подкаталоге сохраняйте base_path без переписывания. Во время миграции направляйте в Telemt и старое, и новое поддеревья, пока ещё могут использоваться ранее выпущенные процессом токены. Если процессов несколько, закрепляйте за одним процессом весь виртуальный хост: страницу моста, создание и восстановление сессий, передачу в обе стороны, DELETE, диагностику и WebSocket Upgrade.

Например, этот фрагмент HAProxy направляет в Telemt только указанный хост и WEB-поддерево с завершающим слешем, сохраняя исходный адрес запроса:

frontend https_in
    mode http
    bind *:443 ssl crt /etc/haproxy/certs/proxy.pem alpn h2,http/1.1
    timeout client 65s
    acl telemt_web_host hdr(host) -i proxy.example.com proxy.example.com:443
    acl telemt_web_path path_beg /telegram/web/
    use_backend telemt_web if telemt_web_host telemt_web_path

backend telemt_web
    mode http
    retries 0
    timeout connect 5s
    timeout server 65s
    http-request set-header Host proxy.example.com
    http-request set-header X-Forwarded-For %[src]
    server telemt_web_1 127.0.0.1:18080 check

Обрабатывайте путь без завершающего слеша /telegram/web вне этого backend, чтобы не создавать перенаправление в аутентифицированное поддерево. Не добавляйте set-path, replace-path или путь к адресу сервера backend. Таймаут 65 секунд подходит для настроек по умолчанию. Таймауты клиента и сервера должны превышать web.timeouts.long_poll_secs и удвоенный действующий интервал проверки активности WebSocket.

При расчёте ёмкости учитывайте и публичные TLS-сокеты, и приватные соединения между терминатором и Telemt. Согласуйте лимиты файловых дескрипторов, исходящих соединений терминатора, web.limits.max_http_connections, обработчиков, параллельных долгих опросов и каналов WebSocket. Пул простаивающих keepalive-соединений не ограничивает число одновременных запросов.


5. Диагностика и мониторинг

  • Переполнение очередей входящих соединений: проверяйте ListenOverflows и ListenDrops в /proc/net/netstat либо через nstat.
  • Заполнение conntrack: проверяйте nf_conntrack_count, журнал ядра и telemt_conntrack_control_state{flag="rule_apply_ok"}; при включённой основной телеметрии — также указанные выше счётчики согласования и отката правил.
  • Файловые дескрипторы: cat /proc/sys/fs/file-nr и лимиты процесса Telemt в /proc/<pid>/limits.
  • Состояния соединений: ss -s; избегайте полного сканирования через netstat на нагруженном сервере.
  • Конкуренция за ограничитель скорости: при включённой основной телеметрии отслеживайте рост счётчика, например increase(telemt_rate_limiter_cas_retry_exhausted_total[5m]) > 0, с группировкой по scope, direction и operation. Исчерпание попыток резервирования возвращает нулевое разрешение на передачу и не считается срабатыванием настроенного лимита. Исчерпание попыток возврата сохраняет списанный объём. Метрика не считает разорванные соединения или ограничения, предусмотренные политикой.
  • WEB: сопоставляйте телеметрию терминатора и внешнюю проверку TLS с /v1/runtime/web/status, telemt_web_tcp_accept_total{result="accepted"|"error"} и остальными метриками telemt_web_*. Путь запроса и base_path намеренно не используются как метки метрик.