From 9393b5db967c6e092c627e9aee957f7fb82daac2 Mon Sep 17 00:00:00 2001 From: Alexey <247128645+axkurcom@users.noreply.github.com> Date: Tue, 10 Nov 2026 07:22:37 +0300 Subject: [PATCH] System Limits + Socket Logic in High-Load Docs --- docs/Advanced_settings/HIGH_LOAD.en.md | 45 +++++++++----- docs/Advanced_settings/HIGH_LOAD.ru.md | 81 ++++++++++++++++---------- 2 files changed, 80 insertions(+), 46 deletions(-) diff --git a/docs/Advanced_settings/HIGH_LOAD.en.md b/docs/Advanced_settings/HIGH_LOAD.en.md index 0459f2a..a3215ed 100644 --- a/docs/Advanced_settings/HIGH_LOAD.en.md +++ b/docs/Advanced_settings/HIGH_LOAD.en.md @@ -1,5 +1,10 @@ # High-Load Configuration & Tuning Guide -When deploying Telemt under high-traffic load (tens or hundreds of thousands of concurrent connections), the standard OS network stack limits can lead to packet drops, high CPU context switching, and connection failures. This guide covers Linux kernel tuning, hardware configuration, and architecture optimizations required to prepare the server for high-load scenarios. + +[English](HIGH_LOAD.en.md) · [Русский](HIGH_LOAD.ru.md) · [Deutsch](HIGH_LOAD.de.md) + +Use this guide when measured load exposes a specific resource limit. The values below are example capacities, not a tested guarantee of a particular connection count. Record the kernel version, active configuration, connection rate, memory use and latency before changing a setting. Save the previous values and change one group at a time so you can compare and revert it. + +For terminology, see the [shared glossary](../TERMINOLOGY.md). --- ## 1. System Limits & File Descriptors @@ -51,45 +56,57 @@ net.ipv4.tcp_max_syn_backlog = 65535 net.ipv4.tcp_syncookies = 1 ``` ### 2.2 Port Exhaustion & TIME-WAIT Sockets -High churn rates lead to ephemeral port exhaustion. Expand the range and rapidly recycle closed sockets: +First distinguish failed outbound connects caused by exhausted source ports from a large but harmless TIME-WAIT population. Inspect the failing error, destination tuples and `ss -s`. Expanding the ephemeral range can help when this is the limiting resource; account for ports reserved by other services: + ```ini net.ipv4.ip_local_port_range = 10000 65535 -net.ipv4.tcp_fin_timeout = 15 -net.ipv4.tcp_tw_reuse = 1 -net.ipv4.tcp_max_tw_buckets = 2000000 ``` -### 2.3 TCP Keepalive (Aggressive Dead Connection Culling) -By default, Linux keeps silent, dropped connections open for over 2 hours. This consumes memory at scale. The values below start probing after five idle minutes and abandon an unresponsive peer after the subsequent probe budget, roughly 7–8 minutes after it became idle: + +`tcp_tw_reuse` controls reuse of TIME-WAIT sockets when the protocol permits it. In the referenced kernel documentation, `0` disables it, `1` enables it globally and `2` limits it to loopback; inspect your running kernel's current value before changing it. `tcp_max_tw_buckets` limits retained TIME-WAIT entries, not the duration of TIME-WAIT. + +`tcp_fin_timeout` applies to orphaned connections in `FIN_WAIT_2`; reducing it does not shorten `TIME_WAIT`. Keep these mechanisms separate when investigating port exhaustion. See the [Linux IP sysctl reference](https://docs.kernel.org/networking/ip-sysctl.html). + +### 2.3 TCP Keepalive +These sysctls are defaults for sockets with TCP keepalive enabled that do not override the corresponding options. They start probing after five idle minutes and exhaust the subsequent probe budget after roughly 7–8 minutes of total inactivity: + ```ini net.ipv4.tcp_keepalive_time = 300 net.ipv4.tcp_keepalive_intvl = 30 net.ipv4.tcp_keepalive_probes = 5 ``` + +Telemt overrides keepalive time and interval on client sockets using `timeouts.client_keepalive` (default 15 seconds). On Linux its ME sockets use 30 seconds idle, a 10-second interval and 3 probes. These are TCP socket settings; ME RPC Ping/Pong, `timeouts.client_ack` and relay idle policies impose separate checks. The sysctl example therefore does not define the lifetime of every Telemt connection. Verify the relevant socket and configured application timeout. + ### 2.4 TCP Buffers & Congestion Control -Optimize memory usage per socket and switch to BBR (Bottleneck Bandwidth and Round-trip propagation time) to improve latency on lossy networks: +Measure memory pressure, throughput and p95/p99 latency with the same workload before and after changing buffers. The maximum below is a ceiling for an eligible socket, not a fixed allocation for every connection. Telemt also sets socket buffer sizes explicitly, so kernel defaults alone do not describe its effective buffers. + ```ini -# Core buffer sizes +# Example buffer ceilings: size them for the available memory and workload. net.core.rmem_default = 262144 net.core.wmem_default = 262144 net.core.rmem_max = 16777216 net.core.wmem_max = 16777216 -# TCP-specific buffers (min, default, max) net.ipv4.tcp_rmem = 4096 87380 16777216 net.ipv4.tcp_wmem = 4096 65536 16777216 -# Enable BBR +``` + +Check available congestion-control algorithms with `sysctl net.ipv4.tcp_available_congestion_control`. If BBR is supported, evaluate it against the current algorithm under representative RTT, loss and load; this guide does not establish that it always improves latency. An example BBR configuration is: + +```ini net.core.default_qdisc = fq net.ipv4.tcp_congestion_control = bbr ``` + --- ## 3. Conntrack (Netfilter) Tuning -If your server uses `iptables`, `ufw`, or `firewalld`, the Linux kernel tracks every connection state in a table (`nf_conntrack`). When this table fills up, Linux drops new packets. +Stateful firewall and NAT rules can use `nf_conntrack` to track connections. Check whether tracking is active on the relevant route, especially with NOTRACK rules. Exhausting the conntrack table can cause new packets to be dropped. Check your current limit and usage: ```bash sysctl net.netfilter.nf_conntrack_max sysctl net.netfilter.nf_conntrack_count ``` -If it gets close to the limit, tune it up, and reduce the time established connections linger in the tracker: +If measured occupancy approaches the limit and memory permits, evaluate a larger table. Shorter tracking timeouts can remove idle NAT/firewall state needed by long-lived connections, so validate them separately. These are example values, not a universal profile: ```ini # In /etc/sysctl.d/99-telemt-highload.conf net.netfilter.nf_conntrack_max = 2097152 @@ -138,7 +155,7 @@ backend telemt_backend # Preserve the client IP for Telemt through PROXY v2 server telemt_core 10.10.10.1:443 maxconn 250000 send-proxy-v2 check inter 5s ``` -**Important**: Telemt must be configured to process the `PROXY` protocol on port `443` for this chain to work and preserve client IPs. +**Important**: configure the explicit Telemt listener for PROXY protocol and set `server.proxy_protocol_trusted_cidrs` to the immediate HAProxy addresses. Check its bind address and host firewall. The [two-hop example](../Setup_examples/VPS_DOUBLE_HOP.en.md#step-2-installing-telemt-on-server-b-conditionally-netherlands) shows the complete listener setup. ### 4.2 WEB deployment diff --git a/docs/Advanced_settings/HIGH_LOAD.ru.md b/docs/Advanced_settings/HIGH_LOAD.ru.md index f5af8af..3cb9c42 100644 --- a/docs/Advanced_settings/HIGH_LOAD.ru.md +++ b/docs/Advanced_settings/HIGH_LOAD.ru.md @@ -1,12 +1,17 @@ -# Руководство по High-Load конфигурации и тюнингу -При развертывании Telemt под высокой нагрузкой (десятки и сотни тысяч одновременных подключений), стандартные ограничения сетевого стека ОС могут приводить к потерям пакетов, переключениям контекста CPU и отказам в соединениях. В данном руководстве описана настройка ядра Linux, системных лимитов и аппаратной конфигурации для работы в подобных сценариях. +# Настройка Telemt для высокой нагрузки + +[English](HIGH_LOAD.en.md) · [Русский](HIGH_LOAD.ru.md) · [Deutsch](HIGH_LOAD.de.md) + +Используйте это руководство, когда измерения показывают конкретное ограничение ресурсов. Значения ниже — примеры настройки, а не подтверждённая гарантия определённого числа соединений. Перед изменениями запишите версию ядра, действующую конфигурацию, частоту подключений, расход памяти и задержку. Сохраните прежние значения и меняйте одну группу настроек за раз, чтобы сравнить результат и при необходимости откатить изменение. + +Термины объяснены в [общем словаре](../TERMINOLOGY.md). --- ## 1. Системные лимиты и файловые дескрипторы -Также учитывайте [`server.max_connections`](../Config_params/CONFIG_PARAMS.ru.md#max_connections) при расчёте клиентской нагрузки, в том числе через ME. `0` снимает этот общий клиентский лимит и не ограничивает ME 128 клиентами. Ограничения дескрипторов ОС, пользовательские лимиты, очереди, бюджеты памяти и политики writer-ов продолжают действовать. Для изменения параметра нужен перезапуск процесса. +Также учитывайте [`server.max_connections`](../Config_params/CONFIG_PARAMS.ru.md#max_connections) при расчёте клиентской нагрузки, в том числе через ME. `0` снимает этот общий клиентский лимит и не ограничивает ME 128 клиентами. Ограничения дескрипторов ОС, пользовательские лимиты, очереди, бюджеты памяти и политики ME Writer продолжают действовать. Для изменения параметра нужен перезапуск процесса. -Каждое TCP-сосоединение требует файлового дескриптора. При 100 тысячах соединений стандартные лимиты Linux (зачастую 1024 или 65535) будут исчерпаны немедленно. +Каждое TCP-соединение требует файлового дескриптора. При 100 тысячах соединений стандартные лимиты Linux (зачастую 1024 или 65535) будут исчерпаны немедленно. ### Общесистемные лимиты (`sysctl`) Увеличьте глобальный лимит файловых дескрипторов в `/etc/sysctl.conf`: ```ini @@ -51,45 +56,57 @@ net.ipv4.tcp_max_syn_backlog = 65535 net.ipv4.tcp_syncookies = 1 ``` ### 2.2 Исчерпание портов и TIME-WAIT сокеты -Высокая текучесть приводит к нехватке временных (ephemeral) портов. Расширьте диапазон портов и позвольте ядру быстро переиспользовать закрытые сокеты: +Сначала отличите ошибки исходящих подключений из-за нехватки портов от большого, но безвредного числа записей TIME-WAIT. Проверьте ошибку подключения, адреса и порты назначения и вывод `ss -s`. Если ограничение действительно связано с исходными портами, диапазон можно расширить с учётом портов, зарезервированных другими службами: + ```ini net.ipv4.ip_local_port_range = 10000 65535 -net.ipv4.tcp_fin_timeout = 15 -net.ipv4.tcp_tw_reuse = 1 -net.ipv4.tcp_max_tw_buckets = 2000000 ``` -### 2.3 TCP Keepalive (Агрессивная очистка мертвых соединений) -По умолчанию Linux держит "оборванные" TCP-сессии более 2 часов. Значения ниже начинают probes после пяти минут простоя и закрывают не отвечающий peer после последующего probe budget — примерно через 7–8 минут общего простоя: + +`tcp_tw_reuse` управляет повторным использованием TIME-WAIT-сокетов, когда это допускает протокол. В указанной документации ядра `0` отключает повторное использование, `1` включает его глобально, `2` — только для loopback. Перед изменением проверьте значение в работающем ядре. `tcp_max_tw_buckets` ограничивает число сохраняемых записей, а не продолжительность TIME-WAIT. + +`tcp_fin_timeout` действует на осиротевшие соединения в `FIN_WAIT_2`: его уменьшение не сокращает `TIME_WAIT`. При диагностике исчерпания портов различайте эти механизмы. См. [справочник IP sysctl ядра Linux](https://docs.kernel.org/networking/ip-sysctl.html). + +### 2.3 TCP Keepalive +Эти sysctl задают значения по умолчанию для сокетов с включённым TCP keepalive, если приложение не переопределило соответствующие параметры. Проверки начинаются после пяти минут простоя; с учётом последующих проб общий срок составляет примерно 7–8 минут: + ```ini net.ipv4.tcp_keepalive_time = 300 net.ipv4.tcp_keepalive_intvl = 30 net.ipv4.tcp_keepalive_probes = 5 ``` -### 2.4 Буферы TCP и управление перегрузками (Congestion Control) -Оптимизируйте использование памяти на сокет и переключитесь на алгоритм BBR (Bottleneck Bandwidth and Round-trip propagation time) для улучшения задержки на плохих сетях: + +Для клиентских сокетов Telemt задаёт время ожидания и интервал через `timeouts.client_keepalive` — по умолчанию 15 секунд. Для ME-сокетов на Linux используются 30 секунд простоя, интервал 10 секунд и 3 пробы. Это параметры TCP; ME RPC Ping/Pong, `timeouts.client_ack` и политики простоя при передаче данных выполняют отдельные проверки. Поэтому пример sysctl не определяет срок жизни каждого соединения Telemt. Проверяйте нужный сокет и настроенный прикладной таймаут. + +### 2.4 Буферы TCP и управление перегрузкой +До и после изменения буферов сравните расход памяти, пропускную способность и задержки p95/p99 при одинаковой нагрузке. Максимум ниже задаёт верхнюю границу для подходящего сокета, а не постоянное выделение такого объёма каждому соединению. Telemt также явно устанавливает размеры буферов сокетов, поэтому одних системных значений по умолчанию недостаточно для оценки. + ```ini -# Core buffer sizes +# Example buffer ceilings: size them for the available memory and workload. net.core.rmem_default = 262144 net.core.wmem_default = 262144 net.core.rmem_max = 16777216 net.core.wmem_max = 16777216 -# TCP-specific buffers (min, default, max) net.ipv4.tcp_rmem = 4096 87380 16777216 net.ipv4.tcp_wmem = 4096 65536 16777216 -# Enable BBR +``` + +Проверьте доступные алгоритмы командой `sysctl net.ipv4.tcp_available_congestion_control`. Если BBR поддерживается, сравните его с действующим алгоритмом при характерных RTT, потерях и нагрузке. Это руководство не подтверждает универсального снижения задержки. Пример настройки BBR: + +```ini net.core.default_qdisc = fq net.ipv4.tcp_congestion_control = bbr ``` + --- ## 3. Тюнинг Conntrack (Netfilter) -Если ваш сервер использует `iptables`, `ufw` или `firewalld`, ядро вынуждено отслеживать каждое соединение в таблице состояний (`nf_conntrack`). Когда эта таблица переполняется, Linux отбрасывает новые пакеты без уведомления приложения. +Правила межсетевого экрана с отслеживанием состояния и NAT могут использовать `nf_conntrack`. Проверьте, включён ли учёт на нужном маршруте, особенно при наличии правил NOTRACK. Переполнение таблицы может приводить к отбрасыванию новых пакетов. Проверьте текущие лимиты и использование: ```bash sysctl net.netfilter.nf_conntrack_max sysctl net.netfilter.nf_conntrack_count ``` -Если вы близки к пределу, увеличьте таблицу и заставьте ядро быстрее удалять установленные соединения. Добавьте в `/etc/sysctl.d/99-telemt-highload.conf`: +Если измеренное заполнение приближается к пределу и памяти достаточно, оцените увеличение таблицы. Короткие таймауты могут удалить состояние NAT или межсетевого экрана, нужное долгоживущим соединениям; проверяйте их отдельно. Ниже приведены примеры значений: ```ini # In /etc/sysctl.d/99-telemt-highload.conf net.netfilter.nf_conntrack_max = 2097152 @@ -99,16 +116,16 @@ net.netfilter.nf_conntrack_tcp_timeout_time_wait = 12 ``` *Внимание: в зависимости от ОС, вам может потребоваться выполнить `modprobe nf_conntrack` перед установкой этих параметров.* -Когда `server.conntrack_control.inline_conntrack_control = true` и `[server.conntrack_control]` использует `notrack` или `hybrid`, один generation-fenced authority владеет только правилами conntrack control, созданными Telemt. Он применяет изменения IPv4 и IPv6, игнорирует устаревшие или конфликтующие публикации и повторяет неудачный reconcile через 1, 2, 4, 8, 16 и далее не более чем 30 секунд. Частичный многошаговый сбой запускает best-effort восстановление; неудачный rollback оставляет applied firewall state неизвестным до следующего успешного reconcile. `telemt_conntrack_control_state{flag="rule_apply_ok"}` показывает, действует ли требуемый набор правил. При включённой core telemetry попытки используют `telemt_conntrack_rule_reconcile_total{result="success"|"error"}` и `telemt_conntrack_rule_rollback_total{result="success"|"error"}`. При shutdown выполняется ограниченный 30 секундами best-effort cleanup собственных правил. Настройки conntrack control требуют перезапуска. +При `server.conntrack_control.inline_conntrack_control = true` и режиме `notrack` или `hybrid` правилами, созданными Telemt, управляет один владелец. Он учитывает поколения конфигурации, применяет изменения IPv4 и IPv6 и отклоняет устаревшие или конфликтующие публикации. После ошибки повторяет согласование правил через 1, 2, 4, 8, 16 секунд, затем с паузой не более 30 секунд. При частичном сбое пытается восстановить прежние правила; если откат не удался, действующее состояние считается неизвестным до успешного согласования. `telemt_conntrack_control_state{flag="rule_apply_ok"}` показывает, применён ли требуемый набор. При включённой основной телеметрии попытки учитываются в `telemt_conntrack_rule_reconcile_total{result="success"|"error"}` и `telemt_conntrack_rule_rollback_total{result="success"|"error"}`. При завершении работы Telemt пытается удалить собственные правила в пределах 30 секунд. Изменение настроек conntrack требует перезапуска процесса. --- ## 4. Архитектура: развёртывание за HAProxy ### 4.1 L4-развёртывание native MTProxy и TLS-front -Для массового native MTProxy- или TLS-front-трафика L4 HAProxy может поглощать всплески соединений перед передачей TCP streams в Telemt. Следующий пример **не подходит для WEB-listener**. +Для массового native MTProxy- или TLS-front-трафика L4 HAProxy может поглощать всплески соединений перед передачей TCP-потоков в Telemt. Следующий пример **не подходит для WEB-listener**. -#### Оптимизация `haproxy.cfg` для High-Load +#### Пример `haproxy.cfg` для высокой нагрузки ```haproxy global # Disable detailed connection logs under load @@ -138,17 +155,17 @@ backend telemt_backend # Preserve the client IP for Telemt through PROXY v2 server telemt_core 10.10.10.1:443 maxconn 250000 send-proxy-v2 check inter 5s ``` -**Важно**: Telemt должен быть настроен на обработку протокола `PROXY` на порту `443`, чтобы получать оригинальные IP-адреса клиентов. +**Важно**: включите PROXY protocol на явном listener Telemt и задайте в `server.proxy_protocol_trusted_cidrs` адреса непосредственного HAProxy. Проверьте адрес прослушивания и правила межсетевого экрана. Полная настройка listener показана в [примере двойного перехода](../Setup_examples/VPS_DOUBLE_HOP.ru.md#шаг-2-установка-telemt-на-сервере-b-условно-нидерланды). ### 4.2 WEB-развёртывание -WEB-режиму требуется L7 TLS-терминатор и приватный plain HTTP/1.1 listener Telemt с `proxy_protocol = false`; не используйте для него L4 backend с `send-proxy-v2` из предыдущего примера. Следуйте полному [руководству по WEB-прокси](../WEB/WEB_PROXY.ru.md), сохраняйте `Host`, точные path и query, WebSocket Upgrade headers и передавайте один перезаписанный `X-Forwarded-For` только от явно доверенных CIDR терминатора. Public ALPN должен предлагать `h2` для `https-lanes` и `http/1.1` для WebSocket Upgrade. +WEB-режиму нужны TLS-терминатор уровня L7 и приватный HTTP/1.1 listener Telemt без шифрования, с `proxy_protocol = false`. Предыдущий пример L4 с `send-proxy-v2` для этого не подходит. Следуйте [руководству WEB](../WEB/WEB_PROXY.ru.md): сохраняйте `Host`, точный путь и строку запроса, а также заголовки WebSocket Upgrade. Передавайте один заново сформированный `X-Forwarded-For` только от явно доверенных CIDR терминатора. На публичном TLS-входе ALPN должен предлагать `h2` для `https-lanes` и `http/1.1` для WebSocket Upgrade. -Для WEB-listener задайте `web_client_ip_source = "x_forwarded_for"` и укажите в `web_trusted_proxy_cidrs` только адреса непосредственного HAProxy. Не доверяйте доступной клиентам подсети и не включайте PROXY protocol на этом listener. +Для WEB-listener задайте `web_client_ip_source = "x_forwarded_for"`; в `web_trusted_proxy_cidrs` укажите только адреса непосредственного HAProxy. Не доверяйте доступной клиентам подсети и не включайте PROXY protocol на этом listener. -Направляйте весь vhost в один процесс Telemt. При совместном размещении по prefix сохраняйте настроенный `base_path` без rewrite; во время миграции направляйте в Telemt старое и новое поддеревья, пока ранее выпущенные процессом credentials ещё могут использоваться. Multi-process backend требует affinity всего vhost для bridge root, создания и восстановления session, uplink, downlink, DELETE, diagnostics и WebSocket Upgrade. +Направляйте весь виртуальный хост в один процесс Telemt. При размещении в подкаталоге сохраняйте `base_path` без переписывания. Во время миграции направляйте в Telemt и старое, и новое поддеревья, пока ещё могут использоваться ранее выпущенные процессом токены. Если процессов несколько, закрепляйте за одним процессом весь виртуальный хост: страницу моста, создание и восстановление сессий, передачу в обе стороны, DELETE, диагностику и WebSocket Upgrade. -Например, следующий фрагмент HAProxy направляет только точный host и WEB-поддерево с завершающим слешем, не изменяя request target: +Например, этот фрагмент HAProxy направляет в Telemt только указанный хост и WEB-поддерево с завершающим слешем, сохраняя исходный адрес запроса: ```haproxy frontend https_in @@ -169,16 +186,16 @@ backend telemt_web server telemt_web_1 127.0.0.1:18080 check ``` -Обрабатывайте путь без завершающего слеша `/telegram/web` вне этого backend, чтобы frontend не создавал redirect alias в аутентифицированное поддерево. Не добавляйте `set-path`, `replace-path` или path-компонент к адресу backend server. Значения 65 секунд — пример для defaults; client и server timeouts должны быть больше `web.timeouts.long_poll_secs` и удвоенного effective WebSocket liveness interval. +Обрабатывайте путь без завершающего слеша `/telegram/web` вне этого backend, чтобы не создавать перенаправление в аутентифицированное поддерево. Не добавляйте `set-path`, `replace-path` или путь к адресу сервера backend. Таймаут 65 секунд подходит для настроек по умолчанию. Таймауты клиента и сервера должны превышать `web.timeouts.long_poll_secs` и удвоенный действующий интервал проверки активности WebSocket. -При расчёте capacity учитывайте одновременно публичные TLS sockets и приватные sockets между терминатором и Telemt. Совместно рассчитывайте file descriptors, upstream capacity терминатора, `web.limits.max_http_connections`, handler capacity, параллельные long polls и WebSocket lanes; upstream keepalive pool не является лимитом concurrency. +При расчёте ёмкости учитывайте и публичные TLS-сокеты, и приватные соединения между терминатором и Telemt. Согласуйте лимиты файловых дескрипторов, исходящих соединений терминатора, `web.limits.max_http_connections`, обработчиков, параллельных долгих опросов и каналов WebSocket. Пул простаивающих keepalive-соединений не ограничивает число одновременных запросов. --- ## 5. Диагностика и мониторинг -- **Переполнение listen queues**: проверяйте `ListenOverflows` и `ListenDrops` в `/proc/net/netstat` либо через `nstat`. -- **Conntrack pressure**: проверяйте `nf_conntrack_count`, kernel logs и `telemt_conntrack_control_state{flag="rule_apply_ok"}`; при включённой core telemetry также проверяйте счётчики reconcile/rollback выше. -- **File descriptors**: `cat /proc/sys/fs/file-nr` и лимиты процесса Telemt в `/proc//limits`. +- **Переполнение очередей входящих соединений**: проверяйте `ListenOverflows` и `ListenDrops` в `/proc/net/netstat` либо через `nstat`. +- **Заполнение conntrack**: проверяйте `nf_conntrack_count`, журнал ядра и `telemt_conntrack_control_state{flag="rule_apply_ok"}`; при включённой основной телеметрии — также указанные выше счётчики согласования и отката правил. +- **Файловые дескрипторы**: `cat /proc/sys/fs/file-nr` и лимиты процесса Telemt в `/proc//limits`. - **Состояния соединений**: `ss -s`; избегайте полного сканирования через `netstat` на нагруженном сервере. -- **Rate limiter contention**: при включённой core telemetry настройте alert на положительный прирост или rate counter, например `increase(telemt_rate_limiter_cas_retry_exhausted_total[5m]) > 0`, с группировкой по `scope`, `direction` и `operation`. Reserve exhaustion возвращает нулевой grant без классификации как настроенный throttle; refund exhaustion сохраняет списание. Эта метрика не является ни счётчиком dropped connections, ни счётчиком policy throttling. -- **WEB**: объединяйте telemetry терминатора и внешний TLS probe с `/v1/runtime/web/status`, `telemt_web_tcp_accept_total{result="accepted"|"error"}` и остальными `telemt_web_*` metrics. Request path и `base_path` намеренно не используются как metric labels. +- **Конкуренция за ограничитель скорости**: при включённой основной телеметрии отслеживайте рост счётчика, например `increase(telemt_rate_limiter_cas_retry_exhausted_total[5m]) > 0`, с группировкой по `scope`, `direction` и `operation`. Исчерпание попыток резервирования возвращает нулевое разрешение на передачу и не считается срабатыванием настроенного лимита. Исчерпание попыток возврата сохраняет списанный объём. Метрика не считает разорванные соединения или ограничения, предусмотренные политикой. +- **WEB**: сопоставляйте телеметрию терминатора и внешнюю проверку TLS с `/v1/runtime/web/status`, `telemt_web_tcp_accept_total{result="accepted"|"error"}` и остальными метриками `telemt_web_*`. Путь запроса и `base_path` намеренно не используются как метки метрик.