montana/Node/External-Audit/INCIDENT-RESPONSE.md

# Incident response — VPN-сеть Montana

Версия: **2026-05-18**

## Severity матрица

| Sev | Симптом | Reaction time |
|---|---|---|
| **S1** | ВСЕ узлы в pool недоступны (нет VPN ни у кого) | < 15 минут |
| **S2** | Один из узлов недоступен > 5 минут после автоматического prune не отрабатывает | < 30 минут |
| **S3** | Утечка любого секрета подтверждена | < 1 час, по ротации |
| **S4** | DPI начал блокировать наш Reality в одной стране | < 4 часа, переключение SNI |
| **S5** | Падение orchestrator | < 1 час (multi-A продолжает работать) |

## Playbook

### S1: вся сеть лежит

```
# 1. Проверить multi-A:
dig @1.1.1.1 cdn.montana.quest A
# если пусто или мало → CF API упал, либо watchdog ошибся и удалил всё

# 2. Прямой probe каждого узла:
for n in 91.132.142.42 89.19.208.158 86.104.72.12; do
  echo "$n: $(timeout 4 openssl s_client -connect $n:443 -servername www.googletagmanager.com -tls1_3 </dev/null 2>&1 | grep -c 'Verification: OK')"
done

# 3. Если узлы живы, а pool пуст — force re-register:
TOKEN=$(security find-generic-password -s montana-orchestrator-admin -a token -w)
for spec in "91.132.142.42|helsinki|FI" "89.19.208.158|frankfurt|DE" "86.104.72.12|newyork|US"; do
  ip=$(echo $spec|cut -d'|' -f1); alias=$(echo $spec|cut -d'|' -f2); c=$(echo $spec|cut -d'|' -f3)
  curl -sX POST -H 'Content-Type: application/json' \
    https://montana.quest/vpn/node/register \
    --data "{\"ip\":\"$ip\",\"alias\":\"$alias\",\"country\":\"$c\",\"hosting\":\"x\",\"label\":\"$alias\",\"coords\":[0,0],\"secret\":\"$TOKEN\"}"
done

# 4. Если узлы тоже мертвы — каскад инфраструктурного фейла:
#    a) Проверить статус хостинга (Timeweb dashboard / THE.Hosting)
#    b) Если хостинг ОК — SSH к узлу, проверить xray
ssh montana-finland 'systemctl status xray && tail -50 /var/log/xray/error.log'
```

### S2: один узел мёртв > 5 мин, не выпал

```
# 1. Проверить watchdog работает:
ssh montana-moscow 'cat /var/lib/montana-orchestrator/pool-health.json | jq'

# 2. Проверить probe от Moscow к узлу:
ssh montana-moscow 'python3 -c "import ssl,socket;
ctx=ssl.create_default_context()
s=socket.create_connection((\"<dead-ip>\",443),timeout=5)
ws=ctx.wrap_socket(s,server_hostname=\"www.googletagmanager.com\")
print(ws.getpeercert())"'

# Если timeout — но узел живой → проверить ufw/CrowdSec на узле
ssh <dead-node> 'cscli decisions list 2>/dev/null | grep 176.124.208.93'

# 3. Если watchdog не работает — restart orchestrator:
ssh montana-moscow 'systemctl restart montana-orchestrator'

# 4. Ручное удаление IP:
TOKEN=$(security find-generic-password -s montana-orchestrator-admin -a token -w)
curl -X POST -H 'Content-Type: application/json' \
  https://montana.quest/vpn/node/deregister \
  --data "{\"ip\":\"<dead-ip>\",\"secret\":\"$TOKEN\"}"
```

### S3: утечка секрета

#### S3a: утечка Reality privateKey

1. Ввести **ускоренную ротацию** (см. OPERATIONS.md → "Ротация ключей Reality").
2. Уведомить пользователей через канал коммуникации (Telegram, sitemontana.quest баннер).
3. Заблокировать старый pbk (xray на узле не примет старый клиент после смены privateKey).

#### S3b: утечка admin TOKEN

```
# 1. Сгенерировать новый:
NEW=$(openssl rand -hex 32)
# 2. Положить на Moscow:
ssh montana-moscow "install -m 600 /dev/stdin /etc/montana/orchestrator-admin-token <<<'$NEW'"
ssh montana-moscow 'systemctl restart montana-orchestrator'
# 3. Обновить Keychain:
security add-generic-password -s montana-orchestrator-admin -a token -w "$NEW" -U
```

#### S3c: утечка CF API token

1. Сразу revoke в Cloudflare dashboard.
2. Создать новый scoped token (Zone montana.quest, Permissions: Zone.DNS.Edit).
3. Обновить в Keychain `cloudflare-api-token` и в `/etc/montana/cf-api-token` на Moscow.
4. Restart orchestrator.

### S4: DPI блокировка в стране

```
# Временное решение: сменить SNI в realitySettings на другой популярный домен.
# Все узлы должны иметь тот же SNI (привязан к pbk).

for n in montana-finland montana-frankfurt montana-us; do
  ssh $n "python3 -c \"
import json
p='/usr/local/etc/xray/config.json'
c=json.load(open(p))
ib=c['inbounds'][0]
ib['streamSettings']['realitySettings']['serverNames']=['www.gstatic.com']
ib['streamSettings']['realitySettings']['dest']='www.gstatic.com:443'
json.dump(c,open(p,'w'),indent=2)\" && systemctl restart xray"
done

# Обновить /vpn/sub: в URL sni=www.gstatic.com
ssh montana-moscow 'sed -i "s/www.googletagmanager.com/www.gstatic.com/g" <path-to-vpn-sub-source>'
```

### S5: orchestrator упал, не поднимается

```
ssh montana-moscow 'journalctl -u montana-orchestrator -n 200 --no-pager'
# Типичные причины:
# - синтакс ошибка в server.py → откатить из *.bak
ssh montana-moscow 'ls /opt/montana-orchestrator/server.py.bak-*'
# - /etc/montana/cf-api-token нечитаем → chmod 600 root:root
# - Flask недоступен → apt install python3-flask

# Существующие подключения клиентов НЕ затронуты до DNS TTL expire (120s).
# Если orch будет down > 30 минут — manual prune через CF API напрямую.
```

## Эскалация

| Уровень | Кто | Канал |
|---|---|---|
| L1 | Архитектор сети | efir369999@gmail.com |
| L2 | Cloudflare support (DNS issues) | https://dash.cloudflare.com → support |
| L3 | Хостинг провайдер | Timeweb / THE.Hosting dashboard |

## После инцидента

1. Записать в `OPEN-RISKS.md` если выявлен новый риск.
2. Если фикс уровня кода — соответствующее изменение в `Montana/Node/join.sh` или orchestrator.
3. Записать дату и причину в `AUDIT-READINESS.md → История проверки`.