Skip to content

Commit dfba281

Browse files
committed
Align docs around compare_policies as official path
1 parent 03624c7 commit dfba281

2 files changed

Lines changed: 6 additions & 13 deletions

File tree

docs/ope_methods_math_guide_ru.md

Lines changed: 4 additions & 3 deletions
Original file line numberDiff line numberDiff line change
@@ -7,7 +7,7 @@
77
- `IPS/SNIPS/DM/DR/SNDR/Switch-DR/Replay` — это **оценщики значения политики** (point estimators).
88
- `Bootstrap CI` — это **не отдельный OPE-оценщик**, а процедура статистического вывода (inference), которая строит доверительный интервал вокруг выбранного оценщика.
99

10-
Иными словами, CI-слой в API (`OPEEvaluator` / `estimate_value_with_ci`) — это обёртка «оценщик + интервал», а не «ещё один метод оценки политики» наравне с IPS/DR.
10+
Иными словами, CI-слой в API (`compare_policies(...)` / `estimate_value_with_ci`) — это обёртка «оценщик + интервал», а не «ещё один метод оценки политики» наравне с IPS/DR.
1111

1212
---
1313

@@ -269,7 +269,8 @@ CI = V̂ ± z_(1-α/2) · SÊ
269269

270270
Сейчас в репозитории реализовано:
271271

272-
- `OPEEvaluator` — единый объект для вызова эстиматоров по имени с CI по умолчанию (`evaluate("dr")`, `evaluate("ips")`, ...).
272+
- `compare_policies(...)` — официальный high-level orchestration path для сравнения `V_A`, `V_B`, `Delta` с CI/diagnostics/trust metadata.
273+
- `OPEEvaluator` — convenience wrapper для запуска оценщиков по имени с CI по умолчанию (`evaluate("dr")`, `evaluate("ips")`, ...).
273274
- `estimate_value_with_ci` — единый CI-слой для встроенных OPE-оценщиков (`ips/snips/dm/dr/sndr/switch_dr/...`).
274275
- `estimator_with_bootstrap_ci` — низкоуровневая универсальная обёртка «любой estimator_fn + bootstrap CI».
275276
- `cluster_bootstrap_ci`**percentile bootstrap CI** (по строкам или кластерам).
@@ -286,4 +287,4 @@ CI = V̂ ± z_(1-α/2) · SÊ
286287
Практический вывод: текущая реализация покрывает рабочий baseline (percentile cluster bootstrap), но до «полного набора индустриальных/академических CI-подходов» ещё есть пространство для расширения.
287288

288289

289-
Рекомендация по API: держать один high-level интерфейс (`OPEEvaluator`) и единый CI-слой (`estimate_value_with_ci`), без дублирующих DR-specific shortcut-функций.
290+
Рекомендация по API: использовать `compare_policies(...)` как основной high-level интерфейс, `OPEEvaluator` — как convenience wrapper, и единый CI-слой (`estimate_value_with_ci`) без дублирующих DR-specific shortcut-функций.

examples/tutorial.ipynb

Lines changed: 2 additions & 10 deletions
Original file line numberDiff line numberDiff line change
@@ -5,15 +5,7 @@
55
"id": "0ec5d9fc",
66
"metadata": {},
77
"source": [
8-
"# Policyscope tutorial: как сравнить policy A vs policy B офлайн\n",
9-
"\n",
10-
"Практический вопрос: **у нас есть логи behavior policy A и кандидат policy B — как сравнить их офлайн, что говорят разные OPE-методы, когда им доверять и как читать CI/diagnostics?**\n",
11-
"\n",
12-
"В этом notebook показан текущий официальный workflow Policyscope:\n",
13-
"- `BanditSchema` + `LoggedBanditDataset`,\n",
14-
"- `compare_policies(...)` как основной orchestration path,\n",
15-
"- единая сравнительная таблица методов с oracle и diagnostics,\n",
16-
"- короткие правила интерпретации валидности и trust.\n"
8+
"# Policyscope tutorial: как сравнить policy A vs policy B офлайн\n\nПрактический вопрос: **у нас есть логи behavior policy A и кандидат policy B — как сравнить их офлайн, что говорят разные OPE-методы, когда им доверять и как читать CI/diagnostics?**\n\nВ этом notebook показан текущий официальный workflow Policyscope:\n- `BanditSchema` + `LoggedBanditDataset`,\n- `compare_policies(...)` как основной orchestration path,\n- единая сравнительная таблица методов с oracle и diagnostics,\n- короткие правила интерпретации валидности и trust.\n\n\n> Для первого запуска и обучения предпочтительно использовать:\n> - `examples/quickstart_own_data_ru.ipynb` (основной путь на своих данных),\n> - `examples/compare_estimators_vs_oracle_ru.ipynb` (поведение методов vs oracle на synthetic).\n"
179
]
1810
},
1911
{
@@ -903,4 +895,4 @@
903895
},
904896
"nbformat": 4,
905897
"nbformat_minor": 5
906-
}
898+
}

0 commit comments

Comments
 (0)