You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
Copy file name to clipboardExpand all lines: docs/ope_methods_math_guide_ru.md
+4-3Lines changed: 4 additions & 3 deletions
Display the source diff
Display the rich diff
Original file line number
Diff line number
Diff line change
@@ -7,7 +7,7 @@
7
7
-`IPS/SNIPS/DM/DR/SNDR/Switch-DR/Replay` — это **оценщики значения политики** (point estimators).
8
8
-`Bootstrap CI` — это **не отдельный OPE-оценщик**, а процедура статистического вывода (inference), которая строит доверительный интервал вокруг выбранного оценщика.
9
9
10
-
Иными словами, CI-слой в API (`OPEEvaluator` / `estimate_value_with_ci`) — это обёртка «оценщик + интервал», а не «ещё один метод оценки политики» наравне с IPS/DR.
10
+
Иными словами, CI-слой в API (`compare_policies(...)` / `estimate_value_with_ci`) — это обёртка «оценщик + интервал», а не «ещё один метод оценки политики» наравне с IPS/DR.
11
11
12
12
---
13
13
@@ -269,7 +269,8 @@ CI = V̂ ± z_(1-α/2) · SÊ
269
269
270
270
Сейчас в репозитории реализовано:
271
271
272
-
-`OPEEvaluator` — единый объект для вызова эстиматоров по имени с CI по умолчанию (`evaluate("dr")`, `evaluate("ips")`, ...).
272
+
-`compare_policies(...)` — официальный high-level orchestration path для сравнения `V_A`, `V_B`, `Delta` с CI/diagnostics/trust metadata.
273
+
-`OPEEvaluator` — convenience wrapper для запуска оценщиков по имени с CI по умолчанию (`evaluate("dr")`, `evaluate("ips")`, ...).
273
274
-`estimate_value_with_ci` — единый CI-слой для встроенных OPE-оценщиков (`ips/snips/dm/dr/sndr/switch_dr/...`).
-`cluster_bootstrap_ci` — **percentile bootstrap CI** (по строкам или кластерам).
@@ -286,4 +287,4 @@ CI = V̂ ± z_(1-α/2) · SÊ
286
287
Практический вывод: текущая реализация покрывает рабочий baseline (percentile cluster bootstrap), но до «полного набора индустриальных/академических CI-подходов» ещё есть пространство для расширения.
287
288
288
289
289
-
Рекомендация по API: держать один high-level интерфейс (`OPEEvaluator`) и единый CI-слой (`estimate_value_with_ci`), без дублирующих DR-specific shortcut-функций.
290
+
Рекомендация по API: использовать `compare_policies(...)` как основной high-level интерфейс, `OPEEvaluator` — как convenience wrapper, и единый CI-слой (`estimate_value_with_ci`) без дублирующих DR-specific shortcut-функций.
Copy file name to clipboardExpand all lines: examples/tutorial.ipynb
+2-10Lines changed: 2 additions & 10 deletions
Original file line number
Diff line number
Diff line change
@@ -5,15 +5,7 @@
5
5
"id": "0ec5d9fc",
6
6
"metadata": {},
7
7
"source": [
8
-
"# Policyscope tutorial: как сравнить policy A vs policy B офлайн\n",
9
-
"\n",
10
-
"Практический вопрос: **у нас есть логи behavior policy A и кандидат policy B — как сравнить их офлайн, что говорят разные OPE-методы, когда им доверять и как читать CI/diagnostics?**\n",
11
-
"\n",
12
-
"В этом notebook показан текущий официальный workflow Policyscope:\n",
13
-
"- `BanditSchema` + `LoggedBanditDataset`,\n",
14
-
"- `compare_policies(...)` как основной orchestration path,\n",
15
-
"- единая сравнительная таблица методов с oracle и diagnostics,\n",
16
-
"- короткие правила интерпретации валидности и trust.\n"
8
+
"# Policyscope tutorial: как сравнить policy A vs policy B офлайн\n\nПрактический вопрос: **у нас есть логи behavior policy A и кандидат policy B — как сравнить их офлайн, что говорят разные OPE-методы, когда им доверять и как читать CI/diagnostics?**\n\nВ этом notebook показан текущий официальный workflow Policyscope:\n- `BanditSchema` + `LoggedBanditDataset`,\n- `compare_policies(...)` как основной orchestration path,\n- единая сравнительная таблица методов с oracle и diagnostics,\n- короткие правила интерпретации валидности и trust.\n\n\n> Для первого запуска и обучения предпочтительно использовать:\n> - `examples/quickstart_own_data_ru.ipynb` (основной путь на своих данных),\n> - `examples/compare_estimators_vs_oracle_ru.ipynb` (поведение методов vs oracle на synthetic).\n"
0 commit comments