ngram/development_steps.txt at master · afedin/ngram · GitHub

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
Этапы разработки системы поиска и сопоставления географических адресов

1. Исходная модель
- Начали с базовой n-gram модели, которая изначально была предназначена для генерации имен
- Модель использовала простую токенизацию на уровне символов
- Работала только с буквами нижнего регистра и символом новой строки
- Использовала фиксированный размер n-граммы и простое сглаживание

2. Адаптация для географических данных
- Изменили формат входных данных для работы с адресами и координатами
- Добавили поддержку различных форматов ввода (полный адрес, только улица, частичный адрес)
- Реализовали парсинг компонентов адреса (номер дома, улица, район и т.д.)
- Добавили обработку координат

3. Разработка системы компонентов адреса
- Создали класс AddressComponent для представления частей адреса
- Реализовали извлечение и нормализацию различных компонентов
- Добавили поддержку номеров квартир/юнитов
- Реализовали обработку запятых в адресах

4. Улучшение обработки координат
- Добавили извлечение координат из разных частей адреса
- Реализовали нормализацию координат до 3 знаков после запятой
- Добавили поддержку разных форматов записи координат (с запятой и пробелом)
- Интегрировали расчет географических расстояний по формуле гаверсинусов

5. Разработка системы сопоставления адресов
- Создали класс AddressMatcher для поиска похожих адресов
- Реализовали взвешенную систему оценки сходства компонентов
- Добавили комбинированное текстовое сравнение (Jaccard + sequence matching)
- Реализовали удаление дубликатов в результатах

6. Оптимизация поиска
- Улучшили алгоритм сравнения текста
- Добавили нормализацию географических расстояний
- Реализовали систему весов для разных компонентов адреса
- Добавили штрафы за отсутствующие ключевые компоненты

7. Разработка интерфейса командной строки
- Создали интерактивный CLI интерфейс
- Добавили поддержку различных команд (:help, :quit, :ex)
- Реализовали форматированный вывод результатов
- Добавили обработку ошибок и подсказки

8. Улучшение обработки данных
- Реализовали предварительную обработку тренировочных данных
- Добавили поддержку различных форматов ввода
- Улучшили парсинг адресов с запятыми
- Реализовали обработку нестандартных форматов

9. Финальные улучшения
- Добавили группировку компонентов при выводе
- Улучшили обработку координат в тренировочных данных
- Оптимизировали алгоритм поиска дубликатов
- Добавили подробную документацию

Результаты:
1. Функциональность:
   - Поддержка различных форматов ввода адресов
   - Точное извлечение компонентов адреса
   - Интеллектуальный поиск похожих адресов
   - Учет географического расположения

2. Технические характеристики:
   - Взвешенная система оценки сходства
   - Нормализация координат и расстояний
   - Удаление дубликатов в результатах
   - Оптимизированный алгоритм поиска

3. Пользовательский интерфейс:
   - Интерактивный командный интерфейс
   - Понятный формат вывода результатов
   - Система помощи и подсказок
   - Обработка ошибок ввода

4. Качество поиска:
   - Учет географической близости
   - Текстовое сходство компонентов
   - Приоритизация важных компонентов
   - Исключение дубликатов

5. Ограничения и особенности:
   - Зависимость от качества входных данных
   - Необходимость правильного формата координат
   - Чувствительность к опечаткам в адресах
   - Требования к формату тренировочных данных