Features:
Выстраивать работу можно от того, что мы используем LLM для решения регулярных задач пользователя:
- Нужно ХОРОШО знать своего пользователя (как решаем -- большой контекст)
- Шедулер. Возможность отложить событие/сделать его регулярным. Помогает взаимодействовать со временем.
- Саммари email + быстрые ответы -- коммуникация с внешним миром + получение локального конекста.
- Twitter/ведение соцсетей и прочих медиа как классная плюшка и возможность использовать сильную сторону LLM -- генерация контекста.
Преимущества LLM:
- Понимание запросов пользователя и их репрезентация из естественного языка в машинный и обратно
- Умеет по-настоящему ГЕНЕРИРОВАТЬ контент, а не просто дублировать его по образу и подобию
Недостатки LLM:
- Маленький контекст. Решение -- MEM-GPT
- ТУПАЯ. Пример -- задача классификации. Как решать -- эвристики. Можно привести сравнение с обычными классификаторам.
Что нужно знать, чтобы уметь отвечать на вопросы:
- Устройство LLM
- Устройство и особенности MEM-GPT и векторных баз данных
- TBC...
Полезные метрики:
- Можно сравнить разные LLM для решения такого рода задач (и разные связки -- совет от ребят)
- Метрики сравнения качества
Архитектура:
- GoLang как язык разработки
- Базы данных: PostgreSQL, MEM-GPT
- Twitter (X), OpenAI API (maybe other LLM-s)