software_nlp.md

Библиотеки и другие готовы решения задач обработки естественного языка

Основные библиотеки

English

• Hugging Face – библиотека предобученных моделей на базе архитектуры «трансформер»

Русский язык

Русский

• pymorphy2 – морфологический анализатор для русского языка на основе словаря OpenCorpora
• youtokentome: инструмент для быстрой токенизации текста от команды ВК
• ruGPT-3 – вариант Сбербанка (статья на Хабре о процессе обучения)

Библиотеки и фреймворки

English

• gensim библиотека обработки естественного языка предназначения для «тематического моделирования»
• NLTK – пакет библиотек и программ для символьной и статистической обработки естественного языка (вики)
• spaCy, spacy-ru – репозиторий моделей spaCy для русского языка
• thinc – легкая библиотека глубокого обучения c API функционального программирования с проверкой типов для создания моделей с поддержкой слоев, определенных в других средах, таких как PyTorch, TensorFlow и MXNet
• fastText
• Stanza – NLP-пайплайны от Stanford NLP
• Flair – NLP-фреймворк на базе PyTorch

Русский

• deepPavlov – фреймворк для разговорных систем

GPT

English

• GPT-2 with Javascript Interface
• web-implementation of GPT-2

Jupyter и Colab

English

• Colab Notebook by Max Woolf