О сложности моделей и данных в параметрических моделях глубокого обучения

Диссертация на соискание ученой степени доктора физико-математических наук

Грабовой Андрей Валериевич

(2025)

Аннотация

Исследование посвящено анализу свойств архитектур моделей глубокого обучения с целью выявления связей между сложностью моделей глубокого обучения и сложностью данных, которые используются для настройки параметров моделей. Классические, линейные модели машинного обучения имеют как теоретические так и практические результаты, основанный как на понятии VC-размерности, а также на основе статистических оценок параметров модели. Современные же модели глубокого обучения описываются пространством параметров сильно большей размерности, поэтому классические подхода являются не применимыми. В работе исследуется закон масштабирования, который описывается сложность моделей глубокого обучения и сложностью данных. При условии построения “адекватной” оценки сложности модели, оценки сложности выборки, а также связи между ними получен закон масштабирования, в рамках которого подбирается сложность выборки под заданную сложность модели и наоборот.

Публикации по теме диссертации

Работы по оценке объема выборки на основа параметров моделей машинного обучения

1. Grabovoy A. V., Gadaev T. T., Motrenko A. P., Strijov V. V. Numerical methods of sufficient sample size estimation for generalised linear models // Lobachevskii Journal of Mathematics, 2022.
2. . Kiselev N. S., Grabovoy A. V. Unraveling the hessian: A key to smooth convergence in loss function landscapes // Doklady Mathematics, 2024.
3. Kiselev N. S., Grabovoy A. V. Sample size determination: Likelihood bootstrapping // Computational Mathematics and Mathematical Physics, 2025.
4. Kiselev N., Grabovoy A. Sample size determination: posterior distributions proximity // Computational Management Science, 2025.
5. Meshkov V., Kiselev N., Grabovoy A. Convnets landscape convergence: Hessian-based analysis of matricized networks // 2024 Ivannikov Ispras Open Conference (ISPRAS), 2024.

Работы с анализом сложности текстовых данных

1. Poimanov D., Mestetsky L., Grabovoy A. N-gram perplexity-based ai-generated text detection // 2024 Ivannikov Ispras Open Conference (ISPRAS), 2024.
2. Gritsai G. M., Khabutdinov I. A., Grabovoy A. V. Stack more llm’s: Efficient detection of machine-generated texts via perplexity approximation // Doklady Mathematics, 2024.
3. Gritsai G., Khabutdinov I., Grabovoy A. Multi-head span-based detector for ai-generated fragments in scientific papers // Proceedings of the Fourth Workshop on Scholarly Document Processing (SDP 2024), 2024.
4. Gritsai G., Voznuyk A., Khabutdinov I., Grabovoy A. Advacheck at genai detection task 1: Ai detection powered by domain-aware multi-tasking // Proceedings of the 1st Workshop on GenAI Content Detection (GenAIDetect), 2025.
5. Gritsay G., Grabovoy A. Automated text identification on languages of the iberian peninsula: Llm and bert-based models aggregation // Proceedings of the Iberian Languages Evaluation Forum (IberLEF 2024) co-located with the Conference of the Spanish Society for Natural Language Processing (SEPLN 2024), 2024.
6. Gritsay G., Grabovoy A., Kildyakov A., Chekhovich Yu. Automated text identification: Multilingual transformer-based models approach // Proceedings of the Iberian Languages Evaluation Forum (IberLEF 2023) co-located with the Conference of the Spanish Society for Natural Language Processing (SEPLN 2023), 2023.
7. Gritsay G. M., Grabovoy A. V., Kildyakov A. S., Chekhovich Yu. V. Artificially generated text fragments search in academic documents // Doklady Mathematics, 2024.
8. Gritsay G., Grabovoy A., Chekhovich Yu. Automatic detection of machine generated texts: Need more tokens // Ivannikov Memorial Workshop Proceedings, 2022.
9. Voznyuk A., Gritsai G., Grabovoy A. Advacheck at semeval-2025 task 3: Combining ner and rag to spot hallucinations in llm answers // Proceedings of the 19th International Workshop on Semantic Evaluation (SemEval-2025), 2025.
10. Chekhovich Yu., Grabovoy A., Gritsai G. Generative ai models with their full reveal* // 2024 4th International Conference on Technology Enhanced Learning in Higher Education (TELE), 2024.
11. Boeva G., Gritsay G., Grabovoy A. Team ap-team at pan: Llm adapters for various datasets // Working Notes of the Conference and Labs of the Evaluation Forum (CLEF 2024), 2024.

Работы с выравниванием параметрических моделей на базе дистилляции

1. Bazarova A. I., Grabovoy A. V., Strijov V. V. Analysis of the properties of probabilistic models in expert-augmented learning problems // Automation and Remote Control, 2022.
2. Grabovoy A. V., Strijov V. V. Bayesian distillation of deep learning models // Automation and Remote Control, 2021.
3. Grabovoy A. V., Strijov V. V. Prior distribution selection for a mixture of experts // Computational Mathematics and Mathematical Physics, 2021.
4. Grabovoy A. V., Strijov V. V. Probabilistic interpretation of the distillation problem // Automation and Remote Control, 2022.
5. Grabovoy A, Bahteev O., Strijov V. Estimation of the relevance of the neural network parameters // Informatics and aplications, 2019.
6. Grabovoy A, Bahteev O., Strijov V. Ordering the set of neural network parameters // Informatics and aplications, 2020.

Работы с анализом сложности пространственно-временных данных

1. Dorin D., Kiselev N., Grabovoy A., Strijov V. Forecasting fmri images from video sequences: linear model analysis // HEALTH INFORMATION SCIENCE AND SYSTEMS, 2024.

Другие прикладные применения методов оценки сложности моделей и данных

1. Asvarov A., Grabovoy A. The impact of multilinguality and tokenization on statistical machine translation // 2024 35th Conference of Open Innovations Association (FRUCT), 2024.
2. Asvarov A., Grabovoy A. Neural machine translation system for lezgian, russian and azerbaijani languages // 2024 Ivannikov Ispras Open Conference (ISPRAS), 2024.
3. Avetisyan K., Gritsay G., Grabovoy A. Cross-lingual plagiarism detection: Two are better than one // Programming and Computer Software, 2023.
4. Bakhteev O., Chekhovich Yu., Grabovoy A., et al. Cross-language plagiarism detection: A case study of european languages academic works // Academic Integrity: Broadening Practices, Technologies, and the Role of Students, 2023.
5. Grabovoy A. V., Strijov V. V. Quasi-periodic time series clustering for human activity recognition // Lobachevskii Journal of Mathematics, 2020.
6. Grabovoy A. V., Kaprielova M. S., Kildyakov A. S., Potyashin I. O., Seyil T. B., Finogeev E. L., Chekhovich Yu. V. Text reuse detection in handwritten documents // Doklady Mathematics, 2024.
7. Grabovoy A., Bakhteev O., Chekhovich Yu. The automatic approach for scientific papers dating // Proceedings of the 2020 Ivannikov Ispras Open Conference, 2021.
8. Grashchenkov K., Grabovoy A., Khabutdinov I. A method of multilingual summarization for scientific documents // 2022 Ivannikov Ispras Open Conference (ISPRAS), 2022.
9. Kaprielova M., Grabovoy A., Varlamova K., Potyashin I., Chekhovich Yu., Kildyakov A. Image plagiarism detection pipeline for vast databases // 2024 35th Conference of Open Innovations Association (FRUCT), 2024.
10. Khabutdinov I. A., Chashchin A. V., Grabovoy A. V., Kildyakov A. S., Chekhovich U. V. Rugector: Rule-based neural network model for russian language grammatical error correction // Programming and Computer Software, 2024.
11. Kopanichuk I., Chashchin A., Ochneva I., Grabovoy A., Ogaltsov A., Kildyakov A., Chekhovich Yu. Structure extractor: Multilingual extraction of sections from scientific document // 2025 37th Conference of Open Innovations Association (FRUCT), 2025.
12. Petrushina K., Bakhteev O., Grabovoy A., Strijov V. Anti-distillation: Knowledge transfer from a simple model to the complex one // 2022 Ivannikov Ispras Open Conference (ISPRAS), 2022.
13. Potyashin I., Kaprielova M., Chekhovich Yu., Kildyakov A., Seil T., Finogeev E., Grabovoy A. Hwr200: New open access dataset of handwritten texts images in russian // Proceedings of the International Conference "Dialogue", 2023.
14. Shodiev D., Kopanichuk I., Chashchin A., Grabovoy A., Kildyakov A., Chekhovich Yu. Ensembling models for the generation of queries to an altering search engine using reinforcement learning // 2023 Ivannikov Ispras Open Conference (ISPRAS), 2023.
15. Varlamova K., Khabutdinov I., Grabovoy A. Automatic spelling correction for russian: Multiple error approach // 2023 Ivannikov Ispras Open Conference (ISPRAS), 2023.
16. Zvereva A. K., Kaprielova M., Grabovoy A. Anomlite: Efficient binary and multiclass video anomaly detection // Results in Engineering, 2025.