Chapter 07 exercise template notebook

[wlwlaa]

• 07_pytorch_experiment_tracking_exercise_template.ipynb

My error

In exercise 1 I got some problems with CUDA device memory in google colab during training a few different models

My code

%time
# Отследим номер эксперимента
experiment_number = 0

# Пройдем по всем моделям, количеству эпох и даталоадерам из множества
for model_name in model_list:
  for dataloader_name, dataloader in train_dataloader_dict.items():
    for epochs in epochs_list:

      # Обновим информацию
      experiment_number += 1
      print(f'[INFO] {{{experiment_number}}} Тестируем {model_name} на {epochs} эпох на {dataloader_name} данных...')

      # Инициализируем модель
      match model_name:
        case 'effnetb3':
          model = createEffNetB3()
        case 'effnetb7':
          model = createEffNetB7()
        case 'effnetv2l':
          model = createEffNetV2_L()

      # Настроим loss func & optimizer
      loss_fn = nn.CrossEntropyLoss()
      optimizer = torch.optim.Adam(
          model.parameters(),
          lr=0.0005
      )

      # Обучим модель с выбранными параметрами
      train(
          model,
          dataloader,
          test_dataloader,
          optimizer,
          loss_fn,
          epochs,
          device,
          create_writer(
              dataloader_name,
              model_name,
              f'{epochs}_epochs'
          )
      )

      # Сохраним обученную модель
      utils.save_model(
          model,
          'models/',
          f'{model_name}_{dataloader_name}_{epochs}_epochs.pth'
      )

      # Очистим кэш видеоустройства
      if device == 'cuda':
        torch.cuda.empty_cache()

      print('-' * 100, '\n')

Output:
OutOfMemoryError: CUDA out of memory. Tried to allocate 20.00 MiB. GPU 0 has a total capacity of 14.75 GiB of which 3.06 MiB is free. Process 136418 has 14.74 GiB memory in use. Of the allocated memory 14.28 GiB is allocated by PyTorch, and 345.42 MiB is reserved by PyTorch but unallocated. If reserved but unallocated memory is large try setting PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True to avoid fragmentation. See documentation for Memory Management (https://pytorch.org/docs/stable/notes/cuda.html#environment-variables)

What I've tried so far

I added torch.cuda.empty_cache() at the end of each iteration but this helped partially

[IlanVinograd]

я думаю что у вашей видеокарте не хватает памяти для выполнения операции поэтому указывает на CUDA out of memory.

попробуй уменьшить размера пакета (batch size).

или как ты и сказал с помощью torch.cuda.empty_cache() после каждой эпохи обучения.
она освобождает память тем самым не должно быть переполнение.

скажи если помогло 😄

[wlwlaa]

Я добавил в конец каждой итерации

del model
if device == 'cuda':
  torch.cuda.empty_cache()
  gc.collect()

Также настройку окружения os.environ['PYTORCH_CUDA_ALLOC_CONF'] = 'expandable_segments:True'
Но все это не помогло, что-то продолжает забивать память CUDA

[IlanVinograd]

скинь полный код

[wlwlaa]

https://colab.research.google.com/drive/1jjOUUBgoGdgfJOZHogAA7XNYimkFxWFD?usp=sharing

[IlanVinograd]

BATCH_SIZE = 16
попробуй

[IlanVinograd]

ты в сети?

[wlwlaa]

Да. Уменьшение батч сайза пока помогло, вторая модель в процессе обучения, ошибок нет

[IlanVinograd]

я у себя попробовал уменьшил батчи на 16

видишь сколько памяти забивает +- 2/3 которой есть.

[wlwlaa]

Аналогично.