VSMBD/runner.sh at main · mini-mind/VSMBD · GitHub

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
#!/bin/bash


########################################################################
# statistic mean and std of each metric
########################################################################

python -m src.pretrain config/selfsup_best.yaml \
    base.name=selfsup_seed0
for s in 1 2 3 4 5
do
    python -m src.finetune config/selfsup_best.yaml \
        base.name=selfsup_seed${s} \
        base.seed=${s} \
        finetune.load_path='${base.save_root}/selfsup_seed0/pretrain/epoch=10.pt'
    python -m src.evaluate config/selfsup_best.yaml \
        base.name=selfsup_seed${s} \
        base.seed=${s} \
        evaluate.load_path='${base.save_root}/selfsup_seed'${s}'/finetune/epoch=10.pt'
    find checkpoints/ -name 'epoch*' | grep -v 'epoch=10' | xargs rm
done

########################################################################
# light version
########################################################################

python -m src.pretrain config/selfsup_best.yaml \
    base.name=selfsup_light \
    base.model=model_s
for s in 1 2 3 4 5
do
    python -m src.finetune config/selfsup_best.yaml \
        base.name=selfsup_light_seed${s} \
        base.seed=${s} \
        base.model=model_s \
        finetune.load_path='${base.save_root}/selfsup_light/pretrain/epoch=10.pt'
    python -m src.evaluate config/selfsup_best.yaml \
        base.name=selfsup_light_seed${s} \
        base.seed=${s} \
        base.model=model_s \
        evaluate.load_path='${base.save_root}/selfsup_light_seed'${s}'/finetune/epoch=10.pt'
    find checkpoints/ -name 'epoch*' | grep -v 'epoch=10' | xargs rm
done

########################################################################
# fine-tune our VSMBD model with less labels
########################################################################

for p in `seq 1 5` `seq 20 20 100`
do
    python -m src.finetune config/selfsup_best.yaml \
        base.name=selfsup_lesslabel${p} \
        finetune.params.label_percentage=${p} \
        finetune.load_path='../checkpoints/selfsup_seed0/pretrain/epoch=10.pt'
    python -m src.evaluate config/selfsup_best.yaml \
        base.name=selfsup_lesslabel${p} \
        finetune.load_path='${base.save_root}/selfsup_lesslabel'${p}'/finetune/epoch=10.pt'
    find checkpoints/ -name 'epoch*' | grep -v 'epoch=10' | xargs rm
done

########################################################################
# fine-tune ShotCoL model with less labels
########################################################################

for p in 1 `seq 20 20 100`
do
    python -m src.finetune config/nn_lesslabel.yaml \
        finetune.params.label_percentage=${p} \
        base.name=NN_lesslabel${p}
done

########################################################################
# fine-tune FFE-only-VSMBD model with less labels
########################################################################

python -m src.pretrain config/selfsup_ImageNet.yaml \
    base.name=FFE_lesslabel \
    base.save_root='../checkpoints/lesslabel_FFE'
for p in 1 `seq 20 20 100`
do
    python -m src.finetune config/selfsup_ImageNet.yaml \
        base.name=FFE_lesslabel${p} \
        finetune.params.label_percentage=${p} \
        base.save_root='../checkpoints/lesslabel_FFE' \
        finetune.load_path='../checkpoints/lesslabel_FFE/FFE_lesslabel/pretrain/epoch=10.pt'
    python -m src.evaluate config/selfsup_ImageNet.yaml \
        base.name=FFE_lesslabel${p} \
        base.save_root='../checkpoints/lesslabel_FFE' \
        finetune.load_path='../checkpoints/lesslabel_FFE/FFE_lesslabel'${p}'/finetune/epoch=10.pt'
    find checkpoints/ -name 'epoch*' | grep -v 'epoch=10' | xargs rm
done

########################################################################
# try using FBE only
########################################################################

python -m src.pretrain config/selfsup_Places.yaml
python -m src.finetune config/selfsup_Places.yaml
find checkpoints/ -name 'epoch*' | grep -v 'epoch=10' | xargs rm

########################################################################
# ablate length of each clip using dual encoders
########################################################################

for n in `seq 5 4 33`
do
    python -m src.pretrain config/selfsup_best.yaml \
        base.params.clip_len=${n} \
        base.name=selfsup_best_${n}
    python -m src.finetune config/selfsup_best.yaml \
        base.params.clip_len=${n} \
        base.name=selfsup_best_${n}
    find checkpoints/ -name 'epoch*' | grep -v 'epoch=10' | xargs rm
done

########################################################################
# cross dataset transfer evaluation using the light version
########################################################################

# transfer Selfsup
for s in `seq 1 5`
do
    python -m src.evaluate config/selfsup_ovsd.yaml \
        base.name='selfsup_seed'${s} \
        evaluate.load_path='../checkpoints/selfsup_seed'${s}'/finetune/epoch=10.pt'
    for a in `seq 0 4`
    do
        python -m src.evaluate config/selfsup_bbc.yaml \
            evaluate.load_path='../checkpoints/selfsup_seed'${s}'/finetune/epoch=10.pt'\
            base.path.scene_path='${..data_root}'/scene_annotation_${a}.pkl \
            base.path.label_path='${..data_root}'/label_dict_${a}.pkl \
            base.name='selfsup_bbc'${a}'_seed'${s}
    done
done

########################################################################
# try pre-training using DTW
########################################################################

python -m src.pretrain config/selfsup_pseudo.yaml base.name=selfsup_dtw
python -m src.finetune config/selfsup_pseudo.yaml base.name=selfsup_dtw
find checkpoints/ -name 'epoch*' | grep -v 'epoch=10' | xargs rm

########################################################################
# try pre-training with clips spliced by different videos
########################################################################

python -m src.pretrain config/selfsup_ImageNet.yaml \
    base.name=selfsup_diff \
    pretrain.train.dataset=pretrain_diff
python -m src.finetune config/selfsup_ImageNet.yaml \
    base.name=selfsup_diff \
    pretrain.train.dataset=pretrain_diff
find checkpoints/ -name 'epoch*' | grep -v 'epoch=10' | xargs rm