关于noise detector

[zhiyuzhang-0212]

请问开源的代码中是没有用到noise detector嘛，没有找到诶

[hyyan2k]

model/generator/generator.py 中有 NoiseDetector 模块， 以及LiSenNet 模块中有 mel_scale 函数提取梅尔谱。训练的流程没有给出，可根据自己的数据格式定制。

[zhiyuzhang-0212]

model/generator/generator.py 中有 NoiseDetector 模块， 以及LiSenNet 模块中有 mel_scale 函数提取梅尔谱。训练的流程没有给出，可根据自己的数据格式定制。

哦哦看到了，另外想问一下您，是不是在用pesq loss之后，模型泛化能力会很弱呀。我基于DNS造了一个数据集，在验证集上结果正常，但在公开的测试集上效果很差。但是如果没用pesq loss，就不会出现这个问题。（其他模型也都有在这个数据集上训过，没有出现过该问题）

[hyyan2k]

pesq loss的泛化问题暂时没有研究过，其他的论文中使用pesq loss也没有报告此类问题，可能有待探讨，感谢反馈。

[RunminChen]

您好，请问可以给出噪声检测器的训练流程吗？

[hyyan2k]

您好，请问可以给出噪声检测器的训练流程吗？

在generator.py中可以加入如下代码：

def gen_gated_select(est_select, smooth_size=21):  # 平滑操作
    gated_select = (est_select.clone().detach() >= 0).float().unsqueeze(1)  # (b,1,t)
    gated_select = nn.functional.conv1d(
        input=gated_select, 
        weight=torch.ones(1, 1, smooth_size, device=gated_select.device),
        padding=smooth_size//2,
    )
    gated_select = gated_select.squeeze()
    assert gated_select.ndim == 1
    idxs = torch.where(gated_select>(smooth_size/2))[0]
    if len(idxs) < 2:
        start, end = 0, len(gated_select)
    else:
        start, end = idxs[0], idxs[-1] + 1
    gated_select = torch.zeros(1, len(gated_select), device=gated_select.device, dtype=torch.int)  # (1, T)
    gated_select[:, start:end] = 1
    return gated_select

...

# start_end形状为(B,2)，表示每个样本的噪声片段的起始点与结束点
start, end = start_end[:, 0] // self.hop_length - 1, start_end[:, 1] // self.hop_length + 2
start, end = torch.clip(start, 0, tgt_spec.size(1)).int(), torch.clip(end, 0, tgt_spec.size(1) - 1).int()
tgt_select = torch.zeros(tgt_spec.size(0), tgt_spec.size(1), device=tgt_spec.device, dtype=torch.int)
for ii in range(len(start)):
    tgt_select[ii, start[ii]:end[ii] + 1] = 1

src_mel = self.mel_scale(src_mag)  # (B,T,M)
est_select = self.selector(src_mel.unsqueeze(1)) # (B,T), logits
if self.training:
    select = tgt_select
    prob = random.random()
    if prob < 0.1:
        select[:,:] = 1
    elif 0.1 <= prob < 0.2:
        select = torch.cat([self.gen_gated_select(est_select[ii:ii+1]) for ii in range(est_select.size(0))], dim=0)
    else:
        select = tgt_select
else:
    select = self.gen_gated_select(est_select)

x = torch.stack([src_mag, src_gd / torch.pi, src_ifd / torch.pi], dim=1)  # (B,3,T,F)
        x_list = [x[ii:ii+1, :, select[ii]==1, :] for ii in range(x.size(0))]
        est_mag = src_mag.clone()
        for ii, x in enumerate(x_list):
            encoder_out_list = self.encoder(x)
            x = self.blocks(encoder_out_list[-1])
            x = self.decoder(x, encoder_out_list)  # (1,2,Tq,F)
            est_mag[ii, select[ii]==1, :] = (x[0, 0] + 1e-8) * src_mag[ii, select[ii]==1] + (x[0, 1] + 1e-8) * src_mag[ii, select[ii]==1]

...

est_select 和 tgt_select 之间的loss采用普通的BCE即可

[junmo9267]

您好，请问您代码中的start_end是通过什么方式得到的呢？

[hyyan2k]

您好，请问您代码中的start_end是通过什么方式得到的呢？

是仿真数据集的时候储存的标签信息。具体可见：#7 (comment)