cluster重启后，compaction出现大量conflict

[xiaobingxia-at]

cluster重启前，由于cluster有大量正在进行的compaction task （应该在task queue中没有被清空？）。所以很多segment的metadata的状态是inCompacting.
因为各种原因，我把cluster重启后，taskqueue是空的，coordinator开始重新制定compaction plan。但是这些新制定的compaction plan大多会complain如下：

[2025/01/03 01:14:22.100 +00:00] [WARN] [datacoord/compaction_trigger.go:490] ["failed to execute compaction task"] [collection=455007134314668300] [triggerID=455046071905748780] [planID=455046071905748783] [inputSegments="[455007134350525077,455007134316823700,455007134381307513,455046071898345279]"] [error="segment is compacting: compaction plan conflict"] [errorVerbose="segment is compacting: compaction plan conflict\n(1) attached stack trace\n  -- stack trace:\n  | github.com/milvus-io/milvus/pkg/util/merr.WrapErrCompactionPlanConflict\n  | \t/workspace/source/pkg/util/merr/utils.go:1128\n  | github.com/milvus-io/milvus/internal/datacoord.(*compactionPlanHandler).createCompactTask\n  | \t/workspace/source/internal/datacoord/compaction.go:646\n  | github.com/milvus-io/milvus/internal/datacoord.(*compactionPlanHandler).enqueueCompaction\n  | \t/workspace/source/internal/datacoord/compaction.go:601\n  | github.com/milvus-io/milvus/internal/datacoord.(*compactionTrigger).handleSignal\n  | \t/workspace/source/internal/datacoord/compaction_trigger.go:489\n  | github.com/milvus-io/milvus/internal/datacoord.(*compactionTrigger).start.func1\n  | \t/workspace/source/internal/datacoord/compaction_trigger.go:134\n  | runtime.goexit\n  | \t/go/pkg/mod/golang.org/[email protected]/src/runtime/asm_amd64.s:1695\nWraps: (2) segment is compacting\nWraps: (3) compaction plan conflict\nError types: (1) *withstack.withStack (2) *errutil.withPrefix (3) merr.milvusError"]

我猜大概是因为在etcd中，这些input segment还是inCompacting的状态？所以milvus不允许执行这个compaction task。
请问这种该如何解决呢？如果这些segment一直是inCompacting，那就一直不能再被compact了吗？Milvus在灾难恢复后，有没有这些元数据的回复机制？谢谢！

[yhmo]

Compaction相关逻辑主要都在datacoord里，compaction任务会被记录在元数据里，当重启的时候，未完成的任务会被读出执行

milvus/internal/datacoord/compaction.go

Line 90 in e6bf141

meta CompactionMeta

从元数据读出的任务开始时，会把相关的segment标记为isCompacting。而compaction_trigger跟恢复逻辑互不感知，compaction_trigger会去检测有哪些segment可以被compact，当它发现某些segment是isCompacting时，就会记录这么一条日志segment is compacting: compaction plan conflict
这个冲突可以忽略，compaction_trigger会忽略那些isCompacting的segment，当元数据读出的那批任务执行完之后，compaction_trigger就正常运行了。