Do Current Multi-Task Optimization Methods in Deep Learning Even Help? about libmtl HOT 10 CLOSED

这些都是要case by case讨论的，MTL research在optimization的研究一般都是基于最简单的HPS结构，而实际场景中的网络会更加复杂，可能导致这些optimization的方法不work

from libmtl.

大佬，那在多任务里，除了梯度策略、网络架构，还有其它对提点有帮助的技术吗

from libmtl.

根据实际场景的问题去设计特定的网络结构应该是最有效的方法，但这并不通用

from libmtl.

我理解多任务学习要解决的最主要的问题就是任务间的冲突。
根本解决的办法是设计一种网络，共享部分是多任务的耦合部分，每个任务独享的网络部分是任务独有的特征（任务间的冲突特征），那就会对模型预测效果有最明显的提升，是吗？

from libmtl.

根据实际场景的问题去设计特定的网络结构应该是最有效的方法，但这并不通用

在特定问题下可以利用问题的先验信息去设计网络结构，但这并不是通用方法，比如MTAN引入了attention可以解决很多CV的感知任务但很难被用于其他领域比如NLP。相比之下，optimization的研究是比较通用的

from libmtl.

根据实际场景的问题去设计特定的网络结构应该是最有效的方法，但这并不通用

在特定问题下可以利用问题的先验信息去设计网络结构，但这并不是通用方法，比如MTAN引入了attention可以解决很多CV的感知任务但很难被用于其他领域比如NLP。相比之下，optimization的研究是比较通用的
@Baijiong-Lin
大佬，在CV的感知任务这一块，除了MTAN的attention模块，其它还有推荐的吗？比如MMOE这种门电路的结构可以用吗，或者其它的。

from libmtl.

MMoE理论上肯定能用，但效果未知。你可以看看这篇survey：Multi-Task Learning for Dense Prediction Tasks: A Survey

from libmtl.

MMoE理论上肯定能用，但效果未知。你可以看看这篇survey：Multi-Task Learning for Dense Prediction Tasks: A Survey

看了，我做cv的感知，想试试MTAN和PAD-Net。这篇综述里也说了，优化策略还不如超参数的网格搜索。我把你开源的optimization都试了个遍，结果发现最有效的居然是GLS。您对类似yolop，yolopv2这一类硬参数共享的文章在不大幅增加FLOPS的基础上，有啥改进建议嘛？
yolop:https://arxiv.org/pdf/2108.11250.pdf
yolopv2:https://arxiv.org/pdf/2208.11434.pdf

from libmtl.

在我们的实验里，GLS在有些dataset上表现不错但在另一些dataset上表现不佳。我对yolop这类的工作不太熟悉。

from libmtl.

谢谢

from libmtl.