蒸馏模型是抄袭吗？

蒸馏模型也叫知识蒸馏，是一种机器学习技术。其核心思想是将一个大模型的知识转移到一个小模型中，从而使小模型在保持相对较高性能的同时，具有更小的计算量、更少的参数和更高的推理速度。它主要是模仿大模型输出的概率分布，而非简单地复制代码或参数。在机器学习和人工智能领域，这是广泛接受的技术手段。在实践中，许多开源模型明确允许蒸馏，而且 GPT-3 曾被第三方蒸馏出小型模型，也未被认定为“盗窃”，而是技术创新体现。