定向生成技术对独创性的影响：模型微调（checkpoint）和Lora模型

为了让模型的生成能力更具有针对性，更准确、更自动化的达到使用者的生成要求，目前业内有两种主流的方式来训练出具有定向生成能力的模型，有效的解决了通用模型在生成类型化内容时过于发散、依赖人工指令的问题。

这两种技术的出现意味着模型能力的提升，同时也带来一个法律上的问题，就是使用这类定向生成模型生成的内容，在认定是否具有可版权性进而考虑使用者的“独创性贡献”时，可能需要适当的提高认定门槛，当然这里并不是说要提高独创性大小的认定门槛，而是在独创性有无的认定上需要作出更多细致的考量，特别是跟使用通用模型的情况相比。

一、技术原理

（一）模型微调（checkpoint）

模型微调是基于一个已经预训练好的基础模型，利用特定的数据集对模型的参数进行进一步优化调整。基础模型在大规模数据上进行训练，学习到了通用的语言、图像等模式知识。例如在自然语言处理中，像 chatGPT、mdjourney、deepseek这样的大语言模型就是强大的基础模型，当我们想要模型在特定应用场景，如医疗领域表现更好时，就可以使用医疗领域的文本数据对其进行微调。在这个过程中，模型会根据新的数据更新权重参数，使得模型能够更好地适应特定任务或领域。Checkpoint 则是在模型训练过程中保存的模型参数状态，通过加载特定的 checkpoint，可以恢复到模型训练的某个阶段，方便继续训练或者进行推理。

Checkpoint对于非专业人士而言可能有些陌生，在模型训练过程中，checkpoint 是保存模型参数状态的文件 。可以把它想象成一个 “进度保存点”，当模型在训练时，每经过一定的训练步骤或者时间，就会生成一个 checkpoint，里面记录了模型当前所有参数的值。例如，在训练一个深度学习模型来识别图像中的物体时，训练过程可能会持续数小时甚至数天，在这个过程中，每隔一段时间就会保存一个 checkpoint，这样如果训练因为某些原因中断，比如停电、程序错误等，就可以从最近的一个 checkpoint 处恢复训练，而不用从头开始。

Checkpoint对模型微调起到的作用包括：

恢复训练：正如前面提到的，当模型微调过程中出现意外中断时，通过加载 checkpoint，可以快速恢复到中断前的训练状态，继续进行微调。这大大节省了时间和计算资源，因为重新开始训练一个模型，尤其是大型模型，成本是非常高的。

对比和选择：在微调过程中，可能会尝试不同的训练参数、数据集或者训练方法，生成多个 checkpoint。通过加载不同的 checkpoint 并在验证集上进行评估，可以比较不同训练状态下模型的性能，从而选择出最优的模型参数状态，以达到更好的微调效果。比如，在对一个语言模型进行微调以适应特定领域的文本生成任务时，可能会尝试不同的学习率，每个学习率设置下都会生成对应的 checkpoint，通过对比不同 checkpoint 下模型生成文本的质量，来确定最佳的学习率设置。

迁移应用：当在一个任务上完成模型微调并保存了 checkpoint 后，可以将这个 checkpoint 迁移到其他相关任务的微调中。这样可以利用之前微调所学到的知识，加快新任务的微调速度和提高微调效果。例如，在完成了对一个医学图像分割模型在肺部疾病图像上的微调后，保存的 checkpoint 可以用于对该模型在心脏疾病图像分割任务上的微调，因为医学图像在某些特征上具有一定的相似性，之前微调得到的参数状态有助于新任务的模型快速收敛。

（二）Lora 技术（Low - Rank Adaptation of Large Language Models）

Lora 技术是一种高效的微调方法，旨在减少大规模语言模型微调时的计算成本和内存需求。它引入了低秩矩阵来对模型的部分参数进行调整，而不是对整个模型的参数进行更新。具体来说，Lora 在模型的每一层添加了可训练的低秩矩阵，在微调过程中，只有这些低秩矩阵的参数会被更新，而原始模型的大部分参数保持不变。这种方式极大地减少了需要训练的参数数量，降低了计算资源的消耗，同时也加快了微调的速度。例如，在对一个拥有数十亿参数的大模型进行微调时，使用 Lora 技术可以将需要训练的参数数量降低到原来的千分之一甚至更少。

关于lora技术原理的更多介绍，可以看笔者之前写过的XXXX一文，本文就不过多赘述了。

二、两种技术异同点

（一）相同点

目的一致：模型微调（checkpoint）和 Lora 技术的最终目的都是为了让模型在特定任务或领域中表现得更好，提高模型在特定场景下的准确性和适用性。

基于预训练模型：两者都依赖于已经预训练好的大规模模型，利用预训练模型所学到的通用知识，在此基础上进行优化和调整，以适应具体的应用需求。

（二）不同点

参数调整方式：模型微调通常是对模型的大部分参数进行更新，根据特定数据集的训练，全面优化模型的性能。而 Lora 技术只对引入的低秩矩阵参数进行调整，原始模型的大部分参数保持固定，这种方式更加高效，减少了计算量和内存占用。

计算资源需求：由于模型微调需要更新大量参数，其计算资源需求较大，需要更多的计算时间和硬件资源，如强大的 GPU 集群。Lora 技术因其低秩矩阵的特性，对计算资源的需求显著降低，在普通的计算设备上也能相对轻松地完成微调任务。

三、法律层面：对认定独创性有无的影响

模型能力体现

无论是模型微调还是Lora模型，两者在模型能力上有共通之处，都可以较好的实现某种类型化内容的生成，并且在生成过程中，操作者更多的时候只需要给出一些框架性的指令并且调整一些模型参数设定，即可获得满意的结果。

比如某个模型能力可能体现在生成日式动漫风格的人物形象，此时动漫风、日式、人物以及相关的参数等影响到最终表达的部分，在模型本身就已经具备了。操作者无需对这些条件通过人为（例如提示词、参数）等进行干预，或者只需要较少的干预就可以生成。

这个过程有点像使用手机拍照时，手机相机自带的滤镜或美颜功能，照片拍好之后只需要选你想要的滤镜、美颜效果加上去就可以了，拍摄者无需考虑滤镜、美颜是如何具体发挥作用的，反正选择了特定的功能之后就能呈现特定的效果。

独创性体现维度和判断标准

当模型操作者使用上述定向模型的能力时，可能会更加简单便捷（傻瓜式操作），从而带来“独创性”存在感的降低，毕竟如果操作者的目的是希望通过自主控制从而发挥“人的智力贡献”来完成一个作品时，也就没太大必要用微调模型或者Lora模型了。

当然这种情况并不是绝对的，也可能有人想用模型定向生成能力的同时叠加自己的独创性创作，所以这是需要对这种智力投入的存在与否仔细甄别，可能的判断维度包括：

操作者的提示词和参数设置与模型能力本身的重合度。如果操作者使用的提示词、参数偏离了模型本身设定好的风格和参数，则更具独创性，理论上偏离程度越高独创性越明显，反之亦然；

生成结果与模型生成模版的重合度：如果操作者使用定向模型生成的内容与最能体现模型能力的内容模版重合度很高，则缺乏独创性，因为内容模版是在结果上对模型能力的体现，结果雷同能说明缺少人的创作性干预，反之亦然。

可复现程度：定向模型不同于通用模型的一大特点，就是可以在更大程度上准确复现结果，也就是说在相同提示词和参数设置的情况下，反复输出，结果高度一致。原因就在于模型本身做了“收敛”和“定向”训练，如果人的“独创性”明显存在，则意味着人的参与打破了模型本身的收敛，使之更加个性化和具体化，此时的生成内容是更难以再次复现的。

除了以上几个维度之外，常见的判断方式，例如多轮线性修正、提示词是否针对具体表达等判断维度依然适用，只不过这些与模型是否为定向模型无关了。

（三）小结

大模型技术日新月异，虽然学术界和司法实践领域都倾向于认为AIGC部分内容基于人的“独创性”贡献可以作为作品享有版权，但在具体个案的认定上，需要结合技术的最新发展形态，有效分辨“独创性”的存在，特别是在模型能力越来越强的情况下，很有可能单看生成结果质量非常符合对作品的要求，但实际上反而人的参与和智力投入更少，就好像以前流行的“傻瓜相机”，实际上是相机足够聪明，所以人“傻”一些就可以了，

特别声明：本文版权等相关权益归属于作者，未经同意，不得将其以语料、数据、参考素材等方式用于模型训练、微调或其他类型的营利性（商业）人工智能用途；

如通过上述方式用于非商业（个人学习、研究、欣赏、公益等）用途的，应在模型输出内容时显著告知作者姓名。