请问有免费的可微调模型吗?

同事经常要写老板讲话,现成的模型写出来的都不能满足要求。
我看了一下,要做一些难以清晰描述的改动。
我也试过把以前的成品丢给AI作为示例,但是可能因为太长(通常录音转文本8000字,成品3000字),所以效果很混乱,经常把示例里的内容(而不是形式)写进新的里面。
我试过在Google AI Studio里面微调,但是他似乎对字数有要求,大于3000至4000字(准确界线不明)微调就会报错Tuned model creation failed。
我还试过把原文切成3000字,结果输入和输出就对不上了,结果也不行。
这种问题有什么好的解决方案吗?
或者有什么可以免费微调的模型来试试?
谢谢~~

分段啊

可能我没讲清楚,我试过分段,一种是输入(比较长)分成几段,一段大概两三千字,输出(比较短)也分成对应的几段,一段大概600字。可以跑了,但是输出就很短,大概是他认为实际的输出就应该按照示例的长度来。而且这种分法没法保证输入和输出对应,因为实际写的时候可能会调整顺序,而且几十篇重新分段对应工作量也相当大。
另一种是输入多分几段,输出只分两段,可能跑,但是效果也很乱,大概是因为这样输入和输出就不对应了。示例里面的输入只讲了12,输出里面有12,还凭空出现了34。

自建

我要是折腾得起,也就不会提这个问题了。

楼主似乎理解错了“微调”的概念

经典不会使用提示词的问题.

试试腾讯的 ima 这类可以从文档库中上传资料的

微调成本不低的,免费着实想多了,还是好好优化一下你的提示词吧

知识库的话,你可以安装一个豆包的客户端,它在左下角有一个 AI 云盘的功能,目前现在是对上传文件大小没有限制的。
但其实按你的要求,基本上用不上 RAG 这种功能,更不需要微调,你只要找一个 TOKEN 足够大的模型,先把你要模仿语气的文章喂给他,让他理解学习,然后按照你要求再写就可以了。

  • 豆包 Pro 1.5 256K
  • Google gemini 2 pro 有2M
  • 智谱有个 GLM 4 LONG

如果一定要使用知识库的话,你就用豆包在里面建一个知识库,然后选择一个模型,建一个 BOT,把知识库挂给它就好了。本地用cherry studio,建个智能体~~

如果可以请用,我的豆包邀请链接,感谢感谢
DeepSeek满血版免费领啦!邀请好友注册和使用,最高双方可获得145元代金券,免费抵扣3625万tokens,畅享R1与V3模型!参与入口:火山方舟大模型体验中心-火山引擎 邀请码:5TCMNG8B

微调不就是大量示例对吗?

你不可能用少量文字准确表述一种语言风格。

我知道不好找,只找到了Google AI Studio

跟这个没关系。我试过把以前写的丢给Gemini,但是他找不到对应。
这样说,如果人来做这个事情,只看以前写好的记录是不够的,需要把讲话和记录对照起来,才知道如何删减,如何改动。

老老实实花钱用好的api吧.

因为你描述的也不清楚,所以不知道你到底是怎么微调的。

我只能揣测,你是把“示例”作为提示词的一部分发给大模型了,对吗?

这个不叫微调。这还是属于提示词工程的范畴,效果比较难说。

真正的微调,是需要使用专用软件,基于训练语料,对基底模型进行重新“微训练”,微调会导致大模型内部的一小部分参数发生变动,最后生成一个新的大模型。过程比较复杂,对硬件要求也很高,通常一般家用电脑本地较难“微调”大规模参数(30B以上)模型,需要借助云平台的算力。

你是这样做的嘛?可以继续交流沟通

说到这里,我最近还真的发现,有牛人,仅用提示词工程方法,就让AI自动提炼了素材的写作风格,然后再以此风格进行创作。不过具体方法我暂时还没看太懂,还在摸索中。

完目前完全免费的可以用中国移动的,移动云盘带的ai支持知识库,但是能白嫖多久不好说。

在线训练微调可以找讯飞星火,送券可以用来在线微调训练。

ima.copilot也支持免费本地知识库,只是经过我的测试,其智商堪忧,尤其是在数据分析方面。也许仅做文字编写会好一些?

不是。

Google AI Studio以前是支持微调的,可以上传大量的输入-输出示例对,生成一个可以调用的新模型。

这个功能现在好像删掉了。

这种办法当然试过。

效果嘛,只能说看上去还行,用起来就不怎么行了。

Google ai studio,把内容复制到文档作为附件传上去。不过他个大的对话记录有总token限制

谢谢,不过我觉得我们说的不是同一个问题。