手机上跑模型的后果

小米14装了个讯飞输入法,可以用本地大模型联想下一句,其实没什么屁用。
只是偶尔打几个字,就占到一天耗电的一半。

6 个赞

小米13好像都没这功能……

装个讯飞输入法14试试

本地……厉害了

原来不是用的那个自带的定制版吗……我还以为是自带的定制版来着

讯飞现在是没活硬整么

用最先进的技术做最鸡肋的功能 :joy:

1 个赞

大家可以装一个试试,我那天可能纯粹是运气不好,不过这至少也是个大bug。

这种东西用的 AI 吧,如果是那样的话,就不用奇怪了,AI 跑起来本身就需要耗费巨大的资源。亚马逊收购一家自带核电厂的数据中心,就有舆论认为是在为发展 AI 布局。

是什么样的产品经理吃饱了撑的一拍脑门决定在用户的手机上运行大模型的……

窝就玩过,本地文本语音翻译RTranslator,玩玩还行,开源的,

倒也不至于那么不堪,模型端侧部署也是个老问题了。1.3B的模型再搭配上一堆神奇的剪枝和量化技巧再加上端侧专门准备的TPU,也能顺利地说车轱辘话啥的。

但要是说随便一台设备,不考虑硬件也不专门搞加速,还要在打字这种高频操作时联想,产品经理确实是有点大脑缺失……