最近看到Chrome把Gemini Nano集成到了Chrome浏览器里，在调试工具里体验了下效果还行，保证数据安全且速度贼快。
限于调试工具使用有点麻烦，随手做了个网页工具，能调用Chrome的本地AI，以下是ChromeAI帮我写的自荐
https://ChromeAI.org 是一个运行在浏览器中的本地AI助手,基于Google的Gemini Nano模型。它有以下特点:
-
完全本地运行,保护隐私: 所有对话和历史记录都存储在本地,可随时删除。
-
即时模式: 实时响应用户输入,并显示AI响应时间。
-
用户友好: AI回复时有加载状态显示,交互更流畅。
-
轻量快速: 直接在浏览器中运行,无需安装额外软件。
-
免费使用: 目前完全免费,没有使用限制。
ChromeAI适合需要随时使用AI助手,但又注重隐私保护的用户。欢迎大家试用并提供宝贵意见!
网页版网址: https://chromeai.org
Chrome商店插件：https://chromewebstore.google.com/detail/pienijlenieciiamahkllplgadmdibjm
希望ChromeAI能为大家的工作和学习带来便利。如有任何问题或建议,欢迎在评论区留言。谢谢!
4 个赞
感觉是不错的工具，请问运行需要多少内存呢，能使用gpu加速吗
Qingwa
(青小蛙)
3
我在下了那个1.2G模型的 Chrome Dev 里试了下，直接用呀 
1 个赞
Baiyssy
(Baiyssy)
4
对几乎所有最终用户来说，离线模型的实际意义无限趋近于0。
随便哪个云端模型，包括那些免费的都比本地的强n倍，还能节省你本地那点儿本来就可怜的CPU GPU内存硬盘。
唯一的优势是隐私问题，但用户真的需要用LLMs处理什么隐私吗？
即使隐私真的很重要，也可以考虑随时切换云端模型的方案。
目前来说本地模型跟线上模型还是差距太大了，就算是gpt 3.5我最后都觉得太差，开了会员用gpt 4o才真的觉得能够在生产力层面帮助我。我也尝试部署过本地模型，不过因为老黄刀法精湛所以4060太低只能用10B以下模型，感觉连gpt 3.5都不如的多，也许等到LLM那天发展到瓶颈的时候，而硬件又能跟的上的情况下，那个本地LLM或许才能成为现实。不过线上的模型无论国内国外都有不同程度的内容审查，如果对于某些内容感兴趣可以尝试本地部署无审查的LLM模型。
1 个赞
嗯，不过还是有部分只能用单位局域网的用户的，看小众软件的推送文章 评论区
kmoui
(KMOUI)
9
本地小模型，如果很方便喂数据的话，还是很有用的，到时候就不要脑子啦。
skystar
(skystar)
10
我还是挺想用ollama的，本地模型在一些生活辅助很面还是有帮助的，所以这些应用于手机的小模型目的也是为了日常的一些小事吧