【自荐】ChromeAI.org - 断网后也可以在Chrome中运行的本地AI助手

最近看到Chrome把Gemini Nano集成到了Chrome浏览器里,在调试工具里体验了下效果还行,保证数据安全且速度贼快。

限于调试工具使用有点麻烦,随手做了个网页工具,能调用Chrome的本地AI,以下是ChromeAI帮我写的自荐:point_down:

https://ChromeAI.org 是一个运行在浏览器中的本地AI助手,基于Google的Gemini Nano模型。它有以下特点:

  1. 完全本地运行,保护隐私: 所有对话和历史记录都存储在本地,可随时删除。

  2. 即时模式: 实时响应用户输入,并显示AI响应时间。

  3. 用户友好: AI回复时有加载状态显示,交互更流畅。

  4. 轻量快速: 直接在浏览器中运行,无需安装额外软件。

  5. 免费使用: 目前完全免费,没有使用限制。

ChromeAI适合需要随时使用AI助手,但又注重隐私保护的用户。欢迎大家试用并提供宝贵意见!

网页版网址: https://chromeai.org
Chrome商店插件:https://chromewebstore.google.com/detail/pienijlenieciiamahkllplgadmdibjm

希望ChromeAI能为大家的工作和学习带来便利。如有任何问题或建议,欢迎在评论区留言。谢谢!

3 Likes

感觉是不错的工具,请问运行需要多少内存呢,能使用gpu加速吗

我在下了那个1.2G模型的 Chrome Dev 里试了下,直接用呀 :joy:

1 Like

对几乎所有最终用户来说,离线模型的实际意义无限趋近于0。
随便哪个云端模型,包括那些免费的都比本地的强n倍,还能节省你本地那点儿本来就可怜的CPU GPU内存硬盘。
唯一的优势是隐私问题,但用户真的需要用LLMs处理什么隐私吗?
即使隐私真的很重要,也可以考虑随时切换云端模型的方案。

目前来说本地模型跟线上模型还是差距太大了,就算是gpt 3.5我最后都觉得太差,开了会员用gpt 4o才真的觉得能够在生产力层面帮助我。我也尝试部署过本地模型,不过因为老黄刀法精湛所以4060太低只能用10B以下模型,感觉连gpt 3.5都不如的多,也许等到LLM那天发展到瓶颈的时候,而硬件又能跟的上的情况下,那个本地LLM或许才能成为现实。不过线上的模型无论国内国外都有不同程度的内容审查,如果对于某些内容感兴趣可以尝试本地部署无审查的LLM模型。

1 Like

嗯,不过还是有部分只能用单位局域网的用户的,看小众软件的推送文章 评论区

是的,我的这个网页主要照顾不会dev的人哈哈哈哈

回头我把gpu情况也录屏进去

本地小模型,如果很方便喂数据的话,还是很有用的,到时候就不要脑子啦。

我还是挺想用ollama的,本地模型在一些生活辅助很面还是有帮助的,所以这些应用于手机的小模型目的也是为了日常的一些小事吧

似乎远没有幻想的那么美好。

是的,官方的使用示例也是一些小的场景,定位很清晰