求教能否利用AI创建一个私人化的搜索引擎呢？

讨论分享
, ,
1

最近在论坛看到SearchGPT和“知乎已经完全禁止谷歌和必应搜索抓取其内容”，我就突然想到，既然AI这么发达，能否利用它创建一个私人化的搜索引擎。
要求如下：
1、正常爬虫搜索网络上的资料，可以让其直接调用必应、谷歌、百度的结果，并根据算法进行优化（我想着，自己创建一个引擎是不是太复杂了）。
2、对于屏蔽爬虫的网站，如微信、知乎等等，可以自定义添加到搜索选项中去，并且可以 把私人的账号密码交给AI方便其搜索。
3、就是根据1和2优化搜索结果，过滤垃圾信息。
4、写到这里感觉上面三点就是利用AI做一个结果筛选的东西，搜索引擎都算不上了。 :joy:但是这样可以避免在乱七八糟的消息中去自己筛选。

2 个赞
2

感觉你的描述更像是聚合搜索？

1 个赞
3

这个应该是agent代理在搜索引擎上的应用

1 个赞
4

对，有点像，但是可能更私人化一些

5

老哥展开说说？

6
1 个赞
7

好像确实是这个样子哈

8

Google一直就是这么干的。

9

用AI自己做一个搜索引擎还是用AI自己做一个百度搜索, 不是同一回事

10

memfreeme/memfree: MemFree - Hybrid AI Search Engine (github.com) 可以的。 MemFree 已经开源了，支持一键部署你自己的私人搜索引擎，欢迎给个 star,谢谢。

1 个赞
11

可是小红书、知乎啥的不是不允许爬虫了吗

12

感谢 我去研究研究

13

[Memfree/Madarreyder at · Memfree/Memfree (Github.com)] (Hatps://github.com/memfreem/memfree/tree/i/madreyadar) 爬虫代码在这个目录

14

你想的这个东东叫做 AI Agent. 我记得钞大门对这个方向也看好。

但现实是各种互联网大厂都想着把你的数据偷过去，藏在他们的服务器里面。所以只能说理想很美好。

这么说吧。只要你们仍然用着手机，嚼着互联网大厂通过手机给你们喂的 sh*t，这事情就不可能发生。因为你们的喜好在互联网大厂里面就是会生金蛋的母鸡，可以通过分析你的喜好，源源不断地从互联网用户身上赚到大钱。

只有开放的互联网才能实现你的这个梦想。

1 个赞
15

这种只能一个点的可以，全面的不行，数据量太大了

16

https://alternativeto.net/news/2024/7/openai-introduces-its-ai-search-engine-searchgpt-to-rival-google-search-and-perplexity/

17

我认为这一类的软件应该这样发展，你把账号的权限交给它，告诉它你想看哪一些内容，然后它帮你聚合。

1 个赞
18

理论上可行.

因为现在很多 AI 搜索就是这么搞的.

只是有些想法, 比如用自己的账号爬虫的, 人家网站是可以监测到并封禁账号或IP的.

所以, 本地存储学习才是AI的资本.

你作为个人使用, 需要的存储和算力可能就很难承担了.

如果开放使用,就违法了.

1 个赞
19

Perplexica

调用必应、谷歌、百度的结果

这个软件利用了元搜索引擎Searxng的能力，可以搜索多个引擎，有了开源项目，就不需要自己创建搜索引擎了

对于屏蔽爬虫的网站，如微信、知乎等等，可以自定义添加到搜索选项中去

我也不知道，但是感觉上Searxng应该可以做到，你可以试试自定义

20

我想简单了，我以为用我的账号去搜索和正常搜索一样，没想到在他那边看，我这叫爬虫啊