想请问下大家，有没有什么方法能判别网站所包含的网站总数

2019-07-29 15:07:36 +08:00
 tohearts

想对某一个网站较快的方法得出其网站链接总数。

1054 次点击
所在节点    程序员
2 条回复
sleepm
2019-07-29 15:33:47 +08:00
在谷歌中 site:site.domain
在网页中找 sitemap.xml
找网站所使用的程序，举个例子，比如文章列表页，多少个目录，一页多少个，共多少，累加
得到完全具体的数字数字那是不可能的，自己建的站都不知道多少链接。。。。
silencefent
2019-07-29 17:00:28 +08:00
开个爬虫,一级域名通配符一页页抓 url,放 redis 里面用布隆过滤器去重

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.fyfyfm.apispeedy.workers.dev/t/587174

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX