新上了一个WEB项目,请各位老师指导

06年开始做独立站博客,现在现在断断续续,去年偶然在发现有个网站web.archive.org,上面能查看网站过去的快照,看到了自己二十年前博客的样子,于萌发了做类似网站的想法。

archive.org采用的是与原来百度快照类似的方法,抓取网页的代码保存,所以这类网页快照浏览时会有样式错位和引用资源失效不显示等问题。于是我的想法是采用截图的方式。无论是技术实力还是经济方面,都无法与这些老牌大站相比,再一点现在互联网上不同的国家,不同的语言网页数无穷无尽,我个人肯定是没有这种能力像web.archive.org无差别抓取,于是我缩小圈子,只记录中文独立博客的首页,AI老师说Playwright截图方案比较好,所以就按AI老师说的来,主要是中文互联网没有类似的网站可参考。

初步构想这是个很简单的工程,但实施起来真的很困难。我原来大学期间学的是计算机应用专业,主业是网络设备,企业级交换机路由器这些,对编程这些一点都不懂,好在现在有AI老师、好在还知道几个专业名词能给AI老师下达较为明确的指令。一开始不太懂用的普通对话的AI,也能写代码,但上下文不连贯,后来能过DeepSeek接入宝塔MCP,经过几天的“奋斗”,终于大概完成这个项目。AI写代码修改代码速度很快,搞几天是因为这个看上去不复杂实际上很复杂的东西逻辑闭环太麻烦了。

准备了三台服务器,成本有点高,拓扑图如下。A服务器负责在网络上(主要是设定十年之约博客说之类的网站)爬取域名链接,取得链接后传送给服务器B,在服务器B上设置一定的条件筛选,尽量得出博客的网址后交给服务器C加入数据库,服务器C入库成功后给服务器B下载截图工作指令,服务器完成截图指令后并图片上传到云储存并向服务器C发送截图状态和云储存返回的文件路径和名称。

6a97f66af3344.jpg

现在基本能运行,但还有几个小问题无法解决;1是有些站点防火墙或者CDN拦截依然返回200状态码,程序正常截图无法识别。2是网址虽然经过了筛选,但依然有很多不是博客的站点被添加及截图,现在是采用提取网页关键词,关键词收紧了容易拒绝正确的站点,放宽了容易添加不相关的网站甚至违规网站。3是还是诸多未知的问题。

其实这种模式并不回给目标站点服务器带来多大的压力,我设置的5天截一张图片,就相当于模拟普通客户端的访问,就算截图失败也不会反复重试,不知道为何还是会触发防火墙。

请移步https://moji.zengmo.com 如果您有任何意见建议,请直接告诉我,谢谢! 已下线 2026.10.4

我也不知道这个能持续多久,连独立运行的域名都注册好了sgkz.cn(时光快照)。

6a97fad592121.png
6a97fae08e470.png
6a97faebb7b10.png
6a97faf54a21a.png

✉

订阅「曾墨」更新

留下邮箱,提交后到邮箱点击确认链接完成订阅,可随时一键退订

人机验证7 + 4 =

😊
提交

评论区

共 3 条评论
  1. 头像
    文章不错支持一下,非常喜欢
    10月6日 广西河池市联通
  2. 头像
    匿名 Lv1
    停掉了吗?
    9月18日 湖南省岳阳市电信
    1. 头像
      曾墨 博主
      @匿名停掉了😂,技术问题无法解决。
      9月22日 湖南省岳阳市联通