logo NodeSeekbeta

基于开源底座二开了一套信源降噪过滤管道,顺便做了个点滴推送(自建折腾记录)

各位 mjj 好,

平日本职做架构,业余也在折腾独立开发。每天找点高质量出海案例和开源轮子,最大的痛点就是信息爆炸:
刷推特、Product Hunt 和一堆开发者群,铺天盖地全是套壳工具互吹、空气币营销号和各种“月入万刀”的焦虑小作文。想找点真正有落地价值的架构选型、开箱即用的高星开源项目,每天得花一两个小时在大堆垃圾信息里淘金。

前些天看到卡兹克开源的 AIHOT,底层用 pg-boss 队列 + pgvector 语义去重 + 模型打分,架构底座很扎实,但原版主要是跑泛 AI 资讯的。

正好手里有台吃灰的 Linux VPS,干脆拉下来针对自己的需求做了个魔改二开:

1. 信源与数据层调整

把原版的泛 AI 媒体全换掉,接入了 Product Hunt、Show HN、Trends.vc、开发者社区一手动态等源。用 PostgreSQL 配合 pgvector 跑本地向量嵌入,把 48 小时内报道同一件事的重复信源聚类折叠,先压掉一大半冗余。

2. 打分规则 Prompts 重构

原版评分偏媒体传播属性。我重新拟定了针对独立开发和工具落地的 5 轴打分规则,重点看商业变现逻辑是否可核实、开源代码成熟度、技术栈开箱即用程度。通过模型做一道硬性门禁,把纯公关稿和水分较大的营销号直接打到及格线以下。

3. 点滴推送与防打扰

原版是重 Web 浏览的。为了让自己手机端更省心,加了 Telegram 频道的单向点滴推送,并硬编码了防打扰规则:

  • 评分达到高阈值(前 10% 信号)才进推送队列;
  • 单日严格封顶最多 4 条,消息间隔至少 2.5 小时;
  • 夜间 23:00 - 08:30 严格静默,绝不响铃。

4. 踩坑与心得

  • 这种定期拉取 + 向量比对的流水线,单核 VPS + Docker 跑起来其实负载极低,内存吃得最多的是 Node 构建阶段,跑顺之后常驻也就几百兆;
  • 最容易翻车的是异步任务与数据库写入的原子性,外部发消息成功但数据库记账撞 prepared statement 报错,就会导致队列误判重试引发重发,必须做严格的隔离与幂等设计。

整个管道目前单机跑稳,每天手机只看 2~3 条真正硬核的精选信号,信息流清爽了非常多。

频道直达(自用无广,只发精选卡片):
👉 https://t.me/IndieRadarPro

大家平时自建信息流或者聚合信源时,有没有什么“噪音极小、全是干货”的冷门好源推荐?也欢迎交流交流此类管道的去重与降噪思路。

初来乍到,按规矩回帖抽奖,楼里抽 5 位送鸡腿,祝各位 mjj 运维不宕机、出海搞钱顺利。

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

📈用户数目📈

目前论坛共有73211位seeker

🎉欢迎新用户🎉