Show HN:基于 ClickHouse 的 500 TB 互联网索引,采用拥堵定价
事件
开发者发布名为 Scry 的互联网索引服务,底层是 500 TB 的 NVMe 存储,对全部“智能爆炸”相关信息做了索引与归一化处理。用户可以在其上运行近乎任意的只读 SQL,以及部分 Datalog 查询。资源争抢问题通过基于拥堵的微拍卖定价机制解决:当系统有富余容量时,非商业用途免费使用。
作者认为,当前互联网检索被固化为“自然语言输入→黑箱→排序列表或摘要”的模式,调用方无法控制算法,也无法参与改进。而大量信息产品其实可以建立在巨型实时 OLAP 数据库之上,由前沿大模型自动编写 SQL、Datalog、向量等查询。Google Search、Tavily、Exa 本质上都在解决“把智能体上下文映射到索引小子集”的问题,但用户为固定成本买单,却要承担算力预算耗尽时的体验下降。
Scry 的思路是把索引和查询能力直接开放给调用方,用价格信号而非排队或限流来分配算力。对需要大规模、可编程检索的 AI 智能体和数据产品开发者来说,这提供了一种更透明、更可控的替代方案,其拥堵定价能否在真实负载下兼顾公平与效率值得关注。
来源
本条目由采集管线自动抓取并发布,完整内容见下方来源链接。
*采集源:Hacker News*