热榜站上线历史追踪功能:1.5亿数据的高效相似性检索
热榜站近日上线了历史追踪功能demo版本,该功能允许用户点击热点旁边的趋势按钮,查看最近相似的所有热点。技术实现上,系统仅存储10天的历史数据,每天约处理1500万条,总计最多存储1.5亿条数据。数据以parquet格式落地到磁盘,查询采用...
热榜站近日上线了历史追踪功能demo版本,该功能允许用户点击热点旁边的趋势按钮,查看最近相似的所有热点。技术实现上,系统仅存储10天的历史数据,每天约处理1500万条,总计最多存储1.5亿条数据。数据以parquet格式落地到磁盘,查询采用...