我们曾把数据库当消息队列，现在我们用 Kafka

核心要点

• 仅用 FoundationDB 做队列的最大好处是事务都在数据库内，天然消除双写问题。
• 朴素队列的致命缺陷是弹出即删除：worker 在处理中崩溃，任务就永远消失。
• QuiCK 的做法是以任务类型、item space、生效时间、优先级和随机 ID 构成 key，其中生效时间是排序键。
• worker 通过把 key 推到未来来认领任务，没有锁表；崩溃后租约到期，任务会重新生效。
• 因为没有中心协调层，cron 任务被实现为执行完把自己再排一次的自调度作业。
• 苹果建议随机挑任务，Tigris 实践下来改为按 key 的哈希显式分片成 lane，让任务不断在 lane 间流动。
• 真正的瓶颈是 FoundationDB 无法承受大量持续写入，存储服务器落后会导致 ratekeeper 限流所有人。
• 迁移后墓碑写入与清理任务的入队、认领、租约、删除四步都不再落在 FoundationDB 上。

金句

← 返回 Lobsters 首页