Quantcast
Channel: InfoQ - 促进软件开发领域知识与创新的传播
Viewing all articles
Browse latest Browse all 1056

Yelp开源集群工具Clusterman ,支持 Kubernetes

$
0
0

今年早些时候,我曾写过一篇博文,展示了Yelp内部计算集群自动伸缩器(Cluster autoscaler,CA)、Clusterman(我们的集群管理器)的一些特性。过去几个月,我们为 Clusterman 添加了另一个可支持的选择——Kubernetes 集群。与此同时,Clusterman 现在已在 GitHub上开源。

从 Mesos 到 Kubernetes

在过去五年,我们在 Yelp 上讨论撰写了很多关于计算堆栈的内容,我们已经从单一的 yelp_main repo 转变为一个完全分布式、面向服务的架构,运行在 Apache Mesos 和我们的内部平台即服务(PaaSTA)之上的云端中。说实话,如果没有这一举措,我们就不可能会发展成现在这样的规模。今年,我们一直在努力为基础架构的进一步增长做准备,并意识到实现这一目标的最佳途径是从 Mesos 迁移到 Kubernetes。

Kubernetes 允许我们运行在 Mesos(由于本地状态需求)下难于管理的工作负载(如 Flink、Cassandra、Spark 和 Kafka 等)。我们坚信,在一个公共平台(PaaSTA)下管理这些工作负载将会使我们的基础架构工程师的产出提高一个数量级,比如仅用几行 YAML 就能构建一个新的 Cassandra 集群。

此外,我们正在将所有微服务和批处理工作负载迁移到 Kubernetes。这是 Yelp 上讨论的一个问题,但我们最终决定采用这种方法,因为可以减少维护两个相互竞争的调度器(Mesos 和 Kubernetes)的开销,又可以利用快速发展的 Kubernetes 生态系统。借助 PaaSTA 提供的抽象,我们已经能够无缝地进行迁移,我们的部分开发人员并不知道他们的服务是在一个完全不同的计算平台上运行的。


Viewing all articles
Browse latest Browse all 1056

Trending Articles