Tag Archives: 分布式

Kubernetes部署Rook(Ceph)分布式块存储

Rook是一款基于Kubernetes的分布式存储管理系统,通过Operator,支持了Ceph、NFS等存储架构的快速部署、维护等。

本文介绍了其部署及实验。
1 机器准备
准备4台机器

node1 ~ node4,用于部署k8s集群,其中node1是master,其余都是worker。

node2 ~ node4,即worker机器上,挂载100GB的硬盘,只挂载不要格式化,我这里是直接用的阿里云的盘。

这里不再赘述集群的部署,如果你还不熟悉,可以参考《国内部署K[......]

继续阅读

Gearman(分布式任务调度框架) 简介

在@hacker101的围脖上看到了这个框架,看了下官网,觉得很适合爬虫、多进程并行处理等任务。

看看官方提供的几个例子:

  • Mass PDF quote email
  • Synchronous Image Resize
  • Shard-Query: a PHP project which uses Net_Gearman to execute queries on horizontally partitioned databases and returns the results.[......]

    继续阅读

MongoDB入门,含分布式配置

1、下载
wget http://fastdl.mongodb.org/linux/mongodb-linux-i686-1.6.5.tgz
tar -xzvf mongodb-linux-i686-1.6.5.tgz
2、测试单机环境
下载回来的MongoDB是已经编译好的,直接使用即可。
#首先建立数据库位置
mkdir ~/soft/mongodb/data
cd mongodb-linux-i686-1.6.5
cd bin
#启动mongodb服务器端,注意指定额外的[......]

继续阅读