澳门新萄京FASTDFS学习

澳门新萄京FASTDFS学习

前言

  接着上篇博客:详见的风尚版fastdfs单机版搭建,明日来说讲fastdfs的集群搭建,限于篇幅,后天先搭建stoarge集群,并贯彻统一的http访问情势;

  没看作者上篇博客的伴儿,最棒先去瞅①眼,那篇博客许多都以依据上篇博客的;

  不懂fastfds原理的,能够先去探视:遍及式文件系统FastDFS设计原理,领悟了规律之后,再来看那篇博客会轻巧诸多;

前言

  最近项目是tomcat单机安顿的,图片、摄像也是上传到tomcat目录下,关键是此项指标显要内容还就是针对图片、录制的,那让作者十一分让人忧郁;文件服务器的施用是早晚的,而且时间还不会太久。此前一直有耳闻fastdfs,但直接没去认真探讨他,近日才开头去研商它,明天只是去搭建一个粗略的单机版,集群版后续再出;至于架构、原理什么小编就不写了,英特网资料不少。

一、介绍

  在上1篇 布满式文件系统法斯特DFS怎么做到高可用 中已经介绍了法斯特DFS的原理和怎么搭建2个大约的高可用的布满式文件系统及怎么访问。

条件计划

条件准备

  系统:Centos6.7

  fastdfs:到下载,都下载最新的:fastdfs-master、libfastcommon-master、fastdfs-nginx-module-master,幸免版本难点

  Linux终端工具:xshell、xftp

       Linux ip:192.168.1.207

参考

官网:https://github.com/happyfish100/

配置文书档案:https://github.com/happyfish100/fastdfs/wiki/

nginx模块:https://github.com/happyfish100/fastdfs-nginx-module

Java客户端:https://github.com/happyfish100/fastdfs-client-java

安插参谋:

                 

  高可用是完成了,但由于大家只设置了三个group,假如未来有5台服务器那将会现出5台惟有3个group,每台服务器内的文件内容都如出壹辙(互备份)如下图,会招致财富浪费。

  一、机器企图

    VIP:192.168.1.200

    centos211(192.168.1.211):nginx + keepalived master

    centos212(192.168.1.212:nginx + keepalived backup

    centos210(192.168.1.210):tracker

    fastdfs4(192.168.1.209):tracker

    fastdfs3(192.168.1.208):storage(group2) +
fastdfs-nginx-module + nginx

    fastdfs2(192.168.1.207):storage(group2) +
fastdfs-nginx-module + nginx

    fastdfs1(192.168.1.206):storage(group1) +
fastdfs-nginx-module + nginx

    fastdfs  (192.168.1.205):storage(group1) +
fastdfs-nginx-module + nginx

fastdfs安装

       上传相关包到/opt下,如图

澳门新萄京 1

tracker-server:

钉住服务器, 紧要做调整专门的学问, 起负载均衡的成效。
在内存中记录集群中具有存款和储蓄组和积累服务器的景况音信,
是客户端和数目服务器交互的关节。 比较GFS中的master更为精简,
不记录文件索引音信, 占用的内存量没多少。

澳门新萄京 2

  二、最后各组件之间的涉嫌图如下

    先预留着,画图软件正在下载,对于那网速作者也是没办法;
后续会补上

    风乐趣的朋友能够试着画下,画出来在商酌区回复下,也给自身参考参谋

  安装zip、unzip

              [root@fastdfs2 opt]# yum install -y unzip zip

storage-server:

存款和储蓄服务器( 又称:存款和储蓄节点或数量服务器) , 文件和文件属性(
metadata) 都保存到存款和储蓄服务器上。 Storage
server直接运用OS的文件系统调用管理文件。

 因而上边就五台服务器实行优化改换,进一步增加keepalived+nginx多tracker
架构,做到真正的高可用和高质量。

fastdfs安装

  无论是tracker依然storage的搭建,都是在fastdfs的功底上进展的,安装好了fastdfs之后,配置tracker也许storage就能够运转tracker服务仍然storage服务了;fastdfs安装可参照详细的风行版fastdfs单机版搭建

       解压fastdfs-master.zip

              [root@fastdfs2 opt]# unzip -o fastdfs-master.zip -d
/usr/local

group:

组, 也可称为卷。 同组内服务器上的文件是完全同样的 ,同1组内的storage
server之间是对等的, 文件上传、 删除等操作能够在任性一台storage
server上海展览中心开 。

 

tracker配置

  本文只是轻巧利用了tracker集群上传了图片,越多的tracker集群 +
nginx配置作者放在下篇博客解说

  两台tracker机器配置能够完全1致,只要求在trackerd.conf修改如下配置项

         base_path=/data/fastdfs/tracker

  创设数量目录并运行tracker服务,注意是两台

         [root@centos210 fdfs]# mkdir -p /data/fastdfs/tracker

         [root@fastdfs4 ~]# /usr/bin/fdfs_trackerd
/etc/fdfs/tracker.conf restart

       编写翻译安装fast

              [root@fastdfs2 opt]# cd /usr/local/fastdfs-master

              [root@fastdfs2 fastdfs-master]# ./make.sh

              报错:./make.sh: line 146: perl: command not found

meta data:

文本有关属性,键值对( Key Value Pair)
格局,如:width=拾二4,heigth=76八 。

 法斯特DFS集群服务器分布

澳门新萄京 3

 

中间keepalived+nginx用作30和31 tracker服务器作热备。用编造VIP
2七作统一入口。

我们将按下面的架构分服务器:

虚拟VIP用192.168.80.27

keepalived+nginx 热备、负载均衡 : 2八、2玖 

tracker:

30和31服务器

storage:

group1:32、33

group2:34、35

虽说种种服务器上都有Nginx,但此间照旧先重申一下那边Nginx的用途:

  1. 第贰具备的Nginx都以用于上传后的公文访问用的,跟上传毫不相关。

  2. 2八、2九下边包车型地铁正是大面积的端口负载,这里是对多个tracker访问文件端口八千(本身安装)负载。

  3. tracker 上设置的 nginx 首要为了提供 http
    访问的反向代理、负载均衡以及缓存服务。

  4. 每壹台storage服务器主机上配置Nginx及法斯特DFS扩展模块,由Nginx模块对storage存款和储蓄的文书提供http下载服务,
    仅当当前storage节点找不到文件时会向源storage长机发起redirect或proxy动作。 

注:图中的tracker或者为七个tracker组成的集群;且当前法斯特DFS的Nginx扩张模块协助单机多少个group的情事

 

storage配置

       安装perl

              [root@fastdfs2 fastdfs-master]# yum -y install perl

              再运营./make.sh,报错:make: cc:命令未找到

二、部署

澳门新萄京 4

法斯特Dfs服务框架结构图

澳门新萄京 5

地点布署服务

1玖二.16八.一.17七设置fastdfs的tracker节点,以及nginx反向代理服务器用于下载服务。

1玖二.16八.一.188,192.168.1.18玖安装fastdfs的storage节点,暗中认可分1组,1组内两台机械互为备份.

在意:为了产生高可用,1个group建议分为两台以上的机器。

tracker追踪节点30、3一

安装配置步骤前文壹致,配置tracker.conf
和client.conf,主要注意防火墙 开启端口2212贰 

记得手动创立七个公文夹:

/data/fastdfs/tracker

/data/fastdfs/client

五个节点内容同样。

 

  group1

    两台机器配置能够完全等同,修改storage.conf如下配置项

      base_path=/data/fastdfs/storage

      store_path0=/data/fastdfs/storage

      tracker_server=192.168.1.209:22122

      tracker_server=192.168.1.210:22122

      group_name=group1

    运行group1的两台,并查阅日志

      [root@fastdfs data]# /usr/bin/fdfs_storaged
/etc/fdfs/storage.conf

      [root@fastdfs logs]# tailf
/data/fastdfs/storage/logs/storaged.log

      fastdfs(205)

      澳门新萄京 6

      fastdfs1(206)

      澳门新萄京 7

       安装gcc

              [root@fastdfs2 fastdfs-master]# yum install gcc-c++

              再运维./make.sh,仍出现如下错误:

澳门新萄京 8

    贫乏libfastcommon中的相关基础库

一、安装 libfastcommon 和 FastDFS

1.下载安装 libfastcommon,这里是经过wget下载(笔者喜爱这种方法)。

wget

澳门新萄京 9

下载安装 libfastcommon

解压 libfastcommon,命令:

tar-zxvf V1.0.7.tar.gz

澳门新萄京 10

解压

编译,进入libfastcommon-1.0.7目录,命令:

cd libfastcommon-1.0.7

./make.sh

cd libfastcommon-1.0.7

./make.sh

澳门新萄京 11

安装,命令:

./make.sh install

澳门新萄京 12

安装

展示那样的镜头,正是安装 libfastcommon 成功啦。

2.下载安装 法斯特DFS,这里也是透过wget下载。

wget

澳门新萄京 13

解压缩

tar-zxvf V5.05.tar.gz

澳门新萄京 14

解压

编译,进入fastfds-5.05目录,命令:

cd fastdfs-5.05

./make.sh

澳门新萄京 15

编译

./make.sh install

澳门新萄京 16

安装

storage存款和储蓄节点3二到3伍

记得手动创立多个公文夹:/data/fastdfs/storage

安装步骤与上文一致,配置:

/etc/fdfs/storage.conf

group_name=group1 # 组名(第一组为group1,第二组为group2,依次类推...)
base_path=/data/fastdfs/storage # 数据和日志文件存储根目录
store_path0=/data/fastdfs/storage # 第一个存储目录,第二个存储目录起名为:store_path1=xxx,其它存储目录名依次类推...

tracker_server=192.168.80.30:22122# tracker服务器IP和端口
tracker_server=192.168.80.31:22122# tracker服务器IP和端口

 注意:

32和33  group_name=group1

34和35  group_name=group2

别的安插一样暗许,注意防火墙 开启端口二3000。

发表评论

电子邮件地址不会被公开。 必填项已用*标注

网站地图xml地图