本文共 6715 字,大约阅读时间需要 22 分钟。
大量的文件,并且提供给用户去下载,文件太多如何高效存储?用户访问量大如何保证下载速度?分布式文件系统将解决这些问题。
分布式文件系统解决了海量文件存储及传输访问的瓶颈问题,对海量视频的管理、对海量图片的管理等。为什么会有分布文件系统呢?
分布式文件系统是面对互联网的需求而产生,互联网时代对海量数据如何存储?靠简单的增加硬盘的个数已经满足不了我们的要求,因为硬盘传输速度有限但是数据在急剧增长,另外我们还要要做好数据备份、数据安全等。
采用分布式文件系统可以将多个地点的文件系统通过网络连接起来,组成一个文件系统网络,结点之间通过网络进行通信,一台文件系统的存储和传输能力有限,我们让文件在多台计算机上存储,通过多台计算共同传输。
好处:FastDFS是用c语言编写的一款开源的分布式文件系统,它是由淘宝资深架构师余庆编写并开源。FastDFS专为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。
为什么要使用fastDFS呢?
上边介绍的NFS、GFS都是通用的分布式文件系统,通用的分布式文件系统的优点的是开发体验好,但是系统复杂性高、性能一般,而专用的分布式文件系统虽然开发体验性差,但是系统复杂性低并且性能高。fastDFS非常适合存储图片等那些小文件,fastDFS不对文件进行分块,所以它就没有分块合并的开销,fastDFS网络通信采用socket,通信速度很快
FastDFS架构包括 Tracker server和Storageserver。客户端请求Tracker server进行文件上传、下载,通过Tracker server调度最终由Storage server完成文件上传和下载。
Tracker
Tracker Server作用是负载均衡和调度,通过Tracker server在文件上传时可以根据一些策略找到Storage server提供文件上传服务。可以将tracker称为追踪服务器或调度服务器。FastDFS集群中的Tracker server可以有多台,Tracker server之间是相互平等关系同时提供服务,Tracker server不存在单点故障。客户端请求Tracker server采用轮询方式,如果请求的tracker无法提供服务则换另一个tracker。
Storage
Storage Server作用是文件存储,客户端上传的文件最终存储在Storage服务器上,Storage server没有实现自己的文件系统而是使用操作系统的文件系统来管理文件。可以将storage称为存储服务器。
Storage集群采用了分组存储方式。storage集群由一个或多个组构成,集群存储总容量为集群中所有组的存储容量之和。一个组由一台或多台存储服务器组成,组内的Storage server之间是平等关系,不同组的Storage server之间不会相互通信,同组内的Storage server之间会相互连接进行文件同步,从而保证同组内每个storage上的文件完全一致的。一个组的存储容量为该组内的存储服务器容量最小的那个,由此可见组内存储服务器的软硬件配置最好是一致的。
采用分组存储方式的好处是灵活、可控性较强。比如上传文件时,可以由客户端直接指定上传到的组也可以由tracker进行调度选择。一个分组的存储服务器访问压力较大时,可以在该组增加存储服务器来扩充服务能力(纵向扩容)。当系统容量不足时,可以增加组来扩充存储容量(横向扩容)。
Storage状态收集
Storage server会连接集群中所有的Tracker server,定时向他们报告自己的状态,包括磁盘剩余空间、文件同步状况、文件上传下载次数等统计信息。
推荐:
这里使用javaApi测试文件的上传,java版本的fastdfs-client地址在:
,参考此工程编写测试用例创建maven工程
pom.xmorg.springframework.boot spring-boot-starter-parent 1.5.9.RELEASE com.xuecheng test-fastDSF 1.0-SNAPSHOT org.springframework.boot spring-boot-starter-web net.oschina.zcx7878 fastdfs-client-java 1.27.0.0 org.springframework.boot spring-boot-starter-test test org.apache.commons commons-io 1.3.2
配置文件
在classpath:config下创建fastdfs-client.properties文件#http连接超时时间 fastdfs.connect_timeout_in_seconds=5#tracker与storage网络通信超时时间 fastdfs.network_timeout_in_seconds=30#字符编码 fastdfs.charset=UTF-8#tracker服务器地址,多个地址中间用英文逗号分隔fastdfs.tracker_servers=127.0.0.1:22122
//文件上传 @Test public void testUpload() { try { //加载fastdfs-client.properties配置文件 ClientGlobal.initByProperties("config/fastdfs‐client.properties"); //定义TrackerClient,用于请求TrackerServer TrackerClient trackerClient = new TrackerClient(); //连接tracker TrackerServer trackerServer = trackerClient.getConnection(); //获取Stroage StorageServer storeStorage = trackerClient.getStoreStorage(trackerServer); //创建stroageClient StorageClient1 storageClient1 = new StorageClient1(trackerServer, storeStorage); //向stroage服务器上次文件 //本地文件的路径 String filePath = "E:\\RWNF~MZ6HESXF{G)G_BXNC.gif"; //上传成功后拿到文件Id String png = storageClient1.upload_file1(filePath, "png", null); System.out.println(png); } catch (Exception ex) { ex.printStackTrace(); } }
//查询文件 @Test public void testQueryFile() throws IOException, MyException { ClientGlobal.initByProperties("config/fastdfs‐client.properties"); TrackerClient tracker = new TrackerClient(); TrackerServer trackerServer = tracker.getConnection(); StorageServer storageServer = null; StorageClient storageClient = new StorageClient(trackerServer, storageServer); FileInfo fileInfo = storageClient.query_file_info("group1", "M00/00/01/wKhlQFrKBSOAW5AWAALcAg10vf4862.png"); System.out.println(fileInfo); }
@Test public void testDownload() { try { //加载fastdfs-client.properties配置文件 ClientGlobal.initByProperties("config/fastdfs‐client.properties"); //定义TrackerClient,用于请求TrackerServer TrackerClient trackerClient = new TrackerClient(); //获取TrackerClient连接 TrackerServer trackerServer = trackerClient.getConnection(); //获取Storage StorageServer storeStorage = trackerClient.getStoreStorage(trackerServer); //创建storageClient StorageClient1 storageClient1 = new StorageClient1(trackerServer, storeStorage); //下载文件// 文件id String fileId = "group1/M00/00/00/rBELi13bv8GAXwtgAAOYbtDdtkg020.png"; byte[] bytes = storageClient1.download_file1(fileId); FileOutputStream fileOutputStream = new FileOutputStream(new File("E:\\aa.png")); fileOutputStream.write(bytes); } catch (Exception e) { e.printStackTrace(); } }
在 storage server 上安装 nginx 的目的是对外通过 http 访问 storage server 上的文 件。使用 nginx 的模块
FastDFS-nginx-module 的作用是通过 http 方式访问 storage 中 的文件,当 storage 本机没有要找的文件时向源storage 主机代理请求文件。可以使用docker进行便捷安装
推荐:
转载地址:http://lnilf.baihongyu.com/