百度百科
帮助

云存储

新兴的网络存储技术
收藏
0 有用+1
0
云存储 是一种网上 在线存储 (英语: Cloud storage )的模式,即把数据存放在通常由第三方托管的多台虚拟 服务器 ,而非专属的服务器上。 托管 (hosting)公司运营大型的数据中心,需要数据存储托管的人,则通过向其购买或租赁存储空间的方式,来满足数据存储的需求。 数据中心 营运商根据客户的需求,在后端准备 存储虚拟化 的资源,并将其以存储资源池(storage pool)的方式提供,客户便可自行使用此存储资源池来存放文件或对象。实际上,这些资源可能被分布在众多的服务器主机上。
云存储这项服务乃通过 Web服务 应用程序接口 (API), 或是通过 Web化 用户界面 来访问。
中文名
云存储
外文名
cloud storage
来    源
在云计算上延伸出来的新概念
核心技术
并行计算
地    位
新兴的网络 存储 技术

工作原理

云存储 是在 云计算 (cloud computing)概念上延伸和衍生发展出来的一个新的概念。 云计算 分布式处理 (Distributed Computing)、 并行处理 (Parallel Computing)和 网格计算 (Grid Computing)的发展,是通过网络将庞大的计算处理程序自动分拆成无数个较小的子程序,再交由多部服务器所组成的庞大系统经计算分析之后将处理结果回传给用户。通过云计算技术, 网络服务 提供者可以在数秒之内,处理数以千万计甚至亿计的信息,达到和” 超级计算机 ”同样强大的网络服务。
云存储的概念与云计算类似,它是指通过 集群 应用、 网格技术 或分布式文件系统等功能,网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供 数据存储 和业务访问功能的一个系统,保证数据的安全性,并节约存储空间。简单来说,云存储就是将储存资源放到云上供人存取的一种新兴方案。使用者可以在任何时间、 任何地方 ,通过任何可连网的装置连接到云上方便地存取数据。如果这样解释还是难以理解,那我们可以借用广域网和互联网的结构来解释云存储。

网络结构

相信大家对 局域网 广域网 互联网 都已经非常了解了。在常见的局域网系统中,我们为了能更好地使用局域网,一般来讲,使用者需要非常清楚地知道网络中每一个软硬件的型号和 配置 ,比如采用什么型号 交换机 ,有多少个端口,采用了什么 路由器 防火墙 ,分别是如何设置的。
各类云存储图册 (2张)
系统中有多少个服务器,分别安装了什么操作系统和软件。各设备之间采用什么类型的连接线缆,分配了什么IP地址和 子网掩码
图1 网络结构
但当我们使用 广域网 和互联网时,我们只需要知道是什么样的 接入网 和用户名、密码就可以连接到广域网和互联网,并不需要知道广域网和互联网中到底有多少台 交换机 路由器 防火墙 和服务器,不需要知道数据是通过什么样的路由到达我们的电脑,也不需要知道网络中的服务器分别安装了什么软件,更不需要知道网络中各设备之间采用了什么样的连接线缆和端口。 广域网和互联网对于具体的使用者是完全透明的,我们经常用一个云状的图形来表示广域网和互联网,如图1:
虽然这个云图包含了许许多多的 交换机 、路由器、防火墙和服务器,但对具体的 广域网 、互联网用户来讲,这些都是不需要知道的。这个云状图形代表的是广域网和互联网带给大家的互联互通的网络服务,无论我们在任何地方,都可以通过一个网络接入线缆和一个用户、密码,就可以接入广域网和互联网,享受网络带给我们的服务。
参考云状的网络结构,创建一个新型的云状结构的 存储系统 ,这个存储系统由多个存储设备组成,通过集群功能、分布式文件系统或类似网格计算等功能联合起来协同工作,并通过一定的应用软件或应用接口,对用户提供一定类型的存储服务和访问服务。
当我们使用某一个独立的存储设备时,我们必须非常清楚这个存储设备是什么型号,什么接口和传输协议,必须清楚地知道存储系统中有多少块 磁盘 ,分别是什么型号、多大容量,必须清楚存储设备和服务器之间采用什么样的连接线缆。为了保证 数据安全 和业务的连续性,我们还需要建立相应的数据备份系统和 容灾系统 。除此之外,对存储设备进行定期地状态监控、维护、软硬件更新和升级也是必须的。如果采用云存储,那么上面所提到的一切对使用者来讲都不需要了。云状存储系统中的所有设备对使用者来讲都是完全透明的,任何地方的任何一个经过授权的使用者都可以通过一根接入线缆与云存储连接,对云存储进行数据访问。

结构模型

存储层是云存储最基础的部分。存储设备可以是FC 光纤通道 存储设备,可以是NAS和 iSCSI等IP存储设备,也可以是 SCSI或SAS等 DAS存储设备。云存储中的存储设备往往数量庞大且分布于不同地域。彼此之间通过广域网、互联网或者FC光纤通道网络连接在一起。
存储设备之上是一个统一存储设备管理系统,可以实现存储设备的逻辑 虚拟化 管理、多链路 冗余 管理,以及硬件设备的状态监控和故障维护。
基础管理层是云存储最核心的部分,也是云存储中最难以实现的部分。基础管理层通过 集群 分布式文件系统 网格计算 等技术,实现云存储中多个存储设备之间的协同工作,使多个的存储设备可以对外提供同一种服务,并提供更大更强更好的数据访问性能。
CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问,同时,通过各种数据备份和容灾技术和措施可以保证云存储中的数据不会丢失,保证云存储自身的安全和稳定。
任何一个授权用户都可以通过标准的公用应用接口来登录云 存储系统 ,享受云存储服务。云存储运营单位不同,云存储提供的访问类型和访问手段也不同。
云存储不是存储,而是服务
就如同云状的广域网和互联网一样,云存储对使用者来讲,不是指某一个具体的设备,而是指一个由许许多多个存储设备和服务器所构成的 集合体 。使用者使用云存储,并不是使用某一个存储设备,而是使用整个云存储系统带来的一种数据访问服务。所以严格来讲,云存储不是存储,而是一种服务。
云存储的核心是应用软件与存储设备相结合,通过应用软件来实现存储设备向存储服务的转变。

实现前提

真正的云 存储系统 将会是一个多区域分布、遍布全国、甚至于遍布全球的庞大公用系统,使用者需要通过ADSL、DDN等宽带接入设备来连接云存储。只有宽带网络得到充足的发展,使用者才有可能获得足够大的数据传输 带宽 ,实现大量容量数据的传输,真正享受到云存储服务,否则只能是空谈。
二、 WEB2.0技术
Web2.0 技术的核心是分享。只有通过 web2.0 技术,云存储的使用者才有可能通过 PC、手机、移动多媒体等多种设备,实现数据、 文档 、图片和视音频等内容的 集中存储 和资料共享。
三、应用存储的发展
云存储不仅仅是存储,更多的是应用。应用存储是一种在存储设备中集成了应用软件功能的存储设备,它不仅具有 数据存储 功能,还具有应用软件功能,可以看作是服务器和存储设备的集合体。应用存储技术的发展可以大量减少云存储中服务器的数量,从而降低系统建设成本,减少系统中由服务器造成单点故障和性能瓶颈,减少数据传输环节,提供系统性能和效率,保证整个系统的高效稳定运行。
四、集群技术、网格技术和分布式文件系统
存储系统 是一个多存储设备、多应用、多服务协同工作的集合体,任何一个单点的存储系统都不是云存储。
既然是由多个存储设备构成的,不同存储设备之间就需要通过 集群技术 分布式文件系统 和网格计算等技术,实现多个存储设备之间的协同工作,多个存储设备可以对外提供同一种服务,提供更大更强更好的数据访问性能。如果没有这些技术的存在,云存储就不可能真正实现,所谓的云存储只能是一个一个的独立系统,不能形成云状结构。
五、 CDN内容分发、 P2P 技术、数据压缩技术
CDN内容分发、P2P技术、数据压缩技术、 重复数据删除 技术、 数据加密技术
CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问,同时,通过各种数据备份和 容灾 技术保证云存储中的数据不会丢失,保证云存储自身的安全和稳定。如果云存储中的 数据安全 得不到保证,想来也没有人敢用云存储,否则,保存的数据不是很快丢失了,就是全国人民都知道了。
六、存储虚拟化技术、存储网络化管理技术
云存储中的存储设备数量庞大且分布多在不同地域,如何实现不同厂商、不同型号甚至于不同类型(如FC存储和 IP存储)的多台设备之间的逻辑 卷管理 、存储虚拟化管理和多链路 冗余 管理将会是一个巨大的难题,这个问题得不到解决,存储设备就会是整个云 存储系统 的性能瓶颈,结构上也无法形成一个整体,而且还会带来后期容量和性能扩展难等问题。
云存储中的存储设备数量庞大、分布地域广造成的另外一个问题就是存储设备运营管理问题。虽然这些问题对云存储的使用者来讲根本不需要关心,但对于云存储的运营单位来讲,却必须要通过切实可行和有效的手段来解决集中管理难、状态监控难、故障维护难、人力成本高等问题。因此,云存储必须要具有一个高效的类似与 网络管理软件 一样的集中管理平台,可实现云存储系统中所有存储设备、服务器和 网络设备 的集中管理和状态监控。

架构

传统的系统利用 紧耦合 对称架构,这种架构的设计旨在解决HPC( 高性能计算 、超级运算)问题,正在向外扩展成为云存储从而满足快速呈现的市场需求。下一代架构已经采用了松弛耦合非对称架构,集中元数据和控制操作,这种架构并不非常适合高性能HPC,但是这种设计旨在解决云部署的大容量存储需求。各种架构的摘要信息如下:
紧耦合对称(TCS)架构
构建TCS系统是为了解决单一文件性能所面临的挑战,这种挑战限制了传统NAS系统的发展。HPC系统所具有的优势迅速压倒了存储,因为它们需要的单一文件I/O操作要比单一设备的I/O操作多得多。业内对此的回应是创建利用 TCS 架构的产品,很多节点同时伴随着分布式锁管理(锁定文件不同部分的写操作)和缓存一致性功能。这种解决方案对于单文件吞吐量问题很有效,几个不同行业的很多HPC客户已经采用了这种解决方案。这种解决方案很先进,需要一定程度的技术经验才能安装和使用。
松弛耦合非对称(LCA)架构
LCA系统采用不同的方法来向外扩展。它不是通过执行某个策略来使每个节点知道每个行动所执行的操作,而是利用一个数据路径之外的中央元数据控制服务器。集中控制提供了很多好处,允许进行新层次的扩展:
● 存储 节点 可以将重点放在提供读写服务的要求上,而不需要来自 网络节点 的确认信息。
●节点可以利用不同的商品硬件CPU和存储配置,而且仍然在云存储中发挥作用。
● 用户可以通过利用硬件性能或虚拟化实例来调整云存储。
● 消除节点之间共享的大量状态开销也可以消除用户计算机互联的需要,如光纤通道或infiniband,从而进一步降低成本。
● 异构硬件的混合和匹配使用户能够在需要的时候在当前经济规模的基础上扩大存储,同时还能提供永久的数据可用性。
● 拥有集中元数据意味着,存储节点可以旋转地进行深层次应用程序归档,而且在控制节点上,元数据经常都是可用的。

功能

优点

主要用途

备份

选择

● SW模式:SW模式具有HW模式所具有的优势。另外,它还具有HW所没有的价格竞争优势。然而,其安装/管理过程序要谨慎关注,因为安装某些SW的确非常困难,或者可能需要其他条件来限制人们选择HW,而选择SW。

存储分类

像亚马逊公司的Simple Storage Service(S3)和Nutanix公司提供的 存储 服务一样,它们可以低成本提供大量的文件 存储 。供应商可以保持每个客户的 存储 、应用都是独立的,私有的。其中以Dropbox为代表的个人云存储服务是公共云存储发展较为突出的代表,国内比较突出的代表的有 搜狐企业网盘 百度云盘 乐视云盘 ,移动 彩云 金山快盘 坚果云 酷盘 115网盘 华为网盘 360云盘 新浪微盘 ,腾讯微云, cStor云存储 等。
公共云存储可以划出一部分用作 私有云 存储。一个公司可以拥有或控制基础架构,以及应用的部署,私有云存储可以部署在企业 数据中心 或相同地点的设施上。私有云可以由公司自己的IT部门管理,也可以由服务供应商管理。
2.内部云存储
这种云存储和私有云存储比较类似,唯一的不同点是它仍然位于企业防火墙内部。至2014年可以提供私有云的平台有:Eucalyptus、3A Cloud、minicloud安全办公私有云、联想网盘等。
3. 混合云 存储
这种云存储把公共云和私有云/内部云结合在一起。主要用于按客户要求的访问,特别是需要临时配置容量的时候。从 公共云 上划出一部分容量配置一种私有或内部云可以帮助公司面对迅速增长的负载波动或高峰时很有帮助。尽管如此, 混合云 存储带来了跨公共云和私有云分配应用的复杂性。

隐患

文件管控

部署管理

运行环境

性能

优势

发展趋势

云安全

云应用

2.在物联网高级阶段,可能出现MVNO/MMO营运商(国外已存在多年),需要虚拟化 云计算 技术,SOA等技术的结合实现互联网的泛在服务:TaaS (everyTHING As A Service)。
云游戏是以云计算为基础的游戏方式,在云游戏的运行模式下,所有游戏都在服务器端运行,并将渲染完毕后的游戏画面压缩后通过网络传送给用户。在客户端,用户的游戏设备不需要任何高端处理器和显卡,只需要基本的视频解压能力就可以了。就现今来说,云游戏还并没有成为家用机和掌机界的联网模式,因为至今X360仍然在使用LIVE,PS是PS NETWORK, wii 是wi-fi。但是几年后或十几年后,云计算取代这些东西成为其网络发展的终极方向的可能性非常大。如果这种构想能够成为现实,那么主机厂商将变成网络运营商,他们不需要不断投入巨额的新主机研发费用,而只需要拿这笔钱中的很小一部分去升级自己的服务器就行了,但是达到的效果却是相差无几的。对于用户来说,他们可以省下购买主机的开支,但是得到的确是顶尖的游戏画面(当然对于视频输出方面的硬件必须过硬)。你可以想象一台掌机和一台家用机拥有同样的画面,家用机和我们今天用的机顶盒一样简单,甚至家用机可以取代电视的机顶盒而成为次时代的电视收看方式。
目前国内云会议主要集中在以 SAAS (软件即服务)模式为主体的服务内容,包括电话、网络、视频等服务形式,基于云计算的视频会议就叫云会议。云会议是视频会议与云计算的完美结合,带来了最便捷的远程会议体验。及时语移动云电话会议,是云计算技术与移动互联网技术的完美融合,通过移动终端进行简单的操作,提供随时随地高效地召集和管理会议。
云社交( Cloud Social)是一种物联网、云计算和移动互联网交互应用的虚拟社交应用模式,以建立著名的“资源分享关系图谱”为目的,进而开展网络社交,云社交的主要特征,就是把大量的社会资源统一整合和评测,构成一个资源有效池向用户按需提供服务。参与分享的用户越多,能够创造的利用价值就越大。
云计算系统

核心技术

自建云存储

由于外部云实际上是存储即服务,因此其成本取决于 存储数据 量和合约时间。另一方面,内部云在总拥有成本上的考虑和大多数其他内部 存储 方式一样。

安全挑战

同时,关于 数据备份 、灾难恢复和存储设备本身这些具体问题也要问上一问。毕竟,云存储市场还比较新,没有现成的、牢不可破的行业标准,这样,许多云厂商都只口头在吹嘘,并没有实质的行动可鉴。
为了确保数据在云端的安全,使用分裂栈就没什么不对。把关键任务应用存储在本地服务器上,非敏感数据、冷数据 存储 在云端。另外,这一概念也可扩展到考虑使用多用云厂商,避开厂商锁定。对归档信息,一个低成本的、可保证基本安全的厂商就可处理;但对于使用频率高的数据,就需要找到效率高、零知识的备选方案。如果处理得当,分裂栈可以做到成本节约,而且没有安全妥协。

云存储现状

如果我们在深入一点,这些相同的受访者表示 存储 中平均有326TB的“活跃”数据。因此,即使我们假设这些公司存储在云端的所有云存储数据都是活跃的(这显然是不正确的),也就意味着这些云存储公司只有平均5%-10%的数据向云输送。
根据2015 TechTarget云存储调查结果,我们发现50%的受访者表示他们使用云作为生产数据的主要存储方式,但是有一个更大的数字,即63%的IT部门表示使用云作为数据备份。同时,43%的用户用云进行数据归档。
“如果企业还没有开始云存储,备份和长期数据归档通常是这种转换最好的开始点,”Nowalk说道,并指出这些最初的用例的运营成本也对于采用云存储的企业更易于看到。
然而,许多调查受访者表示使用云进行数据备份的一个原因在于云存储服务在市场上的占有率,从更为传统的产品,比如来自CommVault的产品,到云网关,甚至是新出现的云灾难恢复,比如数据保护即服务,Nadkarni说道。
虽然更多的组织开始试水云存储,不管是通过备份服务、归档或者使用云来保存生产数据,并不是所有的企业都开始这样做。围绕安全、法规遵从的担忧,以及围绕云服务的厂商锁定问题仍旧是一些IT部门没有开始的主要原因。
“让人们还保持冷静的就是厂商锁定,”Nadkarni说道,“他们想如果他们的数据进入云,他们该怎么弄回来。”
但是,好消息就是现在的云存储选择要比以前多很多。他指出谷歌的近线冷存储和数据归档服务,与之对应的就是亚马逊Web服务的Glacier,这二者就是企业可以考虑的新 云存储 选择。

分类

并不是所有的应用程序数据需要 SSD 性能。经常访问的数据可以迁移到基于磁盘的存储。ssd和基于磁盘的存储都支持标准I / O协议,因此,当把应用程序从本地硬件移动到云时,不需要更改应用程序。
有了附带直接固态硬盘或磁盘驱动器,你就可以使用任何你的操作系统所支持的文件系统。这种模式的一个缺点是,当机器实例关闭时,硬盘驱动器上的数据就会被删除。为了保存数据,必须将数据复制到另一个存储系统中,例如云中的对象存储。
附加存储系统的另一个缺点是:附加存储系统只能连接到一个实例。然而,微软Azure具备文件存储系统,可以实现SMB-compliant文件共享,可以跨多个实例共享。当将应用程序迁移到需要常规文件系统服务的云时,或者当多个实例需要访问相同的数据时,这一点是非常有用的。
在其他云中,数据集可能被复制到额外的存储设备中,并且这些设备可以连接到其他实例。然而,这可能会导致同步和一致性问题。
当多个实例正在读写相同的数据时,数据库可能是最好的选择。每个主要的云提供商都会提供关系和非关系 NoSQL 数据库。如果在设计阶段,数据存储需求定义明确,那么,关系 数据库 通常都是很合适的。如果无法提前获知数据库模式的位置,那么,可以选择 NoSQL 数据库。 [1]