采购一套第三方的集中备份管理软件和相应的服务器,该服务器必须同时连接用户的IP网络(在业务网络和NAS专用网络分开的情况下,该服务器必须连接业务网络而非NAS专用网络)和SAN网络;
采购一套物理带库连接到SAN网络中,利用该带库一方面实现数据的集中备份,另一方面实现后面章节所描述的图片文件的上带归档;
如上图所示,本方案建议在主机房利用Netapp FAS2050A磁盘阵列作为后端的数据集中存储设备,在数据访问架构上,利用Netapp磁盘阵列所特有的SAN/NAS一体化技术,采用SANNAS的架构:
SAN架构:利用两套SAN交换机搭建一个冗余的SAN网络,前端的所有需要通过SAN访问后端存储的主机都需要配置两块HBA卡,分别连接到这两套SAN交换机上,同时后端的Netapp FAS2050A磁盘阵列也利用两个控制器上配置的多个光纤接口连接到这两套SAN交换机上,这样整个SAN数据访问路径,从主机到SAN交换机再到后端的磁盘阵列,都实现了路径的冗余,通过安装在主机上的Netapp所提供的多路径管理软件,就可以实现这这些冗余的数据访问路径之间的负载均衡和故障切换保护,从而提升了SAN架构下数据访问的性能和可靠性;
非结构化数据:主要是指那些直接利用文件系统来存储和访问的文件,如用户目前所具有的大量的小图片文件
针对这些不同类型的业务数据,本方案建议采用不同的存储架构来支持对这些不同类型业务数据的存储和访问:
对于结构化和半结构化数据:考虑到目前用户的应用平台基本上都采用Windows平台,因此建议用户采用SAN架构来支持对这些类型的业务数据的存储和访问,这样就能充分发挥SAN架构的高性能和高稳定性,从而保证这些数据所对应的应用系统的高效稳定运行。从技术上考虑,我们强烈建议在Windows平台上不采用NAS架构来支持这些类型的应用数据的存储和访问,因此CIFS协议为一个有状态协议,因此任何的网络抖动所导致的网络短时间不通都会导致CIFS连接状态的丢失从而导致上面的数据库或邮件系统等应用系统的宕机,这也是我们在本次项目中,强烈建议对这种结构化和半结构化数据采用SAN架构的重要原因之一;
如果用户原有的IP网络带宽足够的话,就可以把NAS访问的数据网络直接架构在用户原有的IP网络上,即用户的NAS数据网和用户原有的业务网络采用同一个IP网络,这样一方面就可以利用原来的IP网络而不用新建NAS数据网从而节省投资,另一方面,所有需要通过NAS架构来访问数据的主机也不需要配置新的网卡;
快照操作所需的时间非常短,对于TB级的数据一般只需几秒就能完成这些数据的快照
而其他厂商的快照技术,由于采用了Copy-Out技术,会形成严重的IO惩罚从而导致严重的性能影响,这也决定了他们只能在实际使用当中对一份数据保存很少几份快照。
根据统计,在造成数据丢失或不可访问的原因中,那些逻辑性错误(如人为错误,病毒攻击,程序的逻辑性错误等)占了80%以上,因此为了保证数据的可靠性和可访问性,用户必须有相应的方法来防止这些逻辑性错误给数据的可靠性和可访问性所带来的威胁。本方案为了防止逻辑性错误对数据的威胁,建议使用Netapp的数据快照技术来对集中存储在磁盘阵列上的业务数据进行快照保护。Netapp的数据快照技术基于Netapp的WAFL专利技术,因此具有如下的技术优势:
如上所述,在利用Netapp的数据快照技术对业务数据进行快照保护后,就可以在需要的时候(如某些数据由于病毒攻击而丢失)利用快照进行恢复。在进行数据恢复的时候,如果只需要恢复少量数据,用户可以非常方便的利用拷贝复制的方式来实现,但是如果所需要恢复的数据量较大,这种方式所需要的时间就非常长。而Netapp的数据快速恢复技术Snaprestore技术就可以帮用户解决这个问题,Snaprestore利用数据快照进行数据恢复的时候,只是非常简单的把数据快照升格为生产数据,低层不需要进行任何的数据复制,因此不管所需要恢复的数据量有多大,都可以在很短的时间实现数据的恢复(基本上可以实现数据的秒级恢复),这样用户就可以大大缩短数据恢复及恢复应用正常运行所需的时间,在一定程度上保障了用户的业务连续性。
XX厅目前整个业务系统在存储系统上采用了分散存储的架构,即各个应用系统都采用主机自带的磁盘来存储各自的业务数据,这种数据分散存储的架构在数据管理、数据保护上都给用户带来了不小的困难,导致数据管理复杂,数据保护不到位的情况。另外,这种数据分散存储的架构,也导致了存储资源无法很好的实现共享,最终导致存储资源浪费比较严重。随着XX厅各类业务系统的发展,上面说述的架构越来越没法满足用户的需求,同时其所导致的各类矛盾和问题也越来越严重,因此用户希望通过本项目的建设,在新的IT架构中实现如下的目的:
如2.2节所描述,在搭建了集中数据存储平台并对XX厅的业务数据进行整合集中存储后,本方案在此基础上建议搭建一个数据的集中保护平台来对用户的业务数据提供高强度的本地保护,该数据保护平台主要有如下两块内容组成:
利用Netapp的数据快照(Snapshot)和数据的快速恢复(Snaprestore)软件实现业务数据的本地快速备份和快速恢复;
对于非结构化数据:考虑到这些数据本身就以文件的形式利用文件系统来存储和访问,且大部分的文件都需要被前端主机共享访问,而这些都是NAS架构天生的技术优势,因此本方案建议对于这部分数据采用NAS架构来存储和访问。这样一方面可以充分发挥NAS架构本身的文件共享访问的优势,同时也能利用NAS架构的低成本和易管理的特性降低这部分数据的存储成本和管理复杂性;
如果用户原有的IP网络带宽不足,为了避免NAS的数据访问占用太多的网络带宽从而影响用户业务系统的性能,建议用户重新搭建一个物理上独立的IP网络作为专用的NAS数据网,后端的磁盘阵列直接连接到该新的网络上,同时所有需要通过NAS访问数据的主机都需要配置一块新的网卡连接到该新的IP网络上。这中方法,虽然需要采购新的IP网络设备和网卡,但是NAS的数据访问流不会占用用户原有业务网络的带宽,因此不会影响对业务系统的运行,并且由于采用了独立的IP网络来支持NAS的数据访问,这也提升了NAS数据访问的安全性。
Server-Free备份:对于那些应用主机本身负载很高的应用系统的业务数据,可以结合Netapp的数据快照技术实现数据的Server-Free备份,数据备份前,先利用Netapp的数据快照技术对业务数据拍一份快照,然后把该快照挂接到备份服务器上,备份服务器通过SAN网络读取该快照数据然后再利用SAN网络把该快照数据直接备份到物理带库上。因此,Server-Free备份,即不会占用用户业务网络的带宽,也不需要占用应用主机的资源,备份不仅不会对业务系统造成性能影响,并且备份的效率也非常高;
NAS架构:用户可以利用原有的IP网络或搭建一个新的NAS专用的IP网络(具体采用何种方式参见下节的NAS网络实现分析),来实现前端主机对后端磁盘阵列的NAS架构访问,后端的FAS2050A磁盘阵列利用两个控制器上配置的多个千兆网口连接到IP网络交换机上,利用Netapp的Vif技术,在多条IP链路上进行捆绑,这样就能实现这多条IP链路之间的负载均衡和故障切换保护,从而大大提升了NAS数据访问路径的带宽和可靠性;
大量小文件的归档上带:根据用户需求,需要每个月实现对大量小文件的归档上带,考虑到目前的文件数已经接近1000万,并且文件数量还会随着业务的发展快速增长,因此必须提供一个很好的方法来实现这大量小文件的快速归档上带
考虑到用户的业务系统所涉及的数据,从数据的类型来分析,主要可以分为如下几类数据:
结构化数据:主要指那些基于数据库系统来实现数据存储和访问的数据(不论该数据库系统采用文件方式或裸设备方式来建库)
实现业务数据的集中存储:搭建一个数据的集中存储平台用来整合整个业务系统的所有业务数据,在实现数据集中存储的情况下,实现数据的集中管理,简化管理流程节约管理成本。同时在数据集中存储的基础上,实现一个数据集中保护平台和流程,加强对业务数据的保护力度;
实现数据的容灾保护:利用XX厅现有的机房环境(目前用户在不同楼层搭建了两个独立的机房)实现不同楼层两个机房之间的数据容灾保护,并且所采用的容灾技术必须具备良好的扩展性,以便于在以后需要的时候,可以把该容灾架构非常方便的拓展到更远距离的容灾保护(如同城容灾或异地容灾);
在进行数据集中备份的时候,用户可以根据这些数据所采用的存储架构不同,以及所需要备份的数据量和备份窗口长短等因素的不同,灵活采用如下所述的一些备份方式
LAN-Free备份:对于那些需要备份大量数据,但是相应的应用主机有足够的资源来进行数据备份的应用系统,可以在这些应用主机上安装备份软件的介质管理服务软件(Media Server),这样就能实现这些应用系统业务数据的LAN-Free备份,数据备份的时候,由应用主机通过SAN网络读取数据,bwin官网然后再利用SAN网络把这些数据直接备份到物理带库上,整个备份数据流不会经过用户的业务网络,因此不会占用用户的业务网络带宽,同时考虑到SAN网络的高带宽,使得数据备份的效率也得以很大的提升;
为了使逻辑性错误对数据的威胁降到最低,我们这里还要讨论一下逻辑性错误的一个特点:逻辑性错误的发生和被发现往往会存在一个时间差。如病毒攻击造成数据被破坏,只有在这部分数据被访问的时候才能发现,这中间有可能相隔几个小时或几天。可以设想,如果用户只能保存有限的几份快照,这几份快照有可能就在数据被破坏到此种情况被发现的这段时间内被更新,这样,这些快照本身就包含了这些逻辑性错误,失去了恢复数据的能力。因此,为了对逻辑性错误的防范做到万无一失,必须在一段时间内(保证逻辑性错误能在这段时间内被发现)以比较高的频率对数据进行快照保护,且能保留尽量多的快照,这样才能在逻辑性错误被发现的时候,用户手里还有有效的快照进行数据恢复,且数据的丢失量能尽可能的小。为了实现这个目的,快照技术一方面能支持尽量多的快照,每份快照所需要的额外空间相对于生产数据来收非常少,另一方面快照对性能的影响尽量的小,如上所述,这两点正是Netapp的快照技术所具有的优势
虽然上节所述的Netapp数据快照可以很好的消除逻辑性错误对数据所带来的威胁,但是数据快照底层采用的为指针复制技术,对于那些没有修改的数据,快照数据和原始数据在底层只占用了一份存储空间,这种技术一方面大大节省了快照所需要的存储空间,但是另外一方面也使得如果这些共享的存储空间万一发生介质错误,就可能导致快照数据和原始数据同时失效。这也是我们所说的,数据快照只能针对逻辑性错误而不可用来预防物理介质错误的原因。因此,本方案在利用数据快照对数据进行保护外,还建议采用第三方的集中备份管理软件来实现业务数据的上带备份保护。如架构图上所示,用户需要: