flyinweb's blog - 存储与Cache

网络附加存储

shanyiwan@live.com() — Fri, 18 Nov 2011 00:45:42 GMT

网络附加存储 (Network Attached Storage，NAS)^[1]，是一种专门的数据存储技术的名称，它可以直接连接在电脑网络上面，对异质网络用户提供了集中式数据访问服务。

描述

NAS和传统的文件存储服务或直接存储设备不同的地方，在于NAS设备上面的操作系统和软件只提供了数据存储、数据访问，以及相关的管理功能；此外，NAS设备也提供了不止一种文件传输协定。NAS系统通常有一个以上的硬盘，而且和传统的文件服务器一样，通常会把它们组成RAID来提供服务；有了NAS以后，网络上的其他服务器就可以不必再兼任文件服务器的功能。NAS的型式很多样化，可以是一个大量生产的嵌入式设备，也可以在一般的电脑上运行NAS的软件。

NAS用的是以文件为单位的通信协定，例如像是NFS（在UNIX系统上很常见）或是SMB（常用于Windows系统）。NAS所用的是以文件为单位的通信协定，大家都很清楚它们的运作模式，相对之下，存储区域网络（SAN）用的则是以区块为单位的通信协定、通常是通过SCSI再转为光纤通道或是iSCSI。（还有其他各种不同的SAN通信协定，像是ATA over Ethernet和HyperSCSI，不过这些都不常见。）

NAS电脑或设备用的通常是精简版的操作系统，只提供了最单纯的文件服务和其相关的通信协定；举例来说，有一个叫FreeNAS的开放源代码NAS软件用的就是精简版的FreeBSD，它可以在一般的电脑硬件上运行，而商业化的嵌入式设备用的则是封闭源码的操作系统和通信协定程序。

历史

网络存储设备 一开始是在1983年Novell公司的NetWare操作系统里面的文件分享功能和NCP通信协定里面所引进来的观念；而在UNIX界，1984年时升阳公司发表了NFS，让网络服务器之间能够利用网络程序彼此能够分享存储空间。3Com公司的3Server和3+Share软件是当时第一个为了开放系统服务器而特别设计的服务器 (其中包括了专属软硬件及多台磁盘驱动器)，该公司也从1985年到1990年代初期一直领导时代的潮流，3Com和微软公司在这个新市场上还合作开发了LAN Manager软件及其通信协定。受到Novell的文件侗服器的启发，IBM、升阳、以及其他相当多的公司都开始研发专属的服务器；3server应该是第一家专门为桌面型操作系统开发专属NAS的公司，而Auspex Systems则是第一家为UNIX市场开发专属NFS服务器的公司。在1990年代早期，Auspex公司的一些员工独立出来开了另一家叫Network Appliance的公司，同时支持了Windows和UNIX系统，打开了专属NAS的市场。

优点

NAS使用状况

NAS可让数据的使用率提升，主要的原因在于数据无需依附在服务器上，用户不会因为服务器关闭而无法使用数据，因为用户连结的是NAS。 NAS也让数据管理变得轻松及简单，让原本需要在服务器上进行的繁复设置程序，简化成几个步骤就可完成，大大的节省设置时间。

NAS头

消费性PC所用的NAS操作系统

著名的NAS系统例如FreeNAS、Openfiler等。FreeNAS基于FreeBSD系统，Openfiler基于Linux。^{[来源请求]}一般认为，后者的权限管理优于前者。^{[原创研究？]}但是前者可以通过在Shell中使用ACL机制实现较完善的权限管理。^{[来源请求]}

注释

^http://www.dxes.tc.edu.tw/dxeshtml/edu/edu_b/doc01.htm

参考

iSCSI存储的3种连接方式

shanyiwan@live.com() — Thu, 17 Nov 2011 09:32:11 GMT

下面来看iSCSI是如何与服务器、工作站等主机设备来连接的，也就是我们如何建立一个iSCSI网络存储系统。

iSCSI设备的主机接口一般默认都是IP接口，可以直接与以太网络交换机和iSCSI交换机连接，形成一个存储区域网络。根据主机端HBA卡、网络交换机的不同，iSCSI设备与主机之间有三种连接方式。

第一种：以太网卡+initiator软件方式。

服务器、工作站等主机使用标准的以太网卡，通过以太网线直接与以太网交换机连接，iSCSI存储也通过以太网线连接到以太网交换机上，或直接连接到主机的以太网卡上。在主机上安装Initiator软件。

安装Initiator软件后，Initiator软件可以将以太网卡虚拟为iSCSI卡，接受和发送iSCSI数据报文，从而实现主机和iSCSI设备之间的iSCSI协议和TCP/IP协议传输功能。

这种方式由于采用普通的标准以太网卡和以太网交换机，无需额外配置适配器，因此硬件成本最低。缺点是进行ISCSI包文和TCP/IP包文转换要点主机端的一部分资源。不过在低I/O和低带宽性能要求的应用环境中和完全满足数据访问要求。

目前很多最新版本的常用操作系统都提供免费的Initiator软件，建立一个存储系统除了存储设备本身外，基本上不需要投入更多的资金来，因此在三种系统连接方式中其建设成本是最低的。

第二种：硬件TOE网卡+initiator软件方式。

第一种方式由于采用普通以太网卡和以太网交换机，无需额外配置适配器，或专用的网络设备，因此硬件成本最低。但由于进行ISCSI包文和TCP/IP包文的打包和解包全部需要主机主处理器CPU来进行运算，数据传输率直接受到主机当前运行状态和可用资源的影响和限制，因此一般无法提供高带宽和高IOPS性能。

具有TOE（TCP Offload Engine）功能的智能以太网卡可以将网络数据流量的处理工作全部转到网卡上的集成硬件中进行，把系统主处理器CPU从忙于协议处理的繁重的内核中断服务中解脱出来，主机只承担TCP/IP控制信息的处理任务。

与第一种方式相比，采用TOE卡可以大幅度提高数据的传输速率。TCP/IP协议栈功能由TOE卡完成，而iSCSI层的功能仍旧由主机来完成。

由于TOE卡也采用TCP/IP协议，相当于一块高性能的以太网卡，所以第二种方式也可以看做是第一种连接方式的特殊情况。

第三种是iSCSI HBA卡+iSCSI交换机方式。

在主机上安装专业的iSCSI HBA适配卡，从而实现主机与交换机之间、主机与存储之间的高效数据交换。

与前两种方式相比，第三种连接方式中采用了iSCSI HBA卡，因此数据传输性能最好，价格也最高。

后两种方式都需要在主机上安装专门的硬件板卡，由于目前TOE网卡和iSCSI HBA的市场价格都比较贵。如果网络中主机数量比较多，那么网络总资金投入不见得会比FC-SAN存储系统低很多，网络的带宽和性能却相比FC-SAN存储系统差了很多。

有的读者可能会问，为什么这三种方式中都没有采用iSCSI交换机？

实际上，我们能在市场上看到的iSCSI交换机都不是真正意义上交换机，所谓的iSCSI交换机应该称之为iSCSI协议转换器、或者iSCSI桥接器。一部分端口用来连接主机的iSCSI HBA卡，另一部分端口用来连接FC存储或SCSI存储，只能实现存储设备与主机之间的FC-iSCSI（或SCSI-iSCSI）协议连接，不能实现iSCSI-iSCSI协议连接，其工作方式完全不同于以太网交换机或FC交换机那样，实现某一个协议内的互联互通。

因此iSCSI交换机一般都用作iSCSI存储内的控制器，而不是iSCSI存储与主机之间网络连接设备。

iSCSI存储的4种系统架构

shanyiwan@live.com() — Thu, 17 Nov 2011 09:19:09 GMT

现在市场有很多不同型号的iSCSI存储设备，设备的型号和参数有很多不同，厂商在做市场宣传时候也经常采用不同的口号或噱头，标榜自己的产品有各种各样不同的功能和优势。

实际上当我们对iSCSI设备的结构进行深入的研究时就会发现iSCSI从架构上可以分为4种类型的架构。

一、控制器系统架构

iSCSI的核心处理单元采用与FC光纤存储设备相同的结构。即采用专用的数据传输芯片、专用的RAID数据校验芯片、专用的高性能cache缓存和专用的嵌入式系统平台。打开设备机箱时可以看到iSCSI设备内部采用无线缆的背板结构，所有部件与背板之间通过标准或非标准的插槽链接在一起，而不是普通PC中的多种不同型号和规格的线缆链接。

这种类型的iSCSI存储设备核心处理单元采用高性能的硬件处理芯片，每个芯片功能单一，因此处理效率较高。操作系统是嵌入式设计，与其他类型的操作系统相比，嵌入式操作系统具有体积小、高稳定性、强实时性、固化代码以及操作方便简单等特点。因此控制器架构的iSCSI存储设备具有较高的安全性和和稳定性。

控制器架构iSCSI存储内部基于无线缆的背板链接方式，完全消除了链接上的单点故障，因此系统更安全，性能更稳定。一般可用于对性能的稳定性和高可用性具有较高要求的在线存储系统，比如：中小型数据库系统，大型数据的库备份系统，远程容灾系统，网站、电力或非线性编辑制作网等。

控制器架构的iSCSI设备由于核心处理器全部采用硬件，制造成本较高，因此一般销售价格较高。

目前市场还可以见到一种特殊的基于控制器架构的ISCSI存储设备。该类存储设备是在现有FC存储设备的基础上扩充或者增加ISCSI协议转换模块，使得FC存储设备可以支持FC数据传输协议和ISCSI传输协议，如EMC 150i/300i/500i 等。

常见控制器架构ISCSI产品：

1、Equlogic PS300E系列产品图片：

2、Infortrend EonStor A16E产品图片：

3、UIT BS2000e/3000e产品图片：

区分一个设备是否是控制器架构，可从以下几个方面去考虑：

1、是否双控：除了一些早期型号或低端型号外，高性能的iSCSI存储一般都会采用active-active的双控制器工作方式。控制器为模块化设计，并安装在同一个机箱内，非两个独立机箱的控制器。

2、缓存：有双控制器缓存镜像、缓存断电保护功能。

3、数据校验：采用专用硬件校验和数据传输芯片，非依靠普通CPU的软件校验，或普通RAID卡。

4、内部结构：打开控制器架构的设备，内部全部为无线缆的背板式连接方式，各硬件模块连接在背板的各个插槽上。

二、iSCSI连接桥系统架构

整个iSCSI存储分为两个部分，一个部分是前端协议转换设备，另一部分是后端存储。结构上类似NAS网关及其后端存储设备。

前端协议转换部分一般为硬件设备，主机接口为千兆以太网接口，磁盘接口一般为SCSI接口或FC接口，可连接SCSI磁盘阵列和FC存储设备。通过千兆以太网主机接口对外提供ISCSI数据传输协议。

后端存储一般采用SCSI磁盘阵列和FC存储设备，将SCSI磁盘阵列和FC存储设备的主机接口直接连接到iSCSI桥的磁盘接口上。

iSCSI连接桥设备本身只有协议转换功能，没有RAID校验和快照、卷复制等功能。创建RAID组、创建LUN等操作必须在存储设备上完成，存储设备有什么功能，整个iSCSI设备就具有什么样的功能。

SANRAD的V-Switch系列，ATTO Technology的iPBridge系列的iSCSI桥接器，提供iSCSI-to-SCSI与iSCSI-to-FC 的桥接，可将直连的磁盘阵列柜(Disk Array，JBOD、DAS)或磁带设备(Autoloader、Tape Library)转变成iSCSI存储设备。

不过随着iSCSI技术的逐渐成熟，连接桥架构的iSCSI设备越来越少，目前的市场上基本已看不到这样的产品了。

三、PC系统架构

那么何谓PC架构？按字面的意思可以理解为存储设备建立在PC服务器的基础上。即就是选择一个普通的、性能优良的、可支持多块磁盘的PC（一般为PC服务器和工控服务器），选择一款相对成熟稳定的iSCSI target软件，将iSCSI Target软件安装在PC服务器上，使普通的PC服务器转变成一台iSCSI存储设备，并通过PC服务器的以太网卡对外提供iSCSI数据传输协议。

目前常见的iSCSI Target软件多半由商业软件厂商提供，如DataCore Software的SANmelody，FalconStor Software的iSCSI Server for Windows，和String Bean Software的WinTarget等。这软件都只能运行在Windows操作系统平台上。

在PC架构的iSCSI存储设备上，所有的RAID组校验、逻辑卷管理、iSCSI 运算、TCP/IP 运算等都是以纯软件方式实现，因此对PC的CPU和内存的性能要求较高。另外iSCSI存储设备的性能极容易收PC服务器运行状态的影响。

当由于PC架构iSCSI存储设备的研发、生产、安装使用相对简单，硬件和软件成本相对较低，因此市场上常见的基于PC架构的iSCSI设备的价格都比较低，在一些对性能稳定性要求较低的系统中具有较大的价格优势。

常见PC架构iSCSI存储设备：

1、INTEL SSR212CC iSCSI产品图片：

2、H3C EX1000 iSCSI产品图片：

3、HP MSA1510i iSCSI产品图片：

四、PC+NIC系统架构

PC+iSCSI Target软件方式是一种低价低效比的解决方案，另外还有一种基于PC+NIC的高阶高效性iSCSI方案。

该方案是指在PC服务器中安装高性能的TOE智能NIC卡，将CPU资源较大的iSCSI运算、TCP/IP运算等数据传输操作转移到智能卡的硬件芯片上，由智能卡的专用硬件芯片来完成iSCSI运算、TCP/IP运算等，简化网络两端的内存数据交换程序，从而加速数据传输效率，降低PC的CPU占用，提高存储的性能。

目前Broadcom提出所谓的C-NIC(Converged NIC)聚合型网卡理念，即是在一颗NetXtreme II 系列的GbE控制芯片内同时具备TOE运算、iSCSI运算、I/O具备RDMA(Remote Direct Memory Access)运算，大幅卸除CPU的辅助运算，使CPU占用率降至20%以下。

Broadcom的代表性芯片为BCM5706(PCI/PCI-X 接口)与BCM5708S(PCIe 接口)，其中BCM5706 为第一代，BCM5708S 为第二代，第二代传输率从1Gbps 提升至2.5Gbps。第三代传输率从2.5Gbps 提升至10Gbps。

IP-SAN: A complete Storage solution

shanyiwan@live.com() — Thu, 17 Nov 2011 09:16:44 GMT

Traditionally, IP-SAN has been used for file services. But it is actually capable of much more. by Pramod S.

There has been enough debate on the SAN vs. NAS issue. But those who have written about this have generally taken the traditional view of differentiating SAN and NAS. The aim of this article is to understand SAN and NAS from a functional point of view, and to look at IP-SAN not just as a File-server but also as a complete storage system, which can take care of other application needs too. Technologies like iSCSI, iFCP (Internet Fiber Channel Protocol) etc have been briefly discussed as these have not yet been widely accepted in the market, and the technology is also not completely mature.

Technically, a product might offer many features, but what is the point in buying something 'big' when those technical features cannot be converted to business goals? The technology that you plan to implement, should ensure the required uptime, give you sufficient performance, reduce maintenance, and be scalable. Overall, it should make a difference in the way you work, so that with the same or less effort you deliver more support to your business.

Defining SAN
A Storage Area Network may be defined as a dedicated network of servers and storage with:

Any to any connection
Multiple paths to all resources
Open structure using industry standard protocols
No nodal dependencies (it can function even if a node or two is down)
High bandwidth and High availability
Scales up with no performance loss

A SAN can be deployed in two ways: using Fiber Channel or the IP way. The first is called FC-SAN while the second is IP-SAN. IP-SAN can also mean the network built with iSCSI as the protocol. I will limit my discussion to NFS/CIFS as the protocols for the IP-SAN.

Let's examine the functional difference between FC-SAN and an IP-SAN.

FC-SAN
As seen in the diagram, in an FC-SAN the file I/O is between the application and the file-system, which talks to the volume manager, which in turn makes block I/O to the storage device. As we see here, the file-system and the volume manager (if any) are on the server and the storage has the RAID and the disks.

FC - SAN

Click on image for larger view

IP-SAN
The basic components of the system are the same, but here the application makes the file I/O to a file-system which is outside the server and the block I/O now happens within the storage between the volume manager and the RAID.

APPLICATIONS
Traditionally, NAS has been used for File services only and SAN for all other applications. But those were the days of File-services from servers and 10 Mbps LANs. With dedicated appliance and gigabit speeds on the wire, throughputs that can be obtained from NAS devices are really good. Applications have their own requirements or limitations in terms of the bandwidth that they use. Just because you have connected a 200 Mbps link between the server and the storage, the application server will not use the full bandwidth, it might not use half of it too—it all depends on the application requirements. An application might require about 20 Mbps bandwidth, so there's no point giving it 200 Mbps Also, the servers have to be big enough to pump so much of data in and out, a small or medium server will not be able to pump so much I/O. A detailed assessment of the I/O requirements and server capacities needs to be made before sizing any storage device.

IS PERFOMANCE EVERYTHING?
But why is performance associated with speed and power? What is overlooked is the performance the applications will require. Should one only look at storage for performance or look at other aspects like ease of use, recoverability, manageability?

Good performance can be achieved on both IP and the FC storage. Performance is definitely required when things are running fine—it should run at optimum speed as per business requirements, but performance is not everything. Performance is good as long as things are normal, but when there is a crisis or some failure, the credibility of the storage vendor comes into play, in terms of recoverability.

Traditionally, FC-SAN has been considered to be difficult and IP-SAN easy to deploy. Also FC-SAN is associated with interoperability issues, which the IP-SAN is not. Though this does exist to an extent, it is much different from what it was before. FC-SANs are coming up with management tools, which make deploying FC-SAN relatively simple and vendors on IP-SAN making their devices faster and faster so that there is little distinction on what can run on IP-SAN and on FC. But to date IP-SAN deployments are extremely simple and easy to deploy, manage and provide some exceptional recovery methods.

IP - SAN

Click on image for larger view

PERFORMANCE
Storage on IP-SAN has evolved to a large extent than what it was before. With performance getting closer to SAN storage, while still maintaining all the manageability, and recoverability features, they make an ideal choice for most requirements. Current IP-SAN technology can address 80 to 85 percent of the storage requirements. The rest is better on SAN because of specific requirements or application needs, but can still be met on IP-SAN if the investment in FC does not make business sense. There are many media companies who use IP-SAN for streaming audio/video data. There are also enough implementations of databases (OLTP & DSS) or ERP/Billing etc on IP-SAN. This is evidence that traditional approaches are things of the past.

If we look at a development environment where databases have been deployed for developing applications or small SAP implementations with 100 odd users, even an average size IP-SAN would be enough to provide the required performance. You don't even need a big IP-SAN device.

DAFS
DAFS (Direct access file system) an open protocol fore-fronted by IP-SAN vendors, has shown extremely good results on the industry standard TPC benchmarks for OLTP. The real world benchmark showed the best price/performance for a Unix-based system, the best per-processor performance for a SPARC-based system, and the best performance per CPU-MHz on SPARC ever achieved show that extremely high OLTP requirements can also be met on the IP-SAN where performance outweighs all other requirements.

Integrating NAS with SAN

Click on image for larger view

DEFINING NAS
NAS represents devices that attach themselves on the IP network and provide CIFS/NFS services. I would differentiate NAS from IP-SAN as IP-SAN being setup with a dedicated interconnect (Gigabit) between servers and NAS—when the same storage, is connected on the Non-Dedicated 10/100 Mbps Network. Performance is one of the main criteria of IP-SAN along with other features of IP storage. A typical setup showing an IP-SAN also being connected as NAS is shown below.

SUMMARY
Storage requirements need to be looked at not just from the performance point of view, but a holistic approach needs to be taken with business needs in mind. Traditional approaches of 'IP for file' and 'FC for databases' are passé. Decisions need to be made considering all the storage requirements of an enterprise (file services and database or other applications), and the infrastructure or manpower in place. The investment that needs to be made for the deployment of the new infrastructure is also an important factor.

Here are some other differences between FC-SAN and IP-SAN:

FC-SAN	IP-SAN
SCSI-III Protocol for data access	NFS/CIFS Protocol for data access
Block Access	File access
Fiber Channel Network	Gigabit Ethernet Network
Volume manager using server OS/ Middleware on the server	Volume manager on the storage
File-system using server OS/ Middleware on the server	File-system on the storage
RAID on storage	RAID on the storage
Only hardware Sharing	Hardware and Data Sharing
Use HBA to connect from the server	Use NIC to connect from the server
Wire Speed 100 - 200 MB/Sec/HBA	Wire Speed 125 MB/sec/HBA

Differences between IP-SAN and NAS:

IP-SAN	NAS
NFS / CIFS access to storage for specific set of	NFS/CIFS access to storage on the standard
servers on a dedicated Gigabit or Higher Network	10/100 Network
For High Performance requirements along with other	For less performance intensive access along with
IP-Storage features like data sharing, recoverability,	other IP-Storage features like data sharing,
ease of use etc.	recoverability, ease of use etc.

Pramod S. is Systems Specialist Apara Enterprise solutions pramod@apara.com

Source From:http://www.networkmagazineindia.com/200212/vendor.shtml

SAN网络存储共享软件全攻略

shanyiwan@live.com() — Thu, 17 Nov 2011 09:01:26 GMT

在高性能专用存储网络需求的驱使下，SAN存储区域网络系统大量应用于高性能计算网络系统、大型网站系统、非线性编辑系统等网络系统中，存储设备与计算机主机系统之间一对一的关系，被可供多个系统共享同一个存储设备网络的关系所取代。为确保多大量客户端主机对同一存储设备的共享访问权限和和管理权限的统一，就需要安装专门的存储共享管理软件或采用专门的共享文件系统。

SANergy、ImageSAN、StorNext、GPFS、CXFS等软件或文件系统就是为了实现存储设备共享而开发的。

一、典型SAN共享系统

在详细解释SAN网络存储共享管理软件之前，假设你对SAN、NAS、DAS和ISCSI技术的特点和区别已经很熟悉，我们先分析一下典型FC-SAN存储网络和IP-SAN存储网络架构在系统构及卷管理和数据访问方面的特点。

典型FC-SAN共享存储系统结构图：

（图1）
大型FC-SAN存储共享系统经常被称“FC+LAN”双网结构，这是指在本该系统由FC光纤通道网络和LAN以太网络两个网络共同构成，其中以太网络负责工作站与MDC（MetaData Controller）服务器与工作站之间的元数据信息传输和交换，FC光纤通道网络只负责实际数据的高带宽传输。这种网络结构可充分利用两种网络的特点，发挥两个网络的最大效率。

典型IP-SAN共享存储系统结构图：

以iSCSI设备为核心存储的IP-SAN采用了与FC-SAN类似的结构，典型的ISCSI存储网络系统结构如下所示：

（图2）

IP-SAN一般被称为单网结构，是指MDC服务器与工作站之间的元数据和实际数据都是通过以太网络来进行传输和交换。单网结构具有网络结构简单，可充分利用现在设备，系统建设时对现在系统修改较小，管理维护方便等特点。

一、SANergy

SANergy可以理解为一个文件系统的扩展，它能提升嵌入Windows NT、Windows 2000®、Unix和Machintosh操作系统内部的分布式数据共享能力。SANergy可以将标准网络文件输入/输出，由LAN重新指向SAN。普通的网络协议（CIF或NFS）在标准的LAN上建立连接以共享文件，而数据本身通过更高效的SAN以高得多的带宽传输。与SAN连接的存储介质可被格式化成NTFS、UFS或EXT FS格式或支持SANergy open API的任何其它文件系统。

SANergy将标准的Windows NT、Windows 2000、SUN Soloris™或Red Hat Linux®文件服务器扩展后，充当共享式存储器的元数据控制器（MDC）。这个MDC通过运行SANergy客户端软件的计算机，管理对SAN存储器的访问。通过提供重要的文件系统元数据，MDC在客户计算机提出请求时，管理对公用存储器的访问。然后，客户机可以通过SAN的连接直接访问该存储器。

SANergy对大部分系统服务或应用程序提供透明支持，使用户能够通过实施存储区域网络（SAN）透明地共享公用存储器、卷和文件的存取；可以使UNIX®、Windows NT®和　Apple Macintosh系统在卷、文件和字节级上跨平台共享存储资源，从而比基于服务器共享的方式大大增加吞吐量，降低管理费。

SANergy不是一个独立的文件系统，而只是一个文件I/O 重定向程序。它截取文件I/O 重定向到MDC 文件系统管理的磁盘，所以它只是一个SAN 文件系统外壳软件。MDC对磁盘及文件系统的管理视主机平台而定，如是Windows就是NTFS、Solaris，就是UFS、Linux就是EXT2等。在异构操作系统平台之间共享数据需要采用NFS 协议处理，性能表现不佳，实现可用性不高，不能满足混合平台、大量主机并发工作环境中的性能要求。

工作站以网络文件系统方式安装共享磁盘，而SANergy不是独立的文件系统，它必须以网络文件系统的形式安装在主机上（Windows就是网络盘符、UNIX和Linux就是NFS文件系统），那些不能在网络文件系统上处理数据的应用就无法运行，或运行效率和很低。除了MDC 外，所有SANergy主机都无法为其他LAN主机提供数据共享，因为它本身就是网络文件系统，不能再次共享。

Metadata传输占用LAN带宽高，占用MDC主机资源多，不能支持大量主机并发访问。SANergy使用NFS/CIFS文件传输协议传输Metadata信息，不仅占用很大的LAN带宽，而且由于MDC必须运行NFS/CIFS服务器处理连接，所以消耗资源很大，在高负载环境中效率低下依赖其它文件系统技术处理硬件，在高负载环境中数据处理性能低下SANergy MDC只有在Windows或AIX环境下才可以双机切换，而且需要机群软件支持。如果MDC 主机是其它UNIX或Linux，就无切换功能。这个约束极大降低了SANergy系统的可靠性和可用性。

笔者注：

SANergy软件安装和使用简单方便，需要进行设置的参数项少，任何人只需要进行简单地培训就可以使用。虽然SANergy软件的官方价格仍然很高，但实际上其它盗版到处都有，不需要注册码且可以长期使用，与从官方购买到的软件完全相同。因此对于一些存储需要共享但又不想花买正版软件的人来讲，应该是一个不错的选择。

然而，经本人长期亲自使用后发现，SANergy软件的稳定性和安全不足。虽然官方一直声称主机数没有限制，但实际上当网络中的主机数量到达100-150时，MDC服务器性能会大幅度降低，经常出现一些莫名其妙的问题，可能会引起数据丢失或文件系统损坏，系统运行和维护管理要求严格，必须在对共享网络存储有深入了解的技术人员指导下来进行日常维护。目前官方已不再对SANergy的后期开发和升级，改去开发新的共享软件，但不知道还提供SANergy软件的后期技术支持。

另外，SANergy软件在异构操作系统平台下表现不佳，实际性能只相当于同构性的1/4-1/5,这个性能远不能满足系统正常运行的需要。

二、ImageSAN

ImageSAN是Rorke Data公司专门针对广电行业音视频(AV)SAN网络存储应用而研发的，是Windows NT/2000/XP及Macintosh OSX环境及混合环境的SAN解决方案，并提供广泛的应用支持和高适应性的容错能力。基于ImageSAN的存储共享解决方案通过速度、协作和多任务提高了视频、音频及图形编辑系统的网络化处理能力。

MDC设置：ImageSAN可以保证卷Master的动态切换，确保高可用性。在对等网中，每一台主机都有可能成为卷Master。从成本考虑，用户根本不必花费额外的MDC费用。而从安全性等方面考虑，当网络中主机数量大于10时，用户往往使用域模式(并不是必须如此，取决于用户以太网的设置)，单独设置了一台域服务器，ImageSAN就可以指定该服务器为Master。同类其它产品则完全依赖MDC，MDC一旦出故障，将导致整个网络瘫痪。

二次共享：在每一台ImageSAN工作站上，SAN共享卷都直接显示为本地硬盘。由于具有所有本地硬盘的特性，SAN存储卷可以再映射到以太网以便共享。这样，SAN以外的以太网工作站也可以访问SAN中的资料。更重要的是，SAN中的每一台主机都可以面向以太网共享同一SAN分区(用户权限支持)。整个网络的处理能力分担了原来单台服务器的负载，大大减小了网络瘫痪的可能性。这一点特别适合无卡网络编辑的要求。

动态高可用冗余标准：ImageSAN网络中的Master如果出故障，同一网络中的工作站都可以接管成为Master。而且，SAN中的每个卷都可以单独指定自己的Master，也可让网络选举产生Master，非常灵活。如果通过其他软件管理SAN，Master的MDC出故障，就要靠Slave的MDC接管。如果Slave的MDC也出故障，将导致整个网络瘫痪。

笔者注：

ImageSAN软件在视频共享网络环境中性能表现良好，但在非视频共享环境中表现一般。感觉上ImageSAN实际使用的案例比较少，特别是大型网络系统中很少用到ImageSAN，非视频共享行业用户对ImageSAN更少听闻。

三、StorNext

StorNext FS是完全为SAN网络环境设计的文件系统，不依赖于任何现有操作系统中附带的、独立的、跨平台SAN文件系统。

StorNext FS是真正的64位文件系统，可以保证管理巨大的磁盘空间和文件数量，不同类型的主机可以同时以FC Direct I/O方式访问数据，中间不需要任何协议转换。因此，StorNext FS 可以充分利用和发挥SAN 体系结构的所有优点，完全摆脱现有文件系统产品的结构束缚，特别是在混合平台、大量主机并发工作环境中优势非常突出。采用日志型文件系统的设计保证系统的可靠性、健壮性和快速恢复能力。

StorNext FS直接通过TCP/IP协议传输Metadata，MDC采用优化算法处理Metadata，Metadata传输占用LAN带宽低，占用MDC主机资源少，可以支持大量主机并发访问，因此传输和处理效率非常高，可以满足大量主机在高负载环境下并行工作的要求。

StorNext FS具有自己的磁盘逻辑卷管理功能，可以优化组合SAN中的磁盘资源，并且可以对SAN网络链路进行多通道并发处理、保证带宽质量和实现负载均衡。加上StorNext SM 管理模块，可以管理多种磁带库和磁带介质具备多种SAN网络和磁盘优化功能，可充分发挥硬件性能，在高负载环境中数据处理性能突出。

StorNext FS的Metadata控制器可以在任何类型的主机（多达7 台）中进行切换，因此可以最大限度地保证系统的连续、可靠运行。

由于StorNext FS 是独立的文件系统，工作站以本地文件系统方式安装共享磁盘，共享磁盘直接显示为本地磁盘，可进行二次网络共享，所有应用软件都可以以本地磁盘和文件系统方式处理StorNext FS 中的数据。

具有原始集成的HSM数据归档、迁移、备份和容灾功能（StorNext Storage Manager），StorNext FS是符合XDSM数据管理标准的文件系统，具备内置的数据迁移、保护、容灾等管理模块 – StorNext Storage Manager 实现跨存储介质的、长期的数据存储和保护解决方案。

笔者注：

StorNext软件是目前最热门的存储共享管理软件，因此软件价格也居高不下，当网络规模较大时，可能StorNext软件的购置费用就会占用非常大的一部分成本。

StorNext设置参数较多，技术人员要求较高。听说朋友说StorNext的问题与SANergy相比并不少，且出了问题难以排查。

四、CXFS

CXFS是可扩展的日志性群集文件系统，具高可扩展性。单一文件大小可以达到九百万TB，文件系统可以达到1800万TB。动态分配算法使得一个文件系统可以存储数百万个文件而不浪费磁盘空间，单一目录管理百万个文件而不影响性能。

CXFS通过使用先进的XVM卷管理工具，一个磁盘卷可以有几千个磁盘构成，当现有磁盘卷容量不能满足用户需求时，可以在线增加新的磁盘，确保CXFS能满足日见增长的存储需要。
网络的速度、服务器的能力和协议本身都是NFS性能的障碍。NFS协议是同步操作，每一数据块请求都需要两次网络I/O；CXFS只通过网络请求少量的Metadata信息，大量的数据I/O是直接通过读写磁盘实现的。另外CXFS还可以在单一系统I/O路径使用多块FC卡增加I/O带宽。因为CXFS服务器只在数据传输之初将文件信息和文件控制权限赋予CXFS客户机，而不参与每一次的数据传输，所以CXFS服务器并不需要很大即可支持大量的客户机。

CXFS被设计成能自动识别并恢复单点失败，单点失败包括：主Metadata服务器失败、SAN失败、TCP/IP网络失败等。在CXFS配置中，一台主机是Metadata服务器，所有其他主机都可以设计成备份Metadata 服务器，一个备份服务器探测到主Metadata服务器失败后将自动变成主Metadata服务器。

笔者注：

据官方工程师讲，为了有效地利用CXFS文件系统，建议除了普通的以太网络和SAN网络之间，再建立一个“第三网”，该网络只负责CXFS管理服务器和客户端工作站之间的元数据信息和指今的管理和传输。

笔者曾在2004年测试过CXFS文件系统，测试网络采用双网结构，未建立所谓的第三网。测试发现以太网的流量会随CXFS文件系统使用时间的延续而不断增加，网络的效率也会不断降低，直至最终网络堵塞。先后共三个时间三个不同网络环境测试的结果相同。后听说官方就此问题进行了再次开发仍然未解决该问题。后来怎么样就不是很清楚了。

五、GPFS

通用并行文件系统 (General Parallel File System – GPFS)将所有的物理资源(包括服务器和磁盘阵列)都视为虚拟文件系统的对象，允许使用者共享分布在多个节点和多个磁盘上的文件。它允许并行的应用程序同时从GPFS 节点组（nodeset）中的任何节点访问相同或不同的文件(节点组 nodeset 被定义为一组运行相同版本GPFS的节点)。

一个GPFS文件系统可以横跨在群集内的所有主机上，分布在所有磁盘上。GPFS文件系统在读写文件时采用条带化技术，将数据分成条带并行写入到该GPFS下的所有NSD中。在有高速数据通道的GPFS配置下，读写文件时可以通过所有主机的光纤通道访问所有的磁盘。

GPFS文件系统的设计目标是使数据分布在一个集群中的所有节点上，允许应用程序通过标准的UNIX文件系统接口来访问数据。大多数的UNIX文件系统被设计在单一服务器环境下使用，在这一环境下, 增加文件服务器也不会提高特定的文件存取的性能。

GPFS通过将I/O分布在多个硬盘提高性能，通过日志和复制的方式提高数据的可靠性，通过增加节点和在节点之间由SP Switch互联提高系统的可扩展性。

通过将文件分布在多个节点和磁盘上，GPFS可以超越单一节点和单一文件系统的性能极限。文件系统能够跨越多个节点和多组磁盘，这些磁盘可以是使用 SSA 技术在HACMP群集里面直接地连接到每个节点上进行物理共享，也可以是由IBM的VSD（Virtual Shared Disk）和SP Switch技术使经过软件进行共享。

GPFS的系统资源可以动态调整，可以在文件系统挂载情况下添加或者删除硬盘。当处于相对空闲时,用户可以在已配置的硬盘上重新均衡文件系统以提高吞吐量。可以在不重新启动GPFS服务情况下添加新节点。

GPFS还通过用户端的数据缓存，大的文件页的支持 (16 kB- 1024 kB)，文件预读和延迟写的功能等技术提高性能，其性能超过网络性文件系统 (NFS),分布式文件系统(DFS)和日志文件系统 (JFS)。与这些文件系统不同，GPFS文件系统可以通过在群集或SP系统中增加节点的方式提高性能。

GPFS是一种日志文件系统,为不同节点建立各自独立的日志。日志种记录Metadata的分布,一旦节点发生故障后,可以保证快速恢复数据。GPFS fail-over功能通过规划,将数据分布到不同failure group内达到高可用性,减少单点故障的影响。为了保证数据可用性，GPFS在多个failure group内为每个数据实例做备份，即使创建文件系统时没有要求复制，GPFS也会自动在不同的failure group内复制恢复日志。

除了已有的AIX管理文件系统的命令， GPFS还提供简化多节点管理的功能。一个GPFS多节点命令能作用于集群中所有的节点，并且可以从群集中的任何节点上操作。这些命令以现有的AIX文件系统命令为基础, 并进行了扩充。GPFS支持X/Open 4.0的文件系统标准,大多数的AIX和 UNIX操作系统的应用程序不需要修改，就可以访问GPFS文件系统上的数据。这些特性使得GPFS文件系统可以替代其他的UNIX文件系统。

笔者注：据朋友说，GPFS目前只能有IBM服务器和存储平台上正常运行，其它的平台运行效率不佳。未经证实，也不知道是否正确。

六、GFS

Global 文件系统（Global File System, GFS）是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。每一台linux主机都可以将网络共享磁盘看作是本地磁盘，且GFS也以本地文件系统的形式出现。

采用GFS的存储共享系统由一个master和大量的chunkserver构成。只要资源和可靠性允许，chunkserver和client可以运行在同一个机器上。

文件被分成固定大小的块。每个块由一个不变的、全局唯一的64位的chunk－handle标识，chunk－handle是在块创建时由 master分配的。ChunkServer将块当作Linux文件存储在本地磁盘并可以读和写由chunk－handle和位区间指定的数据。出于可靠性考虑，每一个块被复制到多个chunkserver上。默认情况下，保存3个副本，但这可以由用户指定。

Master维护文件系统所以的元数据（metadata），包括名字空间、访问控制信息、从文件到块的映射以及块的当前位置。它也控制系统范围的活动，如块租约（lease）管理，孤儿块的垃圾收集，chunkserver间的块迁移。Master定期通过HeartBeat消息与每一个 chunkserver通信，给chunkserver传递指令并收集它的状态。

与每个应用相联的GFS客户代码实现了文件系统的API并与master和chunkserver通信以代表应用程序读和写数据。客户与master的交换只限于对元数据（metadata）的操作，所有数据方面的通信都直接和chunkserver联系。

客户和chunkserver都不缓存文件数据。因为用户缓存的益处微乎其微，这是由于数据太多或工作集太大而无法缓存。不缓存数据简化了客户程序和整个系统，因为不必考虑缓存的一致性问题。但用户缓存元数据（metadata）。Chunkserver也不必缓存文件，因为块时作为本地文件存储的。

元数据（metadata）：
master存储了三种类型的metadata：文件的名字空间和块的名字空间，从文件到块的映射，块的副本的位置。所有的metadata都放在内存中。前两种类型的metadata通过向操作日志登记修改而保持不变，操作日志存储在master的本地磁盘并在几个远程机器上留有副本。使用日志使得我们可以很简单地、可靠地更新master的状态，即使在master崩溃的情况下也不会有不一致的问题。相反，mater在每次启动以及当有 chuankserver加入的时候询问每个chunkserver的所拥有的块的情况。

以上所论述的都是目前常用的SAN网络存储共享管理软件，实际上还有一些不常用或新开发的存储共享管理软件，如SANFS。国内广电行业两大集成商也在开发自己的存储共享管理软件，目前第一个版本正准备在一个大规模网络系统中进行测试。我期待其有良好的测试结果。

iSCSI存储技术全攻略

shanyiwan@live.com() — Thu, 17 Nov 2011 08:20:45 GMT

什么是iSCSI

iSCSI（iSCSI = internet Small Computer System Interface ）是由IEETF开发的网络存储标准，目的是为了用IP协议将存储设备连接在一起。通过在IP网上传送SCSI命令和数据，ISCSI推动了数据在网际之间的传递，同时也促进了数据的远距离管理。由于其出色的数据传输能力，ISCSI协议被认为是促进存储区域网（SAN）市场快速发展的关键因素之一。因为IP网络的广泛应用， ISCSI能够在LAN、WAN甚至internet上进行数据传送，使得数据的存储不再受地域的现在。

ISCSI技术的核心是在TCP/IP网络上传输SCSI协议，是指用TCP/IP报文、和ISCSI报文封装SCSI报文，使得SCSI命令和数据可以在普通以太网络上进行传输，如下图：

iSCSI 协议定义了在 TCP/IP 网络发送、接收 block（数据块）级的存储数据的规则和方法。发送端将SCSI命令和数据封装到 TCP/IP 包中再通过网络转发，接收端收到 TCP/IP 包之后，将其还原为SCSI命令和数据并执行，完成之后将返回的SCSI命令和数据再封装到 TCP/IP 包中再传送回发送端。而整个过程在用户看来，使用远端的存储设备就象访问本地的 SCSI设备一样简单。

早在 2001 年上半年，IBM 就推出了IP Storage 200i，是市场上公认的第一款基于iSCSI 协议的产品，这款产品的出现，对于身处信息爆炸时代却无法承担光纤通道 SAN 环境高成本的中小型用户来说，具有巨大的吸引力；2001年10月，Cisco也推出了SN5420存储路由器，基于IP标准和SAN标准，可以提供与现有LAN、WAN、光纤和SAN设备之间的互操作，率先建立了IP网络与SAN之间的桥梁。现在，有更多的厂商参与到iSCSI产品的开发中，如Intel已经推出了存储网卡 IP Storage iSCSI PRO/1000T，将协议转化也就是封装、还原 TCP/IP 包的步骤转移到网卡上来执行，大大降低了服务器处理器的占用率。同时，还有芯片、板卡制造商加入到iSCSI产品的开发中，如Adaptec、Qlogic 等等。

iSCSI可以实现在IP网络上运行SCSI协议，使其能够在诸如高速千兆以太网上进行路由选择。用户可使用标准的千兆级以太网传输协议，通过Cat5线缆和任意的交换机产品，将服务器与磁盘阵列连接在一起，并且能够提供接近FC SAN的性能。

iSCSI集SCSI、以太网和TCP/IP等技术于一身，支持iSCSI技术的服务器和存储设备能够直接连接到现有的IP交换机和路由器上，具有低廉、开放、大容量、传输速度高、安全等诸多优点，最适合需要在网络上存储和传输大量数据的应用环境，比如广电视频制作和媒资系统，视频监控系统，IPTV系统，数据备份系统，以及许多的对IOPS和带宽性能要求不是还很高的数据库存储系统、大容量文件存储系统。

iSCSI存储系统架构

实际上当我们对iSCSI设备的结构进行深入的研究时就会发现iSCSI从架构上可以分为4种类型的架构。

一、控制器架构

控制器架构的iSCSI设备由于核心处理器全部采用硬件，制造成本较高，因此一般销售价格较高。

目前市场还可以见到一种特殊的基于控制器架构的iSCSI存储设备。该类存储设备是在现有FC-SAN存储设备的基础上增加iSCSI协议转换模块，使得FC-SAN存储设备可以同时支持FC数据传输协议和iSCSI传输协议，如EMC 150i/300i/500i，HDS AMS1000/500/200等。

常见控制器架构iSCSI产品：

1、Equlogic PS300E系列

2、Infortrend EonStor A16E

3、UIT BS2000e/3000e

区分一个设备是否是控制器架构，可从以下几个方面去考虑：

2、缓存：有双控制器缓存镜像、缓存断电保护功能。

3、数据校验：采用专用硬件校验和数据传输芯片，非依靠普通CPU的软件校验，或普通RAID卡。

4、内部结构：打开控制器架构的设备，内部全部为无线缆的背板式连接方式，各硬件模块连接在背板的各个插槽上。

二、iSCSI连接桥架构

整个iSCSI存储分为两个部分，一个部分是前端协议转换设备，另一部分是后端存储。结构上类似NAS网关及其后端存储设备。

后端存储一般采用SCSI磁盘阵列和FC存储设备，将SCSI磁盘阵列和FC存储设备的主机接口直接连接到iSCSI桥的磁盘接口上。

不过随着iSCSI技术的逐渐成熟，连接桥架构的iSCSI设备越来越少，目前的市场上基本已看不到这样的产品了。

三、PC架构

常见PC架构iSCSI存储设备：

1、INTEL SSR212CC iSCSI产品图片：

2、H3C EX1000 iSCSI产品图片：

3、HP MSA1510i iSCSI产品图片：

四、PC+NIC架构

PC+iSCSI Target软件方式是一种低价低效比的解决方案，另外还有一种基于PC+NIC的高阶高效性iSCSI 方案。

如果只是将高速Ethernet用于存储网络化过于可惜，因此众多厂商发起了iWARP，不仅可实现存储网络化，也能实现I/O 的网络化。通过RDMA(Remote Direct Memory Access)机制简化网络两端的内存数据交换程序，从而加速数据传输效率。

目前Broadcom提出所谓的C-NIC(Converged NIC)聚合型网卡理念，即是在一颗NetXtreme II 系列的GbE控制芯片内同时具备以太网络、存储网络化、I/O网络化等功效。传统以太网部分具有TOE运算，存储网络化则具备iSCSI运算、I/O网化则具备RDMA运算，大幅卸除CPU的辅助运算，使CPU占用率降至20%以下。

Broadcom 目前的代表性芯片为BCM5706(PCI/PCI-X 接口)与BCM5708S(PCIe 接口)，其中BCM5706 为第一代，BCM5708S 为第二代，第二代传输率从1Gbps 提升至2.5Gbps。第三代传输率从2.5Gbps 提升至10Gbps。

iSCSI存储连接方式

我们分析了iSCSI存储的系统结构，下面来看iSCSI是如何与服务器、工作站等主机设备来连接的，也就是我们如何建立一个iSCSI网络存储系统。

第一种：以太网卡+initiator软件方式。

第二种：硬件TOE网卡+initiator软件方式。

与第一种方式相比，采用TOE卡可以大幅度提高数据的传输速率。TCP/IP协议栈功能由TOE卡完成，而iSCSI层的功能仍旧由主机来完成。

由于TOE卡也采用TCP/IP协议，相当于一块高性能的以太网卡，所以第二种方式也可以看做是第一种连接方式的特殊情况。

第三种：iSCSI HBA卡连接方式。

在主机上安装专业的iSCSI HBA适配卡，从而实现主机与交换机之间、主机与存储之间的高效数据交换。

与前两种方式相比，第三种连接方式中采用了iSCSI HBA卡，因此数据传输性能最好，价格也最高。

有的读者可能会问，为什么这三种方式中都没有采用iSCSI交换机？

因此iSCSI交换机一般都用作iSCSI存储内的控制器，而不是iSCSI存储与主机之间网络连接设备。

iSCSI存储使用模式：

1、DAS使用方式

ISCSI存储设备和SCSI存储和FC存储一样，可以直接通过连接线缆与主机上的HBA连接，作为主机的DAS直接连接存储来使用，如下图：

ISCSI存储设备的卷由服务器或NAS网关来管理和使用，其它的工作站通过服务器和NAS网关来访问iSCSI存储上数据。整个系统安装调试简单方便，服务器和NAS网关很容易实现数据的网络化共享访问。但服务器和NAS网关直接影响整体存储网络系统的性能，低配置的服务器和NAS网关及有可能成为整个系统的性能瓶颈。

2、SAN使用方式

ISCSI和FC存储一样具有良好的网络扩展性，可通过网络交换设备与多台主机连接。通过网络交换设备连接时，iSCSI存储上的LUN对于主机来讲相当于裸设备，因而需要注意文件系统的管理问题。

A、存储设备层共享

ISCSI设备上创建多个LUN，不同的LUN制定给不同的主机。各主机分别管理和访问自己的LUN。相当于将多个主机的本地磁盘集中放置在一个网络化的设备中，各主机之间仅实现硬件设备层的共享。如下图：

B、集群共享

系统中有多个数据库系统和WEB集群系统，每两台服务器之间需要管理和使用相同的LUN,主机之间通过MSCS或RAC等软件实现集群共享功能。如下图：

每一个卷仅在两台主机之间共享，两台主机通过集群软件共同对同一个文件系统进行管理。

C、网络存储共享

在许多大型的高性能计算系统、广电非线性编辑制作系统、IPTV发布系统中，应用需要多台主机能同时访问同一个文件系统（同一个卷）中的数据，可能会是同一个数据。如下图：

为了保证同一个文件系统可以同时被多台主机访问，且不会因为并发访问而引起文件系统管理冲突，常规的做法是在所有需要文件系统共享的主机上安装SAN网络存储共享管理软件，并设置一台或多台主机为管理软件的服务器端。该服务器负责管理主机之间的元数据交换，因此被成为MDC，即Metadata Controller。

关于SAN网络存储共享管理软件的功能介绍请参看SAN网络存储共享管理软件全攻略。

iSCSI存储常见技术参数：

目前市场的iSCSI产品数量繁多，用户在选择iSCSI产品的时候往往被各种各样的参数和指标搞得云头转向，不知如何正确去选择自己希望的产品。下面，我以市场常见几款产品的技术参数为例，给大家介绍如何通过厂商的技术参数来正确分析和认识iSCSI产品。

常见iSCSI存储技术参数表：

序号	技术参数	规格	备注
系统性能
1	每秒最大I/O	100,000 IOPS
2	每秒最大传输带宽	410MB/S
控制器
3	控制器	双Active-Active SAS/SATA控制器
4	控制器CPU	933MHz PowerPC 750GL
5	控制器缓存	2GB ECC 缓存, 带72小时电池备份
6	缓存模式	Write-through, write-back, adaptive write
7	RAID校验	采用ASIC硬件校验
接口
8	主机接口数量	4个千兆以太网铜缆接口，两个SAS接口，4个FC接口，
9	磁盘扩展柜接口	SAS扩展；FC扩展
RAID及磁盘
10	支持硬盘类型	SATA1/2：400GB,500GB，750GB硬盘SAS: 73GB, 146GB, 300GB硬盘FC: 146GB, 300GB硬盘SCSI: 73GB, 146GB硬盘
11	最大硬盘数量	16SATA或者SAS硬盘最大72个SATA或者SAS硬盘
12	RAID技术	RAID0，1 (0+1)，3，5，6，10，30，50，60，NRAID and JBOD
13	最大容量	16750GB=12TB72750GB=54TB
14	最大LUN数量	1024
15	RAID功能	支持虚拟RAID技术，支持磁盘漫游
软件功能
16	快照	256个
17	数据镜像	支持
18	数据复制	卷复/Snapshot Copy
19	多链路冗余	支持
20	负载均衡	支持
其它
21	冗余、热插拔模块	控制器，电源，风扇，热备盘
22	管理界面	COM1，COM2，GUI，WEB，LCD，TELNET，SSH
23	集中管理	支持

实际上任何一个主流iSCSI存储设备都不可能同时具有上表中的所有的参数或功能。

1、系统性能：

各厂商的技术参数表中最不可靠的就是性能指标了。IOPS一般都会在30000-100000之间变动，iSCSI存储对外提供几个IP接口，一般都会说有几百兆端口。

实际上iSCSI设备的IOPS性能都不高，一般在5000-20000之间，加入你的业务系统对IOPS很关注，建议选择FC-SAN存储，如果业务系统对IOPS有一点关注，建议提前做模拟测试，且选择控制器架构的设备，如果业务系统对IOPS没有要求，那么IOPS指标这一项可以不看。

假如技术指标中说有4个IP接口所以就有400MB/S的带宽性能，那你可以明确一点的就是厂商在骗你。我们知道存储设备的性能取决于其内部的控制器，而不是主机接口的数量。不提升控制器的处理器速度、不优化其数据传输效率，不增加缓存容量，简单地增加IP主机接口的数量不可能提高存储设备性能的。

关于性能指标，建议控制器架构的取其三分之二，PC架构取其一半。没有任何依据，仅仅是我的经验，也仅供大家参考。

2、控制器：

ISCSI存储的核心就是控制器了。

一般的iSCSI存储为单控制器，中高端设备为active-active（双活）或active-standby（主备）模式的双控制器。可能个别厂商会用”单/双存储处理器”来冒充单/双控制器，所谓的”单/双存储处理器”仅仅是PC架构中的两个Intel或AMD的CPU，甚至只是一个双核的CPU，和双控制器完全是两个概念。

ISCSI的双活控制器一般是指可以安装在同一个无源背板上，两者之间可通过缓存镜像实现数据同步，两者可同时管理相同的后端存储。两个控制器同时工作，任何一个控制器发生故障时，另一个控制器可以即时接管理它的任务。备用控制器一般都是一块无源的模块化电路板，可快速热插拔更换。PC架构的iSCSI存储一般无法实现上述功能，只能通过集群功能（如Windows MSCS）来实现多台iSCSI存储之间的主备故障切换。

控制器架构的iSCSI存储的核心处理芯片多为PowerPC，部分采用Intel或AMD服务器CPU，个别由FC存储改造的iSCSI存储会采用专用的CPU。中高端iSCSI存储可能会采用双处理器，一个处理器负责系统管理和数据传输，另一个处理器ASIC芯片专门用作RAID校验和数据读写校验。

缓存一般为2-4GB，建议小文件、对IOPS有一定要求的应用类系统尽量采用大容量缓存。缓存可根据应用系统的需求设置成Write-through，write-back等多种工作模式。缓存掉电保护可通过纽扣电池来实现。

PC架构的iSCSI存储的核心处理芯片多为Intel或AMD服务器CPU，CPU不仅要负责系统管理和数据传输，还要负责RAID校验和数据读写校验，中高端PC架构iSCSI存储内容一般为双CPU。

缓存一般为2-4GB，但缓存大小对性能的影响没有控制器架构的明显。一般无缓存掉电保护功能，只能通过存储设备后端或机房中的UPS电源来提供突然的断电保护。

3、接口：

常见iSCSI多位2-6个IP接口，个别设备可能会提供8个、更多个接口。部分iSCSI存储提高SAS接口和FC接口。IP接口有以太网接口模块型（控制器架构、iSCSI桥接器架构和FC-SAN改造存储）和网卡型（PC架构和PC+NIC架构）

越来越多的iSCSI存储支持大容量，控制器和磁盘扩展柜之间通过SAS接口连接，FC-SAN改造型多沿用原来的光纤通道协议接口来扩展容量。

4、RAID及磁盘

近两年的iSCSI存储设备基本都能同时支持SATA和SAS硬盘，FC-SAN改造型还用支持FC磁盘，不过相信大家都不会用到。iSCSI桥接器架构的还支持SCSI磁盘。

各厂家的RAID组级别支持一般差别比较大，但RAID0，RAID1，RAID3和RAID5都是最基本的，只要列表中有自己需要的就行。

虚拟RAID技术，也可能被成为存储虚拟化（内部的）一般是指可以将多个RAID设置在一个RAID POOL中，相当于将多个RAID合并，然后在其上创建多个LUN。这样对任何一个LUN进行读写访问是，多个RAID中的磁盘同时工作，有利于提高单卷的访问性能。其功能与RAID30或50相似或相同。

凡是RAID配置信息保存在本RAID组所有磁盘中的存储都支持磁盘漂移功能，但是需要所谓3块或5块系统盘的不支持，这一点与FC存储完全相同。

LUN数量一般为512和1024，除了大型的视频监控系统存储之外，其它的业务系统无需过于关注这一项。

5、软件功能

在软件功能方面，各厂家千变万化。低端控制器架构的iSCSI存储基本上没有快照、卷复制或卷镜像等软件功能，但高端设备的功能一般比较强大，可用性较高。PC架构的iSCSI存储由于安装软件方便，因而软件功能一般较多，各种功能实现起来也比较容易。

6、其它

控制器架构的iSCSI存储可实现控制器，电源，风扇，热备盘等的冗余和热插拔，PC架构的iSCSI存储仅能实现电源，风扇，热备盘，缺少了最核心的控制器。

集中管理是指当一个系统有多台存储设备时，能否通过一台存储设备的管理窗口同时监控和管理多台设备。

iSCSI

shanyiwan@live.com() — Thu, 17 Nov 2011 08:19:16 GMT

iSCSI（发音为 /аɪskʌzi/）又称为IP-SAN，是一种基于因特网及SCSI-3协议下的存储技术，由IETF提出，并于2003年 2月11日成为正式的标准。与传统的SCSI技术比较起来，iSCSI技术有以下三个革命性的变化：

把原来只用于本机的SCSI协同透过TCP/IP网络传送，使连接距离可作无限的地域延伸；
连接的服务器数量无限（原来的SCSI-3的上限是15）；
由于是服务器架构，因此也可以实现在线扩容以至动态部署。

功能

iSCSI利用了TCP/IP的port 860 和 3260 作为沟通的渠道。透过两部计算机之间利用iSCSI的协议来交换SCSI命令，让计算机可以透过高速的局域网集线来把SAN模拟成为本地的储存装置。

iSCSI使用 TCP/IP 协议（一般使用TCP端口860和3260）。本质上，iSCSI 让两个主机通过 IP 网络相互协商然后交换 SCSI 命令。这样一来，iSCSI 就是用广域网仿真了一个常用的高性能本地存储总线，从而创建了一个存储局域网（SAN）。不像某些 SAN 协议，iSCSI 不需要专用的电缆；它可以在已有的交换和 IP 基础架构上运行。然而，如果不使用专用的网络或者子网（ LAN 或者 VLAN ），iSCSI SAN 的部署性能可能会严重下降。于是，iSCSI 常常被认为是光纤通道（Fibre Channel）的一个低成本替代方法，而光纤通道是需要专用的基础架构的。但是，基于以太网的光纤通道（FCoE）则不需要专用的基础架构。

虽然 iSCSI 可以与任意类型的 SCSI 设备进行通信，系统管理员几乎总是使用它来连接服务器计算机（例如，数据库服务器）和磁盘卷上存储阵列。使用iSCSI SAN 的目的通常有以下两个：

存储整合 公司希望将不同的存储资源从分散在网络上的服务器移动到统一的位置（常常是数据中心）；这可以让存储的分配变得更为有效。 SAN 环境中的服务器无需任何更改硬件或电缆连接就可以得到新分配的磁盘卷。

灾难恢复 公司希望把存储资源从一个数据中心镜像到另一个远程的数据中心上，后者在出现长时间停电的情况下可以用作热备份。特别是，iSCSI SAN 使我们只需要用最小的配置更改就可以在 WAN 上面迁移整个磁盘阵列，实质上就是，把存储变成了“可路由的”，就像普通的网络通信一样。

网络引导/启动

从数据存储的角度，对于一个已经处于运行状态的计算机，任意类型的通用网络接口都可用于访问 iSCSI 设备。然而，通用消费级网络接口却不能够从远程的 iSCSI 数据源引导无盘计算机。相反，对于服务器而言，通常情况是，它是从一个小的本地 RAID 镜像或闪存驱动器引导设备来加载操作系统，并从本地设备启动完毕后，然后使用 iSCSI 来进行对数据存储的访问。

对于配有支持网络引导的网络接口设备（网卡）的计算机，可以另外配置一台 DHCP 服务器来协助“iSCSI 启动”。这中情况下，网卡会寻找一个提供 PXE 或 bootp 引导映像的 DHCP 服务器。该 DHCP 服务器会根据启动网卡的 MAC 地址提供对应的 iSCSI 启动目标设备/卷信息，然后计算机便可以开始从 iSCSI 远程启动的进程了。

定制的 iSCSI 接口卡提供内置的 BIOS 功能，可以为该接口事先指定一个 iSCSI 目标设备，然后就可以直接从一个启动服务器进行启动，（而不需要另设一个DHCP 服务器），从而减少网络配置的复杂度。

参考

参看

外部链接

RFCs

RFC 3720 - Internet Small Computer Systems Interface (iSCSI)
RFC 3721 - Internet Small Computer Systems Interface (iSCSI) Naming and Discovery
RFC 3722 - String Profile for Internet Small Computer Systems Interface (iSCSI) Names
RFC 3723 - Securing Block Storage Protocols over IP
RFC 3347 - Small Computer Systems Interface protocol over the Internet (iSCSI) Requirements and Design Considerations
RFC 3783 - Small Computer Systems Interface (SCSI) Command Ordering Considerations with iSCSI
RFC 3980 - T11 Network Address Authority (NAA) Naming Format for iSCSI Node Names
RFC 4018 - Finding Internet Small Computer Systems Interface (iSCSI) Targets and Name Servers by Using Service Location Protocol version 2 (SLPv2)
RFC 4173 - Bootstrapping Clients using the Internet Small Computer System Interface (iSCSI) Protocol
RFC 4544 - Definitions of Managed Objects for Internet Small Computer System Interface (iSCSI)
RFC 4850 - Declarative Public Extension Key for Internet Small Computer Systems Interface (iSCSI) Node Architecture
RFC 4939 - Definitions of Managed Objects for iSNS (Internet Storage Name Service)
RFC 5048 - Internet Small Computer System Interface (iSCSI) Corrections and Clarifications
RFC 5047 - DA: Datamover Architecture for the Internet Small Computer System Interface (iSCSI)
RFC 5046 - Internet Small Computer System Interface (iSCSI) Extensions for Remote Direct Memory Access (RDMA)

其他连结

存储区域网络

shanyiwan@live.com() — Thu, 17 Nov 2011 08:02:21 GMT

存储区域网络 (Storage Area Network, SAN)是一种连接外接存储设备和服务器的架构。人们采用包括光纤通道技术、磁盘阵列、磁带柜、光盘柜(en)的各种技术进行实现。该架构的特点是，连接到服务器的存储设备，将被操作系统视为直接连接的存储设备(Direct-attached Storage,DAS)(en)。尽管SAN的复杂度和价格已经下降，但目前在大型企业级存储方案(Enterprise Storage)(en)以外还应用不甚广泛。

与SAN相比较，网络储存设备(NAS, Network Attached Storage)使用的是基于文件的通信协议，例如NFS或SMB/CIFS通信协议就被明确滴定义为远程存储设备，计算机请求访问的是抽象文件的一段内容，而非对磁盘进行的块设备操作。

网络类型

大多数存储网络使用SCSI接口进行服务器和磁盘驱动器设备之间的通信。因为它们的总线拓扑结构并不适用于网络环境，所以它们并没有使用底层物理连接介质（比如连接电缆）。相对地，它们采用其它底层通信协议作为镜像层来实现网络连接：

光纤通道协议 (FCP, Fibre Channel Protocol), 最常见的通过光纤通道来映射SCSI的一种连接方式；
iSCSI, 基于TCP/IP的SCSI映射；
HyperSCSI, 基于以太网的SCSI映射；
ATA over Ethernet, 基于以太网的ATA映射；
使用光纤通道连接的FICON,常见与大型机环境；
Fibre Channel over Ethernet (FCoE),光纤连接的以太网；
iSCSI Extensions for RDMA (iSER), 基于InfiniBand (IB)的iSCSI连接；
iFCP^[1] 或 SANoIP^[2] 基于IP网络的光纤通道协议(FCP).

存储共享

出于历史原因，数据中心中最初都是SCSI 磁盘阵列的“孤岛”群。每个单独的小“岛屿”都是一个专门的直接连接存储器应用，并且被视作无数个“虚拟硬盘驱动器”（例如LUNs）。本质上来说，SAN就是将一个个存储“孤岛”使用高速网络连接起来，这样使得所有的应用可以访问所有的磁盘。

操作系统会将SAN视为一组LUN，并且在LUN上维护自己的文件系统。这些不能在多个操作系统/主机之间进行共享的本地文件系统，具有非常高的可靠性和十分广泛的应用。如果两个独立的本地文件系统存在于一个共享的LUN上，它们彼此没有任何机制来知道对方的存在，没有类似缓存同步的机制，所以可能发生数据丢失的情况。因此，在主机之间通过SAN共享数据，需要一些复杂的高级解决方案，例如SAN文件系统或者计算机集群。撇开这些问题，SAN对于提高存储能力的应用有很大帮助，因为多个服务器可以共享磁盘阵列上的存储空间。SAN的一项典型应用是需要高速块级别访问的数据操作服务器，比如电子邮件服务器、数据库、高利用率的文件服务器等。

相对地，NAS允许多台计算机经过网络访问同一个文件系统，并且会自动同步它们的操作。由于NAS head的引入使得SAN存储可以被容易地转换为NAS。

DAS、NAS 和 SAN 的比较

组织图

SAN-NAS混合应用

尽管NAS和SAN有所区别，但还是有方法可以提供两项技术均被包括在内的解决方案。

使用了DAS，NAS和SAN技术的混合解决方案。

优势

存储器的共享通常简化了存储器的维护，提高了管理的灵活性，因为连接电缆和存储器设备不需要物理地从一台服务器上搬到另外一台服务器上。

其它的优势包括从SAN自身来启动并引导服务器的操作系统。因为SAN可以被重新配置，所以这就使得更换出现故障服务器变得简单和快速，更换后的服务器可以继续使用先前故障服务器LUN。这个更替服务器的过程可以被压缩到半小时之短，这在目前还是一个只在新建数据中心才使用的相对新潮的办法。现在也出现了很多新产品得益于此，并且在提高更换速度方面不断进步。例如Brocade的应用资源管理器Application Resource Manager可以自动管理可以从SAN启动的服务器，而完成操作的时间通常情况只需要几分钟。尽管此方向的技术现在仍然很新，还在不断演进，许多人认为它将进入未来的企业级数据中心。

SAN也被设计为可以提供更有效的灾难恢复特性。一个SAN可以“携带”距离相对较远的第二个存储阵列。这就使得存储备份可以使用多种实现方式，可能是磁盘阵列控制器、服务器软件或者其它特别SAN设备。因为IP广域网通常是最经济的长距离传输方式，所以基于IP的光纤通道和基于IP的SCSI协议就成为了通过IP网络扩充SAN的最佳方式。使用传统的物理SCSI层连接的SAN仅仅可以提供数米的连接距离，所以这几乎根本不能满足灾难恢复的不间断业务的需求。这项SAN应用的需求在美国911恐怖袭击事件之后，显得尤为突出，并且在萨班斯-奥克斯利法案和类似的法律事务中几乎成了必须特性。

磁盘阵列的，加速了许多功能的发展，包括I/O缓存、存储快照、卷克隆(Business_Continuance_Volumes, BCV)等。

SAN基础设施

SAN通常利用光纤通道拓补结构，这种基础构架是专门为存储子系统通信设计的。光纤通道技术提供了比NAS中的上层协议更为可靠和快速的通信指标。光纤是一种在概念上类似局域网中网络段的组建。典型的光纤通道SAN可以由若干个光纤通道交换机组成。

在现今，所有的主流SAN设备提供商也都提供不同形式的光纤通道路由解决方案，以此来为SAN架构带来潜在的扩展性，让不同的光纤网在不需要合并的条件下交换数据。这些技术解决方案各自使用了专有协议元素，并且在顶层的架构体系上，有很大的不同。他们经常会采用基于IP或者基于同步光纤网络(SONET/SDH)的光纤通道映射。

兼容性

光纤通道SAN在早期发展的时候，有一个问题是不同硬件厂商的交换机并不完全兼容。尽管基本的FCP存储协议总是兼容标准的，但是一些上层的功能却无法完成很好的互操作。与此类似的还有许多主机的操作系统，它们也会在共享某些光纤网络时候产生不良反应。在技术标准最终确定之前，市场上曾经出现了许多解决兼容性的方案，这些创新也都为标准制定提供了帮助。

家用SANs

SAN通常被用在大型的、高性能的企业存储操作中。通常我们不会见到只有一个磁盘驱动器的SAN，相反地，SAN通常都是链接了数个大型磁盘阵列的存储网络。因为SAN设备通常都是比较昂贵的，所以在台式机算计上，光纤通道总线适配器是比较罕见的。基于iSCSI的SAN技术曾经被寄望成为相对便宜的SAN方案，但最终它仍然没有走出企业级的大型数据中心环境。目前大多数的桌面计算机依然使用NAS协议的技术，比如CIFS和NFS。

媒体和娱乐产业中的SANs

视频编辑工作室总是会需要非常高的数据传输传输速率，所以在企业数据中心市场以外，SAN的应用可以极大的提高这一领域的工作效率。

单节点带宽使用控制，有的地方也称为“服务质量”(quality-of-service) (QoS)，在视频编辑工作室中是一个尤其重要的特性，它可以在可用带宽不足的条件下确保带宽以一个合理的优先级被分配使用。Avid Unity、苹果公司的Xsan以及Tiger Technology的MetaSAN都向视频工作室特别提供了带有此功能的SAN解决方案。

SAN存储虚拟化

存储虚拟化是指将物理存储器完全抽象为逻辑存储器的过程。物理存储器资源将被整合为存储器池，由此来创建逻辑存储器。此操作可以给用户展现数据存储的逻辑空间，并且透明地操作映射实际物理位置的过程。目前这种机制都是由每个新近生产的磁盘阵列内部提供的，使用的是厂商专有的解决方案。尽管如此，虚拟化多磁盘阵列的目的是在网络上集成不同厂商的磁盘阵列，使之称为一套整体的存储设备，以便于对其进行统一的操作。

参考

^TechEncyclopedia: IP Storage[2007-12-09].
^TechEncyclopedia: SANoIP[2007-12-09].

外部链接

Introduction to Storage Area Networks - Exhaustive Introduction into SAN, IBM红皮书（英文）

SAN软件的相关文章和白皮书

企业数据存储的三种方式 DAS、NAS和SAN

shanyiwan@live.com() — Tue, 26 Jul 2011 02:18:58 GMT

对于一个企业来说，网络数据的安全性是极为重要的，一旦重要的数据被破坏或丢失，就会对企业造成重大的影响，甚至是难以弥补的损失。通常企业数据存储包括三种方式:DAS、NAS和SAN。本文主要为读者详细介绍这三种数据存储方式以及如何根据企业自身的实际情况选择合适的数据存储方式。

认识企业数据存储的三种方式:DAS、NAS和SAN

　　在企业刚刚建立初期，用户的数据规模并不大，存储需求也很简单，只是要把相关数据存放在某一地方即可。而存放数据的最终目的不但是为了能够安全保存，还必须保证数据可以随时被调用。我们最早都是采用一种称之为“DAS(Direct Attached Storage，直接外挂存储)”存储方式的一种方案。这种存储方案的服务器结构如同PC机架构，外部数据存储设备(如磁盘阵列、光盘机、磁带机等)都直接挂接在服务器内部总线上，数据存储设备是整个服务器结构的一部分，同样服务器也担负着整个网络的数据存储职责。DAS这种直连方式，能够解决单台服务器的存储空间扩展、高性能传输需求，并且单台外置存储系统的容量，已经从不到1TB，发展到了2TB，随着大容量硬盘的推出，单台外置存储系统容量还会上升。此外，DAS还可以构成基于磁盘阵列的双机高可用系统，满足数据存储对高可用的要求。从趋势上看，DAS仍然会作为一种存储模式，继续得到应用。

NAS(Network Attached Storage，网络附加存储)方式则全面改进了以前低效的DAS存储方式，它是采用独立于PC服务器，单独为网络数据存储而开发的一种文件服务器。NAS服务器中集中连接了所有的网络数据存储设备(如各种磁盘阵列、磁带、光盘机等)，存储容量可以较好地扩展，同时由于这种网络存储方式是NAS服务器独立承担的，所以，对原来的网络服务器性能基本上没什么影响，以确保整个网络性能不受影响。它提供了一个简单、高性价比、高可用性、高扩展性和低总拥有成本(TCO)的网络存储解决方案。

SAN(Storage Area Network，存储域网络)与NAS则是完全不同，它不是把所有的存储设备集中安装在一个专门的NAS服务器中，而是将这些存储设备单独通过光纤交换机连接起来，形成一个光纤通道的网络，然后这个网络再与企业现有局域网进行连接，在这种方案中，起着核心作用的当然就是光纤交换机了，它的支撑技术就是Fibre Channel(FC，光纤通道)协议，这是ANSI为网络和通道I/O接口建立的一个标准集成，支持HIPPI，IPI，SCSI，IP，ATM等多种高级协议。在SAN中，数据以集中的方式进行存储，加强了数据的可管理性，同时适应于多操作系统下的数据共享同一存储池，降低了总拥有成本。

　企业如何根据自身的实际，选择数据存储方案

　　企业存储应用的体系结构主要有DAS、NAS和SAN三种模式，三种模式从体系架构的逻辑上看，有明显的区别。一个企业存储具有以下几方面的要求:性能、安全性、扩展性、易用性、整体拥有成本、服务等等。由于企业用户的存储系统构建并不是一蹴而就的事情，会经历从单机迈向网络化存储的过程，因此就存在DAS、NAS和SAN三种存储方案供企业用户进行不同的选择。

1、选择DAS方案

　　DAS直连式存储依赖服务器主机操作系统进行数据的IO读写和存储维护管理，数据备份和恢复要求占用服务器主机资源(包括CPU、系统IO等)，数据流需要回流主机再到服务器连接着的磁带机(库)，数据备份通常占用服务器主机资源20-30%，因此许多企业用户的日常数据备份常常在深夜或业务系统不繁忙时进行，以免影响正常业务系统的运行。直连式存储的数据量越大，备份和恢复的时间就越长，对服务器硬件的依赖性和影响就越大。这种方案主要在早期的计算机和服务器上使用，由于当时对数据存储的需求并不大，单个服务器需要的存储能力就可以满足日常数据存储需求，因此在低档网络应用中相当普遍。

图1 DAS方案

2、选择NAS方案

　　NAS作为一个网络附加存储设备，NAS设备内置优化的独立存储操作系统，可以有效、紧密地释放系统总线资源，全力支持I/O存储，同时NAS设备一般集成本地的备份软件，可以不经过服务器将NAS设备中的重要数据进行本地备份，而且NAS设备提供硬盘RAID、冗余的电源和风扇以及冗余的控制器，可以满足保证NAS的稳定应用。

　　NAS设备主要用来实现在不同操作系统平台下的文件共享应用，与传统的服务器或DAS存储设备相比，NAS设备的安装、调试、使用和管理非常简单，采用NAS可以节省一定的设备管理与维护费用。NAS设备提供 RJ- 45 接口和单独的IP地址，可以将其直接挂接在主干网的交换机或其它局域网的Hub上，通过简单的设置(如设置机器的IP地址等)就可以在网络即插即用地使用NAS设备，而且进行网络数据在线扩容时也无需停顿，从而保证数据流畅存储。

图2 NAS方案

　　NAS数据存储方案是基于局域网而设计的，按照传统的TCP/IP协议进行通信，面向消息传递，以文件的I/O方式进行数据传输。在LAN环境下，NAS已经完全可以实现异构平台之间的数据级共享，比如Windows NT、Linux、UNIX等平台的共享。基于这种种原因，NAS存储方案对于企业来说的使用和维护成本就相当低，完全可以由现有网管员担当。

3、选择SAN方案

　　由于SAN是通过一个单独的通常是基于光纤通道的SAN网络把存储设备以及服务器相连，如此当有海量数据的存取需求时，数据完全可以通过SAN网络在相关服务器和后台的存储设备之间高速传输，对于LAN的带宽占用几乎为零，而且服务器可以访问SAN上的任何一个存储设备，提高了数据的可用性。在对性能和可靠性要求较高的场合，采用先进的SAN数据存储网络，可以使数据的存储、备份等活动独立在原先的局域网之外，从而将减轻LAN的负载，保证原有网络应用的顺畅进行;同时SAN网采用光纤传输通道，可以得到高速的数据传输率。

图3 SAN方案

　　SAN方案简化了管理和集中控制，这对于全部存储设备都集中在信息中心，是非常有现实意义的。SAN将企业的存储和服务器平台分开，可以实现24 x 7不间断的系统可用性和集中管理，在这个平台的基础上，还可以应用一套统一的灾难恢复解决方案，同时可经济高效地扩展存储环境。因此SAN非常适用于非线性编辑、服务器集群、远程灾难恢复、因特网数据服务等多个领域。

总结：企业数据存储的发展趋势

      DAS直连存储的最大弊病在于，各部分的存储资源相互隔离，容易形成孤岛。NAS具有无人值守、高度职能、性能稳定、功能专一的特点，但NAS技术不能满足可靠度为99.999%的数据存储系统的要求。而SAN的最大优势则在于，可以把异构环境下不同厂商的存储设备整合在一起，实现资源的共享，因此SAN将成为企业存储应用的主流。

      一方面，为保证数据在不同硬件平台、不同操作系统下流转的畅通，存储架构的开放性、存储硬件的兼容性、存储软件的适应性归结在一起，就表现为存储的融合，SAN与NAS融合是大势所趋；另一方面，虚拟存储使主机操作系统看到的存储与实际物理存储分开，虚拟存储技术可提高存储设备利用率，通过动态地管理磁盘空间，虚拟存储技术可以避免磁盘空间被无效占用。目前虚拟技术已经引起了几乎所有存储系统厂商的关注，采用虚拟存储技术的设备将成为市场的新主流。

NAS DAS IP-SAN三种存储方式的比较

Step-by-step: Using the Microsoft iSCSI Software Target with Hyper-V (Standalone, Full, VHD)

shanyiwan@live.com() — Tue, 14 Jun 2011 06:35:28 GMT

Overview

In this post, I will show all the steps required to run Windows Server 2008 Hyper-V with the Microsoft iSCSI Software Target. We will cover the specific scenario of a standalone Windows Server 2008 server (as opposed to a clustered one) on a full install (as opposed to a core install) and using a VHD file (as opposed a pass-through disk).
In order to follow these instructions you will need at least two computers. One computer will run a full install of Windows Server 2008 with the Hyper-V role enabled. The other computer needs to be a Windows Storage Server (WSS) with the iSCSI pack or Windows Unified Data Storage Server (WUDSS). Optionally, you could add a Client for your Virtual Machine and a computer for remote Hyper-V Management.

Configuring the Networks

For your server running Hyper-V, you should consider having at least three Network Interface Cards (NICs). One will be dedicated to iSCSI traffic. The second will be connected to the Virtual Switch and used for traffic going to your virtual machine. The third NIC you will dedicate to remote management. This configuration is showed in the diagram below:

Checking the Windows Storage Server

WSS (with the Microsoft iSCSI Software Target) comes preinstalled from the hardware vendor. This special OS release is not available the Microsoft sales channels like software retailers or volume licensing. You can find more information about WSS and WUDSS at http://www.microsoft.com/storageserver. Windows Storage Server 2008 is also available from MSDN or TechNet subscriber downloads for non-production use (see details at http://blogs.technet.com/josebda/archive/2009/05/13/windows-storage-server-2008-with-the-microsoft-iscsi-software-target-3-2-available-to-msdn-and-technet-plus-subscribers.aspx).
You should make sure you have the proper credentials (username and password) with administrator privileges on the Storage Server. You should also make sure you have remote access to the Storage Server via Remote Desktop. Once you log on to the Storage Server via Remote Desktop, verify that you can locate the Microsoft iSCSI Software Target Management Console (MMC), which can be found in the Administration Tools menu. From a Storage Server perspective, we’ll perform all the configuration actions using the iSCSI Target MMC.

Checking the Server running Hyper-V

On the server running Windows Server 2008 Hyper-V, you should make sure to run Windows Update to get the latest updates. This will ensure that you have the final release of Hyper-V, not the beta version that was released with Windows Server 2008.
You will also need to enable the Hyper-V role. This is done using Server Manager by right-clicking the “Roles” node on the tree on the left and selecting “Add Roles”.
This will bring up the “Add Roles Wizard”, where you will find “Hyper-V” on the list of roles:
While configuring the Hyper-V role on the wizard, you should see the three (or more) NICs on your server on the “Create Virtual Networks” step.
Make sure you do not select the NICs used for iSCSI traffic and Hyper-V remote management in the “Create Virtual Networks”.
You will need to restart the server after you add the Hyper-V role.

Loading the iSCSI Initiator

The next step now is to configure the iSCSI initiator on the Hyper-V server.
You can find the “iSCSI Initiator” under “Administrative Tools” in Windows Server 2008. You can also find it in the “Control Panel”.
The first time you load the iSCSI initiator, it will ask you two questions.
The first question is about loading the Microsoft iSCSI Initiator service every time:
The second question is about configuring the firewall to allow the iSCSI traffic:
You should click on “Yes” for both questions.
After that, the iSCSI Initiator Properties windows will load, showing the “General” tab.
This tab gives you an important piece of information: your initiator name or IQN. We’ll need this later when configuring the target:

Configuring the target portal

The next step is configure the initiator with the address of your iSCSI target portal.
In our case, this is the computer running Windows Storage Server and the Microsoft iSCSI Software Target.
In the iSCSI Initiator Properties window, select the “Discovery” tab and add the IP address of the Storage Server to the list of Target Portals.
Click on “Add Portal…” to add the information. You will need the IP address of your Storage Server at this point. Port 3260 is the default.
Here’s the screen after the Target Portal is added:
Now, if you switch over the “Targets” tab of the iSCSI Initiator Properties windows, you will see this:
This blank list of targets is expected at this point, since we haven’t configured any targets yet.
We’ll do that next.

Creating the iSCSI Target

Now we switch over the Microsoft iSCSI Software Target side, on the Windows Storage Server.
We will create the target using the Microsoft iSCSI Software Target MMC we mentioned before.
After starting the wizard, skip the introduction page by clicking “Next”.
Next, you will provide the name and description for the target. We’ll be using simply “T1” for the name.
On the following screen, you need to provide the identification for the target.
Here you can use an IQN (iSCSI Qualified Name) or you can use the advanced setting to go with an IP address, DNS name or MAC address.

Since our initiator in this case already contacted the Storage Server, you can simply click on “Browse” and pick the IQN from there.
Once you get the right IQN, click “Next” to proceed.
Finally, click “Finish” to create the target.

Adding LUNs to the iSCSI Target

Now that the target is created, you need to add virtual disks or LUNs to it. These will be the logical units that will be presented to the initiator.
You will do this by right-clicking the target T1 and selecting the option to “Create Virtual Disks for iSCSI Target”.
You will start the wizard. Click “Next” on the introduction page.
Next, you will provide a path to the file to use as your virtual disk or LUN. This file will have a VHD extension.
Next, you will specify the size for the virtual disk or LUN. We’ll create a 20GB LUN here, which is enough to install Windows Server 2008 later on. The iSCSI target uses fixed-sized VHD files, but you can extend them if needed.
Next, you will specify a description for the virtual disk or LUN.
Finally, click “Finish” to create the virtual disk. Depending on the size, it could take a while.
At this point, you can see the target and its virtual disk on the Microsoft iSCSI Software Target MMC:
You can check the properties of the target, including the target IQN, by right-clicking the target name and clicking on “Properties”.
Now we go back to the initiator side.

Configuring the iSCSI Initiator targets

When we last checked the “Targets” tab of the iSCSI Initiator Properties windows, we had an empty list.
With the target properly configured, you should see the it showing after you click on “Refresh”:
Now you need to click on “Log on…” to connect to the target.
On the “Log On to Target” window, be sure to check the box to “Automatically restore this connection when the computer starts”.
Once you log on, the target status will change to “Connected”.
The LUN should also appear in the list of “Volumes and Devices” in the iSCSI Initiator Properties:
Now we need to work on that LUN to turn it into an NTFS volume with a drive letter.
That is done in Disk Management.

Preparing the Volume

If you followed all the steps so far, you should already have the LUN as an offline, uninitialized, unallocated volume in Server Manager, under Disk Management:
The first thing you need to do here is to online the volume, by right-clicking on the disk:
The volume will be onlined automatically if you are running the Standard Edition of Windows Server 2008.
After that, the volume will be online, but still uninitialized. You will then select the option to “Initialize Disk”:
At this point you need to select a partition style (MBR or GPT). The older MBR style is commonly used for small partitions. GPT is required for partitions larger than 2TB.
After this, you have a basic disk online which you could use to create an NTFS volume. If you right click it again, there will be an option to create a “New Simple Volume”.
Once you go through that wizard, format the volume and assign it a drive letter, you will have the final result in Disk Management as drive E:
We’ll use this drive E: as our storage for Hyper-V.

Creating the Virtual Machine

Last but not least, we must now create our Virtual Machine. We’ll do this in the Hyper-V Manager:
There are two places in the New Virtual Machine Wizard where you will refer to the E: disk.
The first one is when you select the location of your virtual machine configuration files:
The second one is when you specify the location of the virtual hard drive used by that virtual machine:
In this case, by using the wizard, we selected the default option of using a Dynamically Expanding VHD file that is exposed to the child partition as Virtual IDE.
You can verify that looking at the settings for the resulting Virtual Machine:
If you click on the “Inspect” button, you can see it’s a Dynamic VHD:
You could, of course, use any of the other types of VHD files or even a pass-through disk, but that’s a topic for another blog post…

Conclusion

I hope this blog post has helped you understand all the steps required to use the Microsoft iSCSI Software Target to provision storage for your Windows Server 2008 server running Hyper-V.
This post covered a scenario where Hyper-V runs on a full install of Windows Server 2008, using a VHD file on the parent and without Failover Clustering.

Source From:http://blogs.technet.com/b/josebda/archive/2009/02/02/step-by-step-using-the-microsoft-iscsi-software-target-with-hyper-v-standalone-full-vhd.aspx

flyinweb's blog - 存储与Cache

网络附加存储

历史

优点

NAS使用状况

NAS头

消费性PC所用的NAS操作系统

注释

参考

iSCSI存储的3种连接方式

iSCSI存储的4种系统架构

IP-SAN: A complete Storage solution

SAN网络存储共享软件全攻略

iSCSI存储技术全攻略

什么是iSCSI

iSCSI存储系统架构

iSCSI存储连接方式

iSCSI存储使用模式：

iSCSI存储常见技术参数：

iSCSI

网络引导/启动

参考

参看

外部链接

RFCs

其他连结

存储区域网络

存储共享

SAN-NAS混合应用

优势

SAN基础设施

兼容性

家用SANs

媒体和娱乐产业中的SANs

SAN存储虚拟化

相关内容

参考

外部链接

SAN软件的相关文章和白皮书

企业数据存储的三种方式 DAS、NAS和SAN

Step-by-step: Using the Microsoft iSCSI Software Target with Hyper-V (Standalone, Full, VHD)