Mellanox高速网络搭建云平台与大数据快车道

2013年07月02日  新浪资讯

随着云计算与大数据时代的来临,传统的网络连接方式越来越成为数据中心性能提升的瓶颈,服务器、存储器与数据库之间迫切需要采用高带宽与低延迟的连接网络。近日举行的2013国际超级计算大会传来消息,全球采用迈络思Mellanox FDR InfiniBand互连技术的千万亿次超算系统数量实现了200%增长。北京迈络思科技有限公司亚太区市场开发总监刘通对此表示,Mellanox在超算领域获得广泛应用的高性能、高可扩展的互联技术能够大展身手,帮助数据中心构建高效云平台、加速大数据。

破除数据中心网络瓶颈

业界对于InfiniBand技术可能还有些陌生,它是由Intel、IBM、HP、微软等巨头公司所倡导的用于服务器端的高速互联技术。Mellanox从1999年成立伊始就一直专注于InfiniBand高速网络互连技术研发,后来拓宽至InfiniBand与高速以太网两种网络,目前是该领域领先的端到端网络方案提供商。

刘通表示,传统网络架构在服务器与存储器互联时存在一些弊端,第一是传输协议的限制,TCP/IP协议需要CPU和操作系统的介入才能完成,在网络传输时会产生很大负荷;第二是服务器的输入/输出性能会受到PCI或者PCI-X总线架构的限制,希望有新的网络和CPU之间实现直通;第三是传统以太网网络带宽的限制,InfiniBand技术的起点目标就是其带宽的100倍。InfiniBand架构可以将多个通讯通道组成一个高带宽通道,极大提升了互连效率和性能,因此受到了最需要网络带宽和性能的超级计算的青睐,众多大公司也加入InfiniBand阵营成立了一个工业标准的机构。

经过十几年发展,InfiniBand技术的生态系统已经形成。要真正发挥InfiniBand最好的特性不仅需要高速网络硬件,还需要对软件中间件,或者应用软件和操作系统进行必要的调整以和芯片组进行最优化的通信。幸运的是,现在主流的服务器、存储、虚拟化、操作系统、数据库等软硬件厂商的相关产品都已经支持InfiniBand的RDMA协议。例如Oracle、IBM、微软、Teradata等数据库/数据仓库都已移植到工业标准的高速网络传输协议RDMA上面来了,云计算中的虚拟机也可实现在RDMA上的迁移。。目前,InfiniBand在云计算、大数据领域里面已经形成了一个完整的生态系统,有助于从根本上解决数据中心网络瓶颈。

搭建云平台与大数据快车道

当前云计算和大数据的快速发展对数据中心网络的性能和管理提出了更高的要求,也为InfiniBand技术提供了用武之地。刘通表示,从国际上看,电信行业纷纷搭建内部云平台,开拓公共云服务,并利用大数据开展数据分析。国内运营商也紧跟这一步伐,实施的步骤也很快,由于中国用户量大,公司数量多,中国云计算应用的需求比国外还更为迫切。我们从网络公司角度剖析云计算整体架构的时候,会发现传统云计算架构可能存在多个I/O瓶颈。

首先来看服务器这端存在网络瓶颈问题。云平台基本上是采用传统的X86服务器加上虚拟化方式组建的,CPU越来越强大,CPU的核数越来越多,内存的性能和磁盘的速度也越来越高,这就说明单服务器处理能力越来越强。为了充分利用服务器的资源,我们需要在一台服务器上面虚拟出多台虚拟机。由于云计算是一个大型交互平台,虚拟机之间会承载很多业务流量,服务器、存储器、数据库之间需要频繁交互业务请求和进行数据传输,传统网络的带宽就成为了瓶颈,很显然千兆以太网在新的云计算环境里会被淘汰,InfiniBand、万兆以太网或更高速的网络就成为迫切需求。此外,存储的快速响应对网络的需求一样很高,否则即使安装了高速磁盘,其读写吞吐量也发挥不出来,造成存储资源的巨大浪费。面对未来的云计算环境,我们肯定希望用稳定、成熟、以及高速的网络,因此将来会是具备明确发展路线的高速以太网和InfiniBand的天下。 Mellanox最快明年就能推出100Gb/s的端到端的以太网与InfiniBand网络。

大数据的特点在于它用一种新型的架构来处理海量的数据,带来的好处就是随机可扩展性非常好,这是传统数据库没办法实现的;同时,它用一种更经济的方法来处理海量的数据,以前的数据库也有可能处理海量数据,但是代价太大,现在用普通的服务器产品能够实现更佳性价比的系统架构。在大数据处理中既要保持经济性,又要保持性能与容量的可扩展性,实现实时在线处理,这对网络提出了很高的要求,InfiniBand和高速以太网在大数据领域也因此找到了一个被市场迅速接受的机会。Mellanox最新推出的56Gb/s的网络提供更高带宽,加速了Oracle等主流数据库,同时通过RDMA技术加速Hadoop Map Reduce和HDFS,实现了Hadoop性能2倍的提升。

云计算的兴起也推进了SDN这一具有革命性概念的发展。运营商提供大规模的云计算服务,需要建立服务器、存储和网络资源池,进行资源动态分配。采用传统的以太网管理模式组建弹性的云计算网络资源池是很困难的,每台交换机都需要单独配置相当复杂。有了SDN以后可以带来很多好处,第一是实行集中式的管理,避免了管理很多单独交换机时的繁重工作,并且具备了灵活性;第二是节约了管理成本和采购成本;第三能够保证按需需求,真正创建网络资源池,动态分配给不同用户。此外,还可以避免网络被一家厂商的设备所“绑定”。Mellanox在SDN方面也做了很多工作,第一是网卡上SDN的融入,在网卡上加入了内置交换机的功能,极大提升了虚拟机传输性能。另外一个模块是OpenFlow,通过标准API接口在硬件上配置VM与网络策略。网卡是灵魂,Mellanox的网卡能够很好地支持虚拟化,甚至推出了一款专用的云计算环境的网卡ConnectX-3 Pro,支持VXLAN和NVGRE这两个市面上最流行的做虚拟机之间跨域网络通信的协议,是全世界唯一的一家能够在网卡上面支持这两种主流的虚拟机跨域通信协议的。

刘通表示,Mellanox的技术优势在于提供最高的网络带宽,达到了56Gb/s,同时最低的网络延迟, InfiniBand网络通信延迟低于1微秒。再加上独特的RDMA技术,能够避免传统的TCP/IP对CPU和操作系统的负荷,进一步降低延迟,提供更好的可扩展性,所以在云计算和大数据系统里将是不可或缺的高性能部件。目前,Mellanox已经在运营商里面取得了一系列的成功,并于去年成立了中国的分公司,正式的扎根中国,致力于通过高性能的网络帮助运营商构建高效云平台、加速大数据服务。

(来源:中国信息产业网)

分享到:
保存  |  打印  |  关闭