才干对决:InfiniBand vs.千兆以太网

早在几年前,选择何种协议来连接计算机到网络根本不需要纠结。中等规模数据中心的服务器使用以太网互联技术,而如果你想连接很多节点到单个高性能计算机(HPC),则需要选择InfiniBand。

关于Mellanox

我们是基于InfiniBand和以太网标准的端到端高性能互连产品和解决方案的集成供应商。我们的产品促进了服务器,存储系统,通信基础设施设备和其他嵌入式系统之间的有效数据传输。我们在全球经营我们的业务,并向不同层次的客户提供产品。我们提供的产品包括集成电路(“IC”),适配器卡,交换机系统,多核和网络处理器,电缆,模块,软件,服务和配件。这些产品共同构成了一个全面的端到端网络解决方案,专注于多个市场中使用的计算,存储和通信应用,包括高性能计算(“HPC”),云,Web
2.0,存储,金融服务和企业数据中心(“EDC”)。这些解决方案可提高性能,提高应用效率并提高投资回报。通过成功开发和实施多代产品,我们建立了重要的专业知识和竞争优势。
作为开发多代高速互连解决方案的领导者,我们与客户建立了牢固的关系。我们的产品被并入由最大的服务器厂商生产的服务器和相关网络解决方案中。我们向领先的存储和通信基础设施设备供应商提供我们的产品。另外,我们的产品也被用作嵌入式解决方案。
我们是InfiniBand的先驱之一,InfiniBand是高性能互连的行业标准架构。
我们相信InfiniBand互连解决方案为集成我们产品的集群计算和存储系统提供行业领先的性能,效率和可扩展性。
除了支持InfiniBand,我们的产品还支持业界标准的以太网传输协议,提供独特的产品差异化和连接灵活性。
我们的产品作为构建可靠和可扩展的InfiniBand和以太网解决方案的基石,具有领先的性能。
我们还认为,我们是25/50/100Gb/s以太网适配器,交换机和电缆到市场的早期供应商之一,也是目前这些产品唯一的端到端供应商。
随着用户从一个或10Gb/s直接升级到25/40/50或100Gb/s,这为我们提供了在以太网市场中获得份额的机会。
2016年2月23日,我们以约7.822亿美元收购了EZchip半导体有限公司(“EZchip”)。
EZchip收购是我们成为软件定义数据中心智能互连解决方案领先的广泛供应商的战略的关键推动力。添加EZchip的产品和安全,深度包检测,视频和存储处理的专业知识增强了我们的领导地位,并提供完整的端到端智能10,25,40,50和100Gb/s互连和高级数据中心和边缘平台的处理解决方案。多核和网络处理器的增加使我们能够为客户提供多样化和强大的解决方案,以满足高性能计算,Web
2.0,云,安全数据中心,企业,电信,数据库中数据密集型应用的日益增长的需求,金融服务和存储环境。该交易于2016年2月23日结束,并以现金现金融资,并提供2.8亿美元的期限债务(“期限债务”)。
自2001年以来,我们一直在运送InfiniBand产品,并且自2007年以来一直在运送我们的以太网产品。2008年期间,我们在ConnectX系列适配器IC和卡中引入了虚拟协议互连(VPI)。
VPI提供适配器自动检测通信端口是否连接到以太网或InfiniBand的功能。
在2015年,我们推出了Spectrum系列的25,50和100Gb/s以太网交换机和Switch-IB
2智能InfiniBand交换机。
为了加快采用我们的高性能互连解决方案和我们的产品,我们与相关行业的领先供应商合作,包括:

  • 处理器和加速器供应商,如AMD,ARM,IBM,Intel,Nvidia,Oracle和Qualcomm;
  • 微软和红帽等操作系统厂商; 和
  • 软件应用程序供应商,如Oracle,IBM和VMware。

我们是InfiniBand贸易协会(“IBTA”)和OpenFabrics联盟(“OFA”)的指导委员会成员,两者都是维护和推广InfiniBand技术的行业贸易组织。
此外,OFA还支持并促进以太网解决方案。 我们是25千兆以太网联盟的创始成员。
我们也是电气和电子工程师学会的参与成员,也是IEEE,一个促进以太网标准,以太网联盟和其他行业组织推进各种网络和存储相关标准的组织。
我们的业务总部位于加利福尼亚州的桑尼维尔,我们的工程和制造总部位于以色列的Yokneam。
我们截至2016年12月31日和2015年的总资产分别约为147.35亿美元和10.353亿美元。
截至2016年,2015年和2014年12月31日止的年度,我们分别产生了大约85.750亿美元,6.5818亿美元和4.63亿美元的收入,分别约为1,850万美元,9290万美元和(24.0百万美元)的净收入(亏损)

我们根据一个可报告的部分管理我们的业务:互连产品的开发,制造,营销和销售。
本项目所需的附加信息通过参考本报告第IV部分第15项的合并财务报表和附注13“合并财务报表附注”中的“地理信息和产品组收入”纳入本文。
本报告第一部分第一部分,题为“风险因素 –
与以色列及其他外国经营相关的风险”一节讨论了与外国业务相关的风险和依赖外国业务的风险。

 LinuxWorld 专栏作家
Rawn Shah 作为专家,在 Linux
现有的开放源码和封闭源码集群解决方案方面为您指点迷津。
计算 Linux 中集群项目的数量就象计算硅谷中创业公司的数量一样。不象
Windows NT 已经受其自身的封闭环境阻碍,Linux
有大量的集群系统可供选择,适合于不同的用途和需要。但确定应该使用哪一个集群的工作却没有因此变得简单。
问题的部分原因在于术语集群用于不同场合。IT
经理可能关心如何使服务器运行时间更长,或使应用程序运行得更快,而数学家可能更关心在服务器上进行大规模数值计算。两者都需要群集,但是各自需要不同特性的群集。
本文调查了不同形式的集群以及许多实现中的一部分,这些实现可以买到,也可以免费软件形式获得。尽管列出的所有解决方案并不都是开放源码,但是大多数软件都遵循分发
Linux
源码的公共惯例,特别是由于那些实现集群的人还常常希望调整系统性能,以满足需要。
硬件
集群总是涉及到机器之间的硬件连接。在现今大多数情况下,这只是指“快速以太网”网卡和集线器。但在尖端科学领域中,有许多专为集群设计的网络接口卡。它们包括
Myricom 的 Myrinet、Giganet 的 cLAN 和 IEEE 1596 标准可伸缩一致接口
(SCI)。那些卡的功能不但在群集的节点之间提供高带宽,而且还减少延迟发送消息所用的时间)。对于在节点间交换状态信息以使其操作保持同步情况,那些延迟是至关重要的。
Myricom
Myricom 提供网卡和交换机,其单向互连速度最高可达到 1.28
Gbps。网卡有两种形式,铜线型和光纤型。铜线型 LAN 可以在 10
英尺距离内以全速进行通信,而在长达 60 英尺距离内以半速进行操作。光纤型
Myrinet 可以在 6.25 英里长的单模光纤或者 340
英尺长的多模光纤上全速运行。Myrinet
只提供直接点到点、基于集线器或基于交换机的网络配置,但在可以连接到一起的交换光纤数量方面没有限制。添加交换光纤只会增加节点间的延迟。两个直接连接的节点之间的平均延迟是
5 到 18 微秒,比以太网快得多。
集群类型
最常见的三种群集类型包括高性能科学群集、负载均衡群集和高可用性群集。
科学群集
通常,第一种涉及为群集开发并行编程应用程序,以解决复杂的科学问题。这是并行计算的基础,尽管它不使用专门的并行超级计算机,这种超级计算机内部由十至上万个独立处理器组成。但它却使用商业系统,如通过高速连接来链接的一组单处理器或双处理器
PC,并且在公共消息传递层上进行通信以运行并行应用程序。因此,您会常常听说又有一种便宜的
Linux
超级计算机问世了。但它实际是一个计算机群集,其处理能力与真的超级计算机相等,通常一套象样的群集配置开销要超过
$100,000。这对一般人来说似乎是太贵了,但与价值上百万美元的专用超级计算机相比还算是便宜的。
负载均衡群集
负载均衡群集为企业需求提供了更实用的系统。如名称所暗示的,该系统使负载可以在计算机群集中尽可能平均地分摊处理。该负载可能是需要均衡的应用程序处理负载或网络流量负载。这样的系统非常适合于运行同一组应用程序的大量用户。每个节点都可以处理一部分负载,并且可以在节点之间动态分配负载,以实现平衡。对于网络流量也如此。通常,网络服务器应用程序接受了太多入网流量,以致无法迅速处理,这就需要将流量发送给在其它节点上运行的网络服务器应用。还可以根据每个节点上不同的可用资源或网络的特殊环境来进行优化?
高可用性群集
高可用性群集的出现是为了使群集的整体服务尽可能可用,以便考虑计算硬件和软件的易错性。如果高可用性群集中的主节点发生了故障,那么这段时间内将由次节点代替它。次节点通常是主节点的镜像,所以当它代替主节点时,它可以完全接管其身份,并且因此使系统环境对于用户是一致的。
在群集的这三种基本类型之间,经常会发生混合与交杂。于是,可以发现高可用性群集也可以在其节点之间均衡用户负载,同时仍试图维持高可用性程度。同样,可以从要编入应用程序的群集中找到一个并行群集,它可以在节点之间执行负载均衡。尽管集群系统本身独立于它在使用的软件或硬件,但要有效运行系统时,硬件连接将起关键作用。
Giganet
Giganet 是用于 Linux 平台的虚拟接口 (VI) 体系结构卡的第一家供应商,提供
cLAN卡和交换机。VI 体系结构是独立于平台的软件和硬件系统,它由 Intel
开发,用于创建群集。它使用自己的网络通信协议在服务器之间直接交换数据,而不是使用
IP,并且它并不打算成为 WAN 可路由的系统。现在,VI
的未来取决于正在进行的“系统 I/O 组”的工作,这个小组本是 Intel
领导的“下一代 I/O”小组与 IBM 和 Compaq 领导的“未来 I/O
小组”的合并。Giganet 产品当前可以在节点之间提供 1 Gbps
单向通信,最小延迟为 7 微秒。
IEEE SCI
IEEE 标准 SCI 的延迟更少低于 2.5 微秒),并且其单向速度可达到 400 MB/秒
(3.2 Gbps)。SCI
是基于环拓扑的网络系统,不像以太网是星形拓扑。这将使在较大规模的节点之间通信速度更快。更有用的是环面拓扑网络,它在节点之间有许多环形结构。两维环面可以用
n 乘 m
的网格表示,其中在每一行和每一列都有一个环形网络。三维环面也类似,可以用三维立体节点网格表示,每一层上有一个环形网络。密集超级计算并行系统使用环面拓扑网络,为成百上千个节点之间的通信提供相对最快的路径。
大多数操作系统的限制因素不是操作系统或网络接口,而是服务器的内部 PCI
总线系统。几乎所有台式 PC 通常有基本 32-位,33-MHz
PCI,并且大多数低端服务器只提供 133 MB/秒 (1
Gbps),这限制了那些网卡的能力。一些昂贵的高端服务器,如 CompaqProliant
6500 和 IBM Netfinity 7000 系列,都有 64-位, 66-MHz
网卡,它们能够以四倍速度运行。不幸地是,矛盾是更多公司使用低端的系统,因此大多数供应商最终生产和销售更多低端
PCI 网卡。也有专门的 64-位,66-MHz PCI 网卡,但价格要贵许多。例如,Intel
提供了这种类型的“快速以太网”网卡,价格约 $400 到 $500,几乎是普通 PCI
版本价格的 5 倍。

而现在,这种选择开始模糊。这两种协议开始“侵犯对方的领地”,以更好地互联较大的数据中心。最新版本的以太网——千兆以太网(Gigabit
Ethernet)完全能够支持更大的HPC系统,而InfiniBand也正被越来越多地应用于性能敏感的企业数据中心。

行业背景

专栏作家 Rawn Shah 作为专家,在 Linux
现有的开放源码和封闭源码集群解决方案方面为您指点迷津。 计算 Linux
中集群项目的数量就象…

从世界最快超级计算机的前500强最新名单来看,500强系统中有226个系统使用的是InfiniBand,而只有188个使用千兆以太网。

高性能互连市场概览和趋势

计算和存储系统,如当今数据中心中的服务器,超级计算机和存储阵列面临着处理指数级扩展的事务和数据量的重大挑战,同时在经济和电力约束下提供了改进的应用程序性能,高可扩展性和可靠性。高性能互连解决方案通过快速传输数据,降低延迟,改进中央处理单元的应用程序处理或CPU,利用资源和资源的有效共享,消除了计算和存储资源之间通信的瓶颈。结果是效率更高,资源利用更好,从而以更低的资本支出和运营费用提供更高的应用性能。
HPC,机器学习,存储,Web
2.0,云,大数据,EDC和金融服务领域的领先公司利用这些技术开发分布式应用程序和服务,可以扩展到为数百万最终客户提供服务。
由于企业对日常业务信息技术(“IT”)的依赖程度越来越多,对计算能力和数据存储容量的需求持续上升。由于要处理,存储和检索的信息量较大,数据中心依靠高性能计算和高容量存储系统来优化价格/性能,最大限度地降低总拥有成本,有效利用电力并简化管理。我们认为,几种IT趋势影响了互连解决方案的需求以及这些解决方案所需的性能。这些趋势包括:

  • 使用多个标准组件之间的连接转换到集群计算和存储;
  • 过渡到服务器中的多核处理器和多核处理器;
  • 使用固态闪存驱动器实现数据存储;
  • 增加部署软件定义的扩展存储;
  • 企业数据中心基础设施整合;
  • 增加关键任务,延迟或响应时间敏感应用程序的部署;
  • 增加融合和高度融合的基础设施的部署;
  • 增加虚拟化计算和虚拟化网络资源的部署,以提高服务器利用率;
  • 云提供商要求更快更高效地执行系统配置,工作负载迁移和支持多个用户的请求;
  • Web 2.0数据中心的要求,以提高其硬件利用率并立即扩大到大容量;
  • 大数据分析要求,用于更快速的数据访问和处理,以分析越来越大的数据集并提供实时分析;和
  • 增加使用大量数据和计算资源的人造智能和机器学习应用程序的部署,并且通常需要生成实时结果。

已经开发了许多基于半导体的互连解决方案来满足不同的应用需求。
这些解决方案包括专有技术以及标准技术,包括光纤通道,以太网和InfiniBand,专为高性能计算,存储和嵌入式应用而设计。

目前,对于网络聚合点,可以使用100千兆以太网,其中100千兆以太网卡的每个端点都能以100Gbps传输数据。更便宜的1、10和40千兆以太网网卡同样也可以用于服务器和交换机。为了满足对更多带宽的需求,以太网联盟已经开始开发400千兆以太网。

高性能互连所面临的挑战

上述趋势表明,高性能互连解决方案将在IT基础设施中发挥越来越重要的作用,并将推动单位需求的强劲增长。
然而,互连解决方案的性能要求不断演变,导致对解决方案的高需求,这些解决方案能够解决以下挑战,以促进广泛采用:

  • 性能限制在集群计算中,云计算和存储环境,高带宽和低延迟是捕获集群全面性能的关键要求。随着在服务器,存储和嵌入式系统中使用多个多核处理器,I
    /
    O带宽不能跟上处理器的进步,造成性能瓶颈。快速数据访问已成为利用微处理器增加的计算能力的关键要求。此外,互连延迟已成为集群整体性能的限制因素。
  • 增加复杂性。集群服务器和存储系统作为关键IT工具的不断增长的使用导致了互连配置的复杂性的增加。
    EDC中的配置和连接数量也有所增加,使得系统管理变得越来越复杂,操作昂贵。另外,使用不同的互连基础设施管理多个软件应用程序已变得越来越复杂。
  • 互连效率低下集群计算和存储的部署创造了额外的互连实施挑战。随着附加的计算和存储系统或节点被添加到集群中,互连必须能够扩展,以便提供集群性能的预期增加。此外,对数据中心能源效率的更多关注正在导致IT经理们寻求采用更节能的方法。
  • 连接的可靠性和稳定性有限。大多数互连解决方案不是设计为在大型集群环境中使用时提供可靠的连接,从而导致数据传输中断。由于EDC中的更多应用程序共享相同的互连,因此需要高级流量管理和应用程序分区来保持稳定性并减少系统停机时间。大多数互连解决方案不提供此类功能。
  • 价格/业绩不佳的经济学。为了提供所需的系统带宽和效率,大多数高性能互连采用复杂的多芯片半导体解决方案。这些实现传统上是非常昂贵的。
  • 除了InfiniBand和以太网,专有和其他基于标准的互连解决方案(包括光纤通道)目前用于EDC,HPC和嵌入式市场。
    然而,性能和使用要求不断发展,现在正在挑战这些互连解决方案的功能。
  • 专有的互连解决方案已经设计用于超级计算机应用,支持低延迟和增加的可靠性。
    这些解决方案仅由单一供应商支持产品和软件支持,并且没有标准组织维护和促进技术的改进和改进。
    使用专有互连解决方案的超级计算机的数量一直在下降,主要是由于需要使用专有软件解决方案,缺乏兼容的存储系统以及提供卓越价格/性能的基于行业标准的互连。
  • 光纤通道是限于存储应用的行业标准互连解决方案。大多数光纤通道部署支持2,4,8和16Gb
    /
    s。光纤通道缺乏标准的软件接口,不提供服务器集群功能,并且相对于其他基于标准的互连而言仍然更昂贵。业界一直在努力通过互联技术支持光纤通道数据传输协议,包括以太网(以太网光纤通道)和InfiniBand(InfiniBand上的光纤通道)。随着传统存储区域网络向融合,软件定义和扩展存储的现代Web
    2.0和云架构转移,光纤通道市场正在下滑。
  • 以太网是业界标准的互连解决方案,最初设计用于实现计算机局域网或广域网之间的基本连接,其中延迟,连接可靠性和由于通信处理而导致的性能限制非关键。虽然以太网具有1
    / 10Gb /
    s的广泛安装基础和较低的数据速率,但其整体效率,可扩展性和可靠性已经不如其他高性能计算,存储和通信应用中的互连解决方案最佳。增加到25/40/50
    / 100Gb /
    s带宽,显着减少应用延迟和更有效的软件解决方案,提高了以太网的能力,以满足不需要最高性能或可扩展性的特定高性能应用。
  • 在HPC,云,Web2.0和存储市场中,今天的主要互连是InfiniBand和以太网。
    在EDC和嵌入式市场中,今天的主要互连是以太网,光纤通道和InfiniBand。
    根据我们对该行业的了解,我们相信在这些市场中提供高带宽和更好的整体性能的互连产品有很大的需求。

当前版本的InfiniBand(FDR)提供56Gbps(或者每通道14Gbps)的速度。下一代EDR(增强型数据速率)将于明年推出,提供100Gbps。

InfiniBand的优势

与基于替代互连架构的解决方案相比,基于InfiniBand的解决方案具有优势。
InfiniBand通过为更高要求的高性能互连市场提供解决方案,解决IT基础架构中的重大挑战。更具体地说,我们认为InfiniBand具有以下优点:

  • 出众的表演。与被设计为严重依赖通信处理的其他互连技术相比,InfiniBand被设计用于在IC中实现,以减轻CPU的通信处理功能。
    InfiniBand能够相对于其他现有的互连技术提供优越的带宽和延迟,并且每个连续的产品都保持了这一优势。例如,我们目前的InfiniBand适配器和交换机提供高达100Gb
    / s的带宽,端到端延迟低于微秒。此外,InfiniBand还充分利用了PCI
    Express的I / O功能,即高速系统总线接口标准。
  • 在延迟方面的性能因系统配置和应用而异。
    根据独立的基准测试报告,InfiniBand解决方案的延迟不到测试以太网解决方案的一半。
    光纤通道仅用作存储互连,通常不会在延迟性能上进行基准测试。
    HPC通常需要低延迟互连解决方案。 此外,云,Web
    2.0,存储,机器学习和嵌入式市场中对延迟敏感的应用程序越来越多,因此,使用10Gb
    / s和更快的行业标准InfiniBand和以太网解决方案有趋势 ,能够提供比1Gb
    / s以太网更低的延迟。
  • 降低复杂性。虽然其他互连需要使用单独的电缆连接服务器,存储和通信基础设施设备,但InfiniBand允许在单个电缆或背板互连上整合多个I
    / O,这对于刀片服务器和嵌入式系统至关重要。
    InfiniBand还通过单个连接整合了集群,通信,存储和管理数据类型的传输。
  • 最高的互连效率。 InfiniBand被开发为提供多个系统的高可扩展性。
    InfiniBand在硬件中提供通信处理功能,减轻了该任务的CPU,并使得添加到集群的每个节点的全部资源利用率得以实现。
  • 可靠稳定的连接。
    InfiniBand是唯一在硅硬件中提供可靠的端到端数据连接的行业标准高性能互连解决方案之一。此外,InfiniBand还促进虚拟化解决方案的部署,从而允许多个应用程序在专用应用程序分区的同一互连上运行。因此,多个应用程序在稳定连接上同时运行,从而最大限度减少停机时间。
  • 优越的性价比。除了提供卓越的性能和功能外,基于标准的InfiniBand解决方案通常可以以比其他高性能互连更低的成本获得。

这些数字只是告诉了我们一部分事实。InfiniBand提供的优势还包括扁平化的拓扑结构、更低的延迟性和对服务器处理器更少的依赖。而以太网在整个网络设备市场无处不在。

我们的InfiniBand解决方案

我们提供全面的端到端40/56/100Gb/s
InfiniBand解决方案,包括交换机和网关IC,适配卡,交换机,网关和长途系统,电缆,模块和软件。
InfiniBand使我们能够提供我们认为提供卓越性能并满足最苛刻应用需求的产品,同时与替代互连技术相比,总体拥有成本显着提高。
作为我们全面解决方案的一部分,我们从物理接口到应用软件执行验证和互操作性测试。
我们在执行验证和测试方面的专长减少了客户的上市时间,并提高了面料解决方案的可靠性。

以太网的力量在于它无处不在,从笔记本电脑到最大的数据中心交换机,以太网联盟主席John
D’Ambrosia表示:“有很多公司都提供以太网解决方案,一个共同IP可以跨多个应用程序。”

我们的以太网解决方案

服务器虚拟化,网络存储和计算集群的进步促使需要更快的网络吞吐量来解决企业中的应用程序延迟和可用性问题。为了满足这一需求,我们提供完整的行业领先的端到端10/25/40/50/100
Gb / s以太网产品组合,用于EDC,HPC,嵌入式环境,超大规模,Web
2.0和云数据中心。我们的高级以太网交换机产品组合支持最新一代以太网速度,并为电信和数据中心环境提供线速转发。此外,我们以这些速度提供全系列的以太网适配器,其中包含最新的以太网技术,包括对融合以太网(RoCE)的虚拟化和RDMA的支持。这些解决方案可以消除主流服务器中的I
/ O瓶颈,限制应用性能并支持基于硬件的I /
O虚拟化,为服务器内的虚拟机提供专用适配器资源和保证隔离和保护。

这种无处不在确保了互操作性以及低成本,因为很多供应商激烈的竞争将拉低价格。“对于以太网,你可以将很多东西放在一起用,你可以获得竞争力,同时降低成本。”

VPI:提供InfiniBand和以太网的连接

我们的VPI技术使我们能够提供结构灵活的产品,同时支持以太网和InfiniBand,网络端口能够自动检测连接到的交换机的类型,然后承担该结构的特征。
此外,这些产品通过使用现有的经过现场验证的InfiniBand软件解决方案,将以太网面板的一些InfiniBand优势扩展到诸如降低复杂性和卓越的性价比。