智能交通云计算中心建设服务方案
招标编号:****
投标单位名称:****
授权代表:****
投标日期:****
智慧交通云计算中心的构建遵循行业通用的云计算策略,深度采纳了诸如虚拟化、分布式存储和分布式计算等前沿技术及运作模式,并与电子政务业务紧密结合,旨在实现先进技术与应用场景的无缝融合与高效运用。
政务云计算中心的基础资源,包括计算、存储及网络,需依据业务应用的实际负载需求进行动态扩展。在扩容过程中,仅需增添适量硬件设备,随之安装并配置相应的资源调度管理软件和业务应用程序,即可轻松实现系统的无缝扩展。
■成熟性
在构建智慧交通云计算中心的过程中,应优先考虑采用各类成熟的先进技术手段,以确保其实现多元化功能并保障稳定运行,从而充分满足业务发展需求。
智慧交通云计算中心构建于开放型架构平台上,支持业界广泛设备的兼容性和主流操作系统、虚拟化软件及应用程序的集成,由此显著降低了政务云的开发、运维及运营成本。
可靠性
智慧交通云计算中心应确保提供稳定且高效的计算、存储及网络资源。在设计阶段,需注重硬件、网络与软件的冗余配置,以防止单一故障点的发生,从而确保政务云计算环境的连续稳定运行。
■安全性
政务云计算中心通过与省、区县政务外网以及互联网的连通,面临着网络入侵和病毒威胁的双重挑战。为了保障资源的顺利共享并防止数据泄露,政务云计算中心必须实施全方位的安全策略,着重提升信息的安全性和隐私保护能力。
■多业务性
在智慧交通云计算中心的设计规划中,我们着重考虑了支持众多用户与业务的特性。通过自动化和动态的调度机制,确保基础资源在满足不同应用和用户需求的同时,实现业务间的有效隔离,从而保障多种业务的协同高效运行。
在智慧交通云计算中心的产品选型策略中,我们优先倾向于选用自主研发且具备可控性的软硬件设备,此举旨在双重保障:一是确保云计算中心系统的全面安全,二是积极推动本地信息化产业生态的繁荣发展。
微信公众平台'找方案'汇集了广泛的行业优选解决方案,涵盖如下领域:智慧城市、智能制造、智能交通、应急管理系统、智慧环卫、智慧社区、智慧林业、智慧园区发展、国土管理、公安应用、管网运维、电信服务、银行业务、物流解决方案以及教育行业等。只需关注'找方案'公众号,即可获取电子版方案资源。
图支撑平台技术架构
云计算基础设施层作为基石,支撑着整体的架构设计,向上依次延伸至云计算平台资源层、承载业务数据的云计算业务数据层,再者是负责管理和运维的云计算管理层,最后是为用户服务的云计算服务层。
物理设施基础:涵盖云计算中心的机房设施核心要素
资源抽象层:依托云计算中心安全的物理设施,通过虚拟化与分布式存储等先进技术,将服务器、网络及存储设备实现虚拟化,进而构建计算资源池、存储资源池与网络资源池,实现基础设施即服务(IaaS)模式。
业务数据管理:致力于保障业务数据的安全存储,设计用于云平台各虚拟机镜像及模板数据的共享存储解决方案,支持虚拟机的无缝迁移以及数据的灵活迁移功能;促进部门间的数据流通与协作;并确保业务应用的无缝接入与集成。
管理层云服务:依托自主可控的云计算操作系统,达成对云计算中心的服务与业务管理的协同整合,从而提升运维与运营效率。
云计算服务架构:作为云计算中心与终端用户的连接界面及操作平台,此平台促使云计算中心能标准化对外交付服务,为用户团队全面支持云应用与服务。其核心功能是通过统一的云服务平台对外实施服务供给。
图云计算中心拓扑架构图
云计算中心的构建遵循以物理分区为核心单元的设计原则,具体划分为以下区域:核心交换区、管理区域、隔离区(DMZ)、业务应用程序区域以及云存储区域。
核心交换区:负责核心网络交换;
负责统筹管理云计算平台,独立构建一套专门的管理网络体系。
针对云计算中心的整体安全性考量,我们设计了一专用的Demilitarized Zone (DMZ)区域。此区域主要负责承载各个业务部门的Web应用程序服务发布,同时支持云计算中心与互联网的连接。DMZ区域的构建可以选择全虚拟机技术进行支持,或者结合虚拟机与物理服务器的协同工作模式,以确保系统的高效运行和安全性。
业务应用区域划分为两个子模块:数据库逻辑分区和应用系统逻辑分区。前者依托于高性能的八路物理主机进行保障;后者则灵活运用虚拟化技术与物理服务器相结合的方式,根据各具体业务应用的独特需求,选择适用的虚拟机或物理服务器作为支持平台。
构建的数据库分区:旨在为各个应用系统提供基础架构化的数据存储。鉴于数据量的海量以及系统对数据访问的高IO需求,我们推荐采用高性能物理服务器作为支撑平台。
逻辑业务应用分区策略:依据各业务部门的独特业务需求及对平台安全等级的差异化要求,本方案采取虚拟机与物理服务器的协同架构支持。
随着云计算中心业务量与复杂性的同步提升,我们能够通过沿用现有架构,实现节点的无缝扩展,从而确保云计算平台具备卓越的可扩展性和高效伸缩能力。
图云计算中心逻辑架构图
云计算中心的设计理念围绕业务区域构建,这是一种以服务器集群为核心,具备差异化设备配置的物理资源划分。作为系统的基础硬件构成单元,系统由多个这样的业务区域组成。通过增加业务区域的方式,实现了系统的无缝扩展,确保了良好的可扩展性。业务区域的业务网络交换机通过万兆连接接入核心交换区,进而与各业务区域以及域外系统实现高效互联。
在各个业务区域中,我们利用云计算运营中心节点,通过云资源管理平台在X86业务节点上实施Hypervisor的部署,从而构建起一个或多个独立的逻辑资源池,供应用程序调用。在这些逻辑资源池内部,云计算虚拟化管理中心支持资源的共享与动态分配功能。
业务区域构成如下:主要包括云计算虚拟化管理中心节点、业务处理节点、业务网络、管理网络以及心跳网络,本地支持镜像存储。各业务区域依据其特定需求,可访问至FC存储或并行存储等业务数据承载区域。
构建了多元化的云计算服务平台,配备若干个用户自助服务入口,旨在为系统的最终管理员提供便捷的门户管理界面。
借助上述设计理念,本系统展现出卓越的可扩展性,能够轻松支持扩展至数千台物理服务器的规模。
图云计算中心部署架构图
根据云计算中心的整体建设需求,我们将规划部署架构的全貌,从而引领项目的全面实施。
云计算中心的部署结构涉及多个关键环节:首先是计算资源池的构建,继而进行业务数据的精细分区规划,接着是共享存储策略的设计。这样的部署流程全面考量了整体架构的完整性。
构建计算资源池的核心策略是选用高性能的多核X86服务器作为基石,借助虚拟化技术将底层物理资源转化成虚拟形态。并通过云资源管理平台对虚拟机的操作进行精细化管理,包括创建、动态分配、迁移,从而构建出一个整合的计算资源池。
在本规划中,鉴于云计算安全、可靠性的核心价值,我们选择物理机作为数据库分区的基础,旨在确保系统的稳定性、高I/O性能和无缝访问。我们主要依赖于高端X86架构的高性能服务器集群部署策略,以支持业务数据的高效存储与管理。
共享存储设计的存储数据主要包括重要业务数据和虚拟机镜像数据,其中:重要业务数据主要通过Oracle/DB2/SQL Server/MySQL等数据库进行数据管理,结构化数据存储利用高端私有云存储设备来支撑,在未来需要对存储容量进行扩展时可方便的横向纵向扩展;虚拟机镜像数据主要存放在共享存储部分,通过共享存储设备来支撑虚拟机镜像数据的存放,共享存储建议使用并行存储系统来支撑。
本项目建设云计算中心的基本技术路线主要包括:X86系统架构、资源池化、弹性扩展、智能化云管理以及充分考虑利旧。
作为标准PC服务器架构,X86平台依赖Intel Xeon或AMD Opteron处理器提供强大性能。近年来,Intel和AMD在处理器设计与制造中不断引入创新技术与工艺,包括64位运算、直接连接架构、内置内存控制器、多核处理能力(Intel Xeon目前可达10核,而AMD Opteron可支持高达16核),以及硬件辅助虚拟化功能(如Intel的VT和AMD的V)等。根据国际知名评测机构TPC的评估,基于X86架构的服务器在性价比方面展现出卓越表现。
X86服务器主要优势表现在界面友好,系统安装、网络装置、客户机设置简易,设置、管理系统直观、方便,系统扩展灵活等优点,对构建大型应用集群具有较好的优势。同时,基于X86架构的服务器因为其开放的架构,开放的生态系统,使其具有较低的运维成本,这也是传统小型机等封闭系统所不能比拟的。此外,从可靠性的角度,在云计算环境下,通常大量采用虚拟化、分布式、并行计算等模式,有力的保证了计算系统的可靠性。
同时,基于X86架构的服务器因为其开放的架构,开放的生态系统,使其具有较低的运维成本,这也是传统小型机等封闭系统所不能比拟的。此外,从可靠性的角度,在云计算环境下,通常大量采用虚拟化、分布式、并行计算等模式,有力的保证了计算系统的可靠性。国内外几大互联网巨头,Google、Amazon、百度、阿里巴巴等,无不大量采用X86架构的设备,支撑海量的互联网检索和访问。X86架构的服务器已经成为构建云计算中心虚拟化平台的最佳选择。
X86服务器相对于小型机的优势如下表所示:
表X86服务器与RISC架构小型机的区别
特性 |
小型机 |
X86服务器 |
|
软件层 |
操作系统 |
Unix为主 |
Unix、Linux、windows全部支持 |
支持应用的数量 |
较少 |
很多 |
|
操作数大小 |
64位 |
32位、64位全部支持 |
|
可管理性 |
管理成本 |
很高 |
较低 |
是否支持易购买的零部件 |
否 |
是 |
|
|
故障排除难度 |
高 |
低 |
是否有国产厂商提供 |
很少 |
很多 |
|
可靠性 |
是否能够提供冗余 |
是 |
是 |
性能价格比和可扩展性 |
性能 |
高 |
高 |
价格 |
很高 |
较低 |
|
可扩展性 |
低 |
高 |
|
top500中的数量 |
很少 |
绝大多数 |
以下是X86服务器相对于RISC架构小型机的主要优势概述:
■性能价格比高
当前,高性能计算领域普遍倾向于X86服务器,作为核心驱动力。全球Top500高性能计算机排行榜中的大部分系统,倾向于采用经济高效且性能卓越的X86服务器集群构建,相比之下,小型机系统的应用相对较少。
■可扩展性好
X86服务器支持通过已预留的广泛兼容扩展接口实现无间隙的扩充,所有接口均为标准行业接口,而非专有设计,这一点是小型机系统难以企及的特性。
集群系统,由X86服务器构成,其扩展成本具有显著的优势,能够支持灵活的按需扩展功能。
相较于小型机,X86服务器的复杂性较低。管理由X86服务器构建的集群系统相对简便,这表明对小型机管理员的培养往往需要投入巨大的人力成本和资金支出。
X86服务器普遍采用标准化硬件组件,这使得它们易于获取,并在关键时刻,即使缺乏厂商支持,客户也能自行构建临时解决方案。由于基于通用X86架构,用户不易受到服务器制造商的严格限制。相比之下,小型机的每个部件均为专用设计,这意味着用户在处理关键业务时,必须依赖小型机厂商的响应时间,从而在设备制造商的控制下处于被动地位。
小型机系统的特点在于兼容性有限,仅能支持少数操作系统和64位软件。相比之下,X86服务器具有显著的优势,它能够兼容大多数主流操作系统,并且允许在同一平台运行多种操作系统。此外,X86服务器还支持32位和64位软件的部署,其软件适用范围是小型机系统的数百乃至数千倍,展现出强大的灵活性和兼容性。
资源池化的实质是借助虚拟化手段,将计算、存储和网络等各类物理资源整合为单一的整体,分别为计算资源池、存储资源池和网络资源池,供上层应用程序高效利用。
资源虚拟化作为一种关键技术手段,旨在为上层应用程序提供底层设备或架构的抽象,从而实现云计算资源的池化整合。
虚拟化技术的历史源远流长,其本质是对物理实体的一种抽象处理方式,即通过对实体资源的分割或合并(两者择一或兼有)实现形式上的重构与封装。
聚合封装技术是通过技术手段整合多个物理实体,形成单一的虚拟映射或实例,以支持特定业务需求。诸如共享内存架构(SMP)、计算集群体系、负载均衡集群设计、磁盘阵列(RAID)技术、虚拟存储解决方案、端口聚合(port trunk)以及交换机堆叠(stack)等均属此类应用实例。
切分封装技术是一种通过专业技术手段,将单一物理实体分解为多个独立的虚拟映像或实例,以支持异构业务处理。具体应用如主机虚拟化、存储分割以及虚拟局域网(VLAN)等实例,体现了其实用价值和灵活性。
SMP、计算虚拟化涵盖的方面包括集群管理、负载均衡以及主机虚拟化技术。
存储虚拟化涵盖的方面包括存储分区的管理、RAID技术的应用以及虚拟存储的实现。
网络虚拟化包括诸如虚拟局域网(VLAN)、交换机堆叠以及端口聚合等技术实现手段。
虚拟化技术同样具备灵活性,能够根据不同的应用场景进行组合运用。
存储方案支持单一磁盘的独立划分,亦可涵盖对RAID磁盘阵列的分区分置。
应用单一映像的实现得益于虚拟化主机的负载均衡功能。
一个关键的虚拟化技术成果体现在减少IT架构组件间的相互依赖。以计算虚拟化为例,如集群和主机虚拟化技术,它们实现了应用软件与物理基础架构的解耦,这一进程类似于从传统的C/S架构演进至B/S架构,进而拓展为多层次结构。这种变革源于原有体系结构所面临的局限或挑战。
B/S架构相对于C/S架构,实现了应用计算与客户端的解耦,通过在客户端与数据库之间引入Web服务器作为中介层,从而有效分散了客户端与数据库的负载压力,提升了系统的灵活性和效率。
图C/S架构到B/S架构转化图
通过在Web服务器间引入应用服务器,实现B/S架构向多层体系结构的迁移,这一过程实现了数据处理与Web服务器的解耦,从而有效地分散了Web服务器的负载压力。
图B/S结构到多层体系结构转化图
C/S架构向B/S多层架构的演进,显著提升了应用处理流程的效率,强化了系统的处理性能,并有效增强了应用系统的可扩展性,从而使得大规模应用的处理得以实现。
云计算平台支持多元化的计算虚拟化技术,每种技术针对的独特问题各有侧重。诸如:
通过集群技术的应用,显著提升了系统的处理能力。
通过主机虚拟化技术,旨在提升服务器处理能力的利用效率。
图集群技术及主机虚拟技术优势图
然而,这种分离实现了应用软件与物理基础设施的解耦,有效地降低了它们之间的依赖程度,从而释放了各自技术进步的空间,增强了技术演进的灵活性。
图传统数据中心向云计算中心迁移示意图
为了确保云计算中心服务的质量保障,动态资源调度是不可或缺的关键环节。
当前数据中心的IT基础设施配置较为固化,灵活性受限。当业务增长超乎预期,无法迅速响应并调整资源以适应需求,这在一定程度上阻碍了业务的高效扩张。系统资源的扩容过程往往伴随着较长的延迟,使得业务系统在扩展期间面临运行风险,服务质量因此受到影响。此外,为应对峰值负载而过度扩展的资源,在常规运营状态下往往处于闲置,导致资源利用率低下。
为了防止云计算中心遭遇此类问题,必须实现动态资源调度,即根据业务需求实时调整业务系统资源配置。借助管理系统对资源的实时监控,依据业务负载变化,灵活调配业务资源,确保资源供应充足,从而满足业务运行的需求,最终保证服务品质的稳定提供。
云计算中心通过弱化应用软件对底层物理资源的依赖,促使物理资源得以更灵活地优化系统性能、增强可靠性、提升用户体验和提升运维效率。这种灵活性使得动态资源调度成为可行,进而为上层应用软件提供了卓越的服务质量。强化底层计算、存储和网络等物理资源的整合至关重要,它直接解决了上述挑战。
通过优化配置计算资源、存储资源及网络资源,提升整体的资源整合度,从而有效地提升云计算平台的综合性能。
接着,通过智能手段依据用户的实际需求,对资源进行整合与分配,构建出一个虚拟的应用平台。用户只需轻松地部署其应用程序或数据,即可即时投入运行。
借助整合了计算、存储和网络等多方面资源的运维智能系统,通过对虚拟应用平台中物理资源的实时分析,能够实现对物理资源的动态优化调度,从而提升用户应用程序的运行效能与服务品质。
云计算中心的运维工作主要聚焦于物理资源的优化与管理。通过基于虚拟应用平台的资源使用分析,运维人员能够有效地进行调整,确保云计算中心的运行平稳且效率高企,无需过多涉及上层应用的细节管理。
图云计算中心弹性扩展示例图
云计算中心支持包括IaaS、PaaS、SaaS在内的多元服务模式,它不仅提供计算与存储服务,更聚焦于集成各类资源的全方位服务。其资源构成繁复且规模宏大,这使得资源间的交互关系尤为复杂,旨在提升用户体验与维护效率。为了确保服务质量的稳定性,对用户资源的精确分配和实时调整显得尤为重要。
现有的运维需求已超出人工能力范畴,迫切呼唤智能且自适应的运维管理系统得以实施。
运维管理云服务中心需顺应云服务对资源管理提出的全新要求。
云计算中心通过实施全面的资源整合管理,视系统内的计算、存储与网络等元素为单一整体,进行统一管控。此举有利于提升整体效能,精准定位潜在问题,并作为动态资源分配的关键要素。
云计算中心的资源展现出多元化的视角,包括物理资源的直观呈现、虚拟资源的抽象视界以及虚拟组织的结构洞察,这就要求云管理具备全方位的维度处理能力。
在项目实施过程中,需优先考虑资源的有效利用,即在构建新系统并迁移业务流程至其中后,延续对原有设备的运用,以减小投资浪费。具体措施如下:
服务器设备推荐:基于其性能和稳定性评估,可作为需求较低的前置机部署,或在云计算环境中构建以老旧服务器为核心的子区域,承载相对次要的业务系统。
该存储设备具有灾难恢复功能,旨在增强存储空间的容量。
网络架构:在评估其性能与稳定性后,本设备适合作为构建新型云计算中心网络系统的关键组件。
常见的网络拓扑结构主要包括两层架构与三层架构的部署方案。
传统的网络设计方案中,通常采用三层方案。三层方案将云计算中心基础网络分成核心、汇聚和接入三层架构。通常情况下,核心与汇聚之间通过路由技术进行流量的控制,汇聚层设备可以部署安全模块作为业务分区的边界网关,汇聚层以下普遍采用二层接入,运行STP/MSTP等协议来降低二层环路带来的隐患。
三层结构的优点在于:
业务部署基于明确的网络分区,由汇聚层设备进行有效划分,从而实现便捷的扩展、管理和维护功能。
通过灵活配置汇聚层策略,根据不同区域的性能需求,进行差异化设计,从而有效分散核心设备的端口负荷,实现网络收敛比的精确调控。
线路布局设计具备明确与灵活性,从而避免了集中式布线可能引发的散热难题及维护困扰。
汇聚层设备的资源配置凭借其灵活性,可根据收敛比适当地控制成本,而接入层设备选用的低端产品则相应地降低了总体网络构建的经济负担。
三层结构的缺点在于:
网络架构的复杂性要求实施多重保护,包括MSTP(多生成树协议)和VRRP(虚拟路由冗余协议)等冗余策略。
■在汇聚层收敛比较大,性能容易出现瓶颈;
在部署过程中,网关被安置于汇聚层,其上则运用路由协议进行流量调控,然而这可能导致路由收敛速度减缓,路由路径与节点数量随之增加,对管理构成较大挑战。而在汇聚层以下,仍旧采用第二层架构,尽管如此,依然存在形成环路的可能性。从全局视角审视,三层结构的复杂性较为显著。
随着信息技术的持续进步,高端交换机的转发效能与接入容量不断提升。这些设备凭借其强大的性能,能够直接支持高密度的千兆接入和万兆上行,从而有效地简化接入层设备,推动网络架构向扁平化方向发展。在核心与汇聚接入层设备间,采用基于第二层交换的通信,VLAN配置具有高度灵活性。新型交换机的虚拟化功能可替代传统STP/MSTP,通过VLAN映射实现业务区间的有效划分,使得网络结构更为简洁明了。
二层结构的优点在于:
通过扁平化网络架构设计,简化了网络拓扑结构,从而有效地降低了单一故障点的风险并优化了性能,使得系统管理与维护更为便捷高效。
云计算中心的二层网络架构全部选用高端设备,旨在构建一个具有卓越转发效能的高端网络环境。这些高端设备以其出色的可靠性,为云计算中心的应用提供坚实的保障和支持。
新型高端交换机设备整合了虚拟化技术,显著简化了设计流程,有效消除了冗余环路问题,并减少了STP/MSTP协议在运维与管理方面的复杂性。
专为大规模、高要求的云计算中心设计,强调集中部署与卓越性能。
鉴于云计算服务器的特性,包括众多节点、快速扩容、对可靠性的相对较低需求以及独立的网络结构,我们在物理层面构建了基于二层网络的设计,同时在逻辑层面上将其虚拟化处理为单一层面。
以下是依据二层网络构建原理展示的本项目组网逻辑架构的视觉呈现。
图组网逻辑架构拓扑
2.2.1.1计算资源池特性
为了应对前端海量数据的高效处理,云计算中心倾向于配置庞大的计算机节点阵容。相比之下,传统超级计算中心注重整体的计算效能,而现代互联网数据中心则侧重于密集度和带宽性能的提升。作为物联网后端的核心处理平台,云计算中心尤其需要一种综合的‘处理能力’,这涵盖了计算力、传输效率以及存储空间的集成。鉴于云计算中心的工作特性,它并非持续执行单一计算任务,而是需同时处理众多并发的服务请求,对响应速度、通信带宽和存储容量提出了极高的要求。因此,云计算中心的理想架构应当具备高吞吐量的计算机系统设计。
在保障服务可靠性的同时,云计算运营商致力于通过先进技术优化整体拥有成本,这是云计算中心基础设施构建的核心追求。因此,标准化与经济高效的通用组件或产品是构建策略的关键要素。由于标准化产品的广泛供应和开放特性,它们能够显著降低运营成本。
首先,云计算平台的关键特性体现在对资源的抽象与封装以及构建灵活且可扩展的计算资源池,而这主要依赖于虚拟化技术和分布式数据存储、分析技术的运用。因此,计算子系统的构架应具备在虚拟化和分布式数据存储模型上的高效解决方案。
最后,计算子系统除具备通用性、标准化和资源池化的特性外,还需强调其易于管理及低能耗的优势,这将显著减少云计算中心的能耗并降低运维成本。
2.2.1.2主要技术路线
1)计算虚拟化技术
作为云计算中心构建资源池的核心技术手段,计算虚拟化技术奠定了实现高可用性和弹性扩展云计算架构的坚实基础。
虚拟计算技术:作为抽象化的中介,它实现了对上层应用程序的底层计算设备资源的封装,通过整合众多物理计算设备,构建统一的资源池。这个资源池为上层应用软件提供了丰富的灵活性和显著的IT资源利用效率提升。
虚拟计算技术通过对物理计算资源的分割与整合(或并行操作),创新性地重塑出全新的运算模式。
聚合封装是将多个物理实体通过技术手段封装为单一虚拟映像/实例,可用于完成某个业务。就计算资源而言,通常采用计算集群(Cluster)、负载均衡集群(LoadBalance)等。切分封装是将单个物理实体通过技术手段封装为多个虚拟映像/实例,可用于执行不同业务。通常采用主机虚拟化,如Vmware ESX、 Xen、MS Hyper-V等产品。
计算资源虚拟化技术涵盖多个层面,包括集群(Cluster)的配置与管理、负载均衡集群(LoadBalance)的优化,以及主机虚拟化的实现。这些技术的协同运用,显著提升了计算资源池的灵活性和利用率。
2)基于X86架构的计算平台
云计算中心采用标准的X86架构服务器作为“云”的节点机。基于X86平台的服务器使用IntelXeon或者AMDOpteron作为处理器,也就是通常所说的PC服务器。X86架构的服务器使用标准化、商业化的部件,从而成为构建大型云计算中心的最佳选择。
随着科技的不断进步,Intel Xeon与AMD Opteron处理器近年来展现了显著的性能提升。两大制造商纷纷引入了诸如64位运算、直接连接架构、集成内存控制器、多核处理能力(Intel Xeon现今最高可达10核心,而AMD Opteron则可支持高达16核心)以及硬件辅助虚拟化技术(Intel的VT与AMD的V)等先进技术,所有这些革新都体现在它们的产品设计和制造工艺之中。
根据国际知名测试机构TPC的权威发布,X86架构服务器在性价比方面展现出卓越表现。
在性能评估中,配备4颗Intel Xeon 7560处理器的设备其TPM C值已能实现对23颗POWER7处理器的24%水平。
末尾,X86架构的服务器凭借其开放的体系结构和丰富的生态环境,显著降低了运维成本,这一点是诸如小型机这类封闭系统的优越性所无法企及的。
在保障可靠性的关键策略中,云计算环境中普遍采纳了虚拟化、分布式和并行计算等核心方法,从而显著提升了计算系统的稳定性。诸如全球互联网巨头Google、Amazon、百度以及阿里巴巴等,无一例外地倚重于广泛的X86架构设备,来承载他们庞大的互联网搜索和访问流量需求。
3)并行计算技术
高性能并行处理技术主要包括基于共享内存的OpenMP和多线程以及基于分布式消息传递的MPI,其中MPI技术可扩展性强、计算效率高,是目前业界最流行的高性能并行处理技术。MPI和OpenMP等并行处理技术的能力可以很好的满足物联网计算密集类应用的高性能处理需求。
图:并行计算思想:分而治之
4)Map/Reduce分布式计算
作为Apache开源组织的代表性成果,Hadoop分布式计算框架在众多重量级企业中得到广泛应用,诸如亚马逊、Facebook和Yahoo等知名企业已将其纳入其技术栈之中。
Hadoop构建了一种分布式应用执行框架,专为大规模集群中的通用计算设备设计,其凭借分布式文件系统的备份恢复策略,确保了系统的高度可靠性。这一创新为我们提供了稳定且强大的存储与分析平台。
Hadoop的架构主要依托于模拟Google的GFS和Map/Reduce框架,如图所示,其中存储模块由HDFS技术构建,而数据分析则通过Map/Reduce模型来执行。
Hadoop的工程本身还包括其它子系统,如HBase、ZooKeeper等。
图:HADOOP的体系结构
5)可重构计算技术
遵循摩尔定律,CPU的运算效能每18个月翻一番,这一趋势持续了整整30年,期间以稳定的步伐提升着。其间,一系列技术瓶颈逐一被攻克,如频率提升、超标量设计、流水线优化等,从而实现了显著的处理能力飞跃。
然而,依据吉尔德定律的预示,未来二十五年,主干网络的带宽将以每六个月翻一番的速度增长,这相当于内容处理需求的增长速度是中央处理器(CPU)处理能力提升速度的三倍。因此,在信息系统构建的过程中,我们可以预见系统规模将持续攀升,并非因CPU的进步而得以缓和。
当前,利用可重构计算技术来提升特定应用的运行速度被视为主流策略。
云计算技术不仅局限于传统的计算方式,还应根据各类应用的实际需求,集成众核协处理器、GPU计算以及FPGA可重构计算模型,以灵活适应不同应用场景的特性。
在应对网络数据处理与音视频信息的高效处理需求时,可根据应用场景选择适应的可重构计算模式,以此优化处理性能,有效控制系统规模的过度膨胀。
6)主机虚拟化技术
主机虚拟化技术作为资源池化的关键方法之一,近年来在X86架构领域日益成熟。诸如VMware ESX、Xen和微软Hyper-V等技术与产品相继崭露头角。VMware作为首个(创立于1998年)将主机虚拟化技术引入X86平台的先驱,其ESX产品线的最新版本已达6.0,引领着市场潮流。Xen,剑桥大学在2005年开源的Hypervisor,已被广泛集成至Redhat、SuSE和Oracle VM,虽于2007年被Citrix收购,但仍由其作为开源项目持续维护,彰显了开源社区的活跃力量。当前,Xen的最新稳定版为4.0.1,而Citrix XenServer的最新版本则为5.6。微软于2008年推出了自有的Hypervisor Hyper-V,现已升级至Hyper-V r2版本。
通过X86服务器虚拟化技术,我们构建了一种在硬件与操作系统间嵌入虚拟化层的架构,如图所示。这种虚拟化层的特性使得一个物理服务器能够支持多个操作系统实例并发运行,它们动态地共享所有的物理资源,包括处理器(CPU)、内存、存储设备以及输入输出(I/O)资源。
随着计算能力在服务器和台式机领域的显著提升,虚拟化技术的广泛应用已得到广泛验证,众多用户在开发测试、服务器整合、数据中心效率优化以及业务连续性保障中体验到了其效益。虚拟化架构实现了操作系统和应用程序与硬件的解耦,转化为独立且可迁移的虚拟机,从而极大地提升了灵活性。例如,通过虚拟架构,服务器能够实现全天候无间断运行,有效规避了因备份或常规维护导致的服务中断问题。
对于X86虚拟化,有两种常见的架构:寄居架构和裸金属架构。
架构实现:作为一款运行的应用程序,虚拟化层在操作系统之上执行,得益于其广泛的硬件兼容性。
直接基于X86硬件系统的裸金属架构:此架构下,虚拟化层直接运行于硬件之上,享有对硬件资源的直接访问权限,无需操作系统作为中介,从而显著提升执行效率。
2.2.2.1虚拟化层
作为基础架构的关键组件,虚拟化层位于虚拟机监控器(VMM,即Hypervisor)之上,它专司于所有虚拟机的管理和调度。如图所示,Hypervisor直接驻留在硬件环境中,其功能的发挥高度依赖于所采用的虚拟化架构和技术实现。每一个运行在Hypervisor之上的VMM,执行着硬件抽象的任务,承载传统操作系统的运行。为了实现系统的虚拟化,每个VMM必须处理分区,以及与CPU、内存和I/O设备的共享资源管理。
图示:VMM通过HYPERVISOR对虚拟机进行高效管理
2.2.2.2CPU虚拟化
原始设计要求X86架构的操作系统直接受控于裸机,从而享有对所有硬件的完整权限。X86体系结构划分了四个特权等级,即Ring 0、1、2和3,以此来有序地管理和控制对硬件的访问权限。常规情况下,用户应用程序在Ring 3级别运行,操作系统需在Ring 0级别执行特权指令,以便直接操作内存和硬件资源。为了在X86平台上实现虚拟化,必须在操作系统之下增设一层虚拟化层,它负责虚拟机的创建、管理和共享资源的调度。然而,存在某些敏感指令,它们在Ring 0之外执行会带来不同效果,这就构成了X86虚拟化过程中的关键难题,尤其是在初始实现阶段,如何实时捕获并翻译这些指令构成了一项重大挑战。
图:X86架构虚拟化前的特权级别
迄今为止,针对X86架构的虚拟化挑战,我们归纳了以下三种核心技术解决方案:
■完全虚拟化;
操作系统帮助下的虚拟化,即半虚拟化;
■硬件帮助的虚拟化。
2.2.2.2.1 1完全虚拟化
采用全面的虚拟化技术,对非虚拟化指令进行核心命令转换,以便于通过处理后的指令直接操控虚拟硬件。为了保证虚拟化性能,所有的用户级指令依然能在CPU上直接执行。每个VMM(虚拟机监控器)为每个虚拟机提供全方位的硬件支持,涵盖了虚拟BIOS、虚拟设备以及虚拟内存管理服务。
在实现全面的虚拟化之后,客户操作系统能够无缝地在虚拟化层面上与物理硬件解耦,无需察觉其虚拟化过程,无需进行任何改动。作为目前唯一无需硬件支持或操作系统协作,能独立处理敏感和特权指令的虚拟化技术,Hypervisor(管理程序)负责翻译并缓存所有操作系统特权指令,与此同时,用户级指令得以高效直接执行。
通过全面实现虚拟化,我们得以确保最高级别的虚拟机隔绝与安全性能,同时显著提升了客户操作系统迁移和移植操作的便捷性。
2.2.2.2.2半虚拟化
为了实现半虚拟化,操作系统的内核需进行定制性修改,剔除无法虚拟化的指令。它通过超级调用(Hypercall)与底层虚拟化层Hypervisor建立直接通信。Hypervisor作为中介,不仅提供了执行超级调用的接口,还支持诸如内存管理、中断处理和时间同步等关键内核操作,如图所示。
图:操作系统协助的X86架构虚拟化
与全虚拟化有别,全虚拟化技术无需改动宿主操作系统,能够直接处理敏感的系统指令。相反,半虚拟化的优势在于优化了虚拟化效率,以Xen为代表的半虚拟化技术通过调整Linux内核(如35号相关模块)得以实现这种优化。
我们采用内核虚拟化技术以映射CPU与内存的关系,同时通过定制化的操作系统驱动方案来虚拟化I/O操作。
2.2.2.2.3 硬件辅助虚拟化
硬件厂商面对虚拟化投入了大量的精力来开发新的特性用以简化虚拟化技术应用。第一代的虚拟化增强包括IntelVirtualizationTechnology(VT-x)和AMD的AMD-V,这两种技术都为CPU增加了新的执行模式root模式,可以让VMM运行在root模式下,而root模式位于Ring0的下面。如下图所示,特权和敏感指令自动在Hypervisor上执行。客户操作系统的状态保存在Machine Control Structure,虚拟机控制结构)中或
Machine Control Block,虚拟机控制块)。支持Intel VT和AMD-V的CPU从2006年开始推向市场。
图:硬件辅助的X86架构虚拟化
2.2.2.3内存虚拟化
除了CPU虚拟化,下一个关键是内存虚拟化,通过内存虚拟化共享物理系统内存,动态分配给虚拟机。虚拟机的内存虚拟化很像现在的操作系统支持的虚拟内存方式,应用程序看到邻近的内存地址空间,这个地址空间无需和下面的物理机器内存直接对应,操作系统保持着虚拟页到物理页的映射。现在所有的X86CPU都包括了一个称为内存管理的模块MMU(Memory Management Unit)和TLB(TranslationLookaside Buffer),通过MMU和TLB来优化虚拟内存的性能。
图:内存虚拟化
为了在一台计算机上部署多台虚拟机,一个增强的内存虚拟化层是必需的,即需配备虚拟MMU以支持客户操作系统的功能。客户操作系统依然掌控着虚拟地址与客户内存物理地址之间的映射转换,然而,它无法直接触及实际机器内存。作为中介,VMM(虚拟机监控器)负责将客户物理内存映射至实际机器内存,借助阴影页表技术提高映射效率。VMM利用TLB(Translation Lookaside Buffer)硬件机制,使得虚拟内存能直接对应机器内存,从而避免每次访问时的双重翻译过程。每当客户操作系统对虚拟内存到物理内存的映射表作出调整,VMM会同步更新阴影页表,以便于实时查询。引入MMU虚拟化后,二代的硬件辅助虚拟化进一步增强了内存虚拟化的效能,显著减少了由此产生的性能损失,提升了整体的内存虚拟化性能。