云计算在高速公路上的应用实践

中国云计算
为了尽快的实现大数据的应用,我们会加快将现有的离线、半离线与脱机业务逐步转变成在线业务,因为只有业务在线才能快、实时汇聚高质量的数据,才能真的去建设全维度的高速公路大数据平台。

一部分

初识云计算、迁移上云

1.1初识云计算、迁移上云

2012年,当我们使用远程桌面客户端登录云端主机的那一刻开始,新IT基础设施时代来了,基于传统硬件模式的各业务系统架构将会发生变。

我们在云端搭建好主机、数据库、网络等环境后,联系了网站、投资、人力资源、财务管理等系统的软件厂商进行系统迁移,按照从小到大、从易到难的顺序,将这些系统陆续迁移到了云端,并于2015年2月迁移完成。集团总部将原用于支撑这些系统的主机、存储、Firewall、Anti-virus wall、路由器、交换机等设备断电、下架并同时拆除了网络专线。

1.2新的动力

2015年1月,发布《关于促云计算改新发展培育信息产业新业态的意见》,云计算成为“互联网+”行动计划的新基础设施。

2015年7月4日,印发《关于主动推进“互联网﹢”行动的指导意见》,加快互联网与交通运输领域的Deep融合。

2016年11月世界互联网大会,中国交通运输部发出以整合资源、开放共享为重。

2017年9月14日交通运输部办公厅印发《智慧交通让出行便捷行动方案(2017—2020年)》的通知,在不断完善智慧出行发展环境的要求中提出,“深化出行公共信息资源开放示范。

2017年12月26日,在交通运输部召开的交通运输工作会议中,在实施改新驱动发展战略,加快推进行业转型升的要求中提出“要利用互联网广覆盖、高成效连接等特性,解决传统产业中存在的信息不对称、中间环节多等问题,以旅客便捷出行、货物高成效运输为导向,推进“互联网+交通运输”行动”。

国这一系列政策与倡议出台,坚定了我们选择云计算平台作为新的基础设施来支撑“互联网+”行动计划的信心与依据,使我们有了新的强动力。

二部分

使用云计算

2.1云计算基础服务的应用

(1)按需付费,秒计费

在2013年的时候,很多内云计算服务提供商宣称自己的云平台费用低,我们在逐一试后发现,各资源少的付费周期是一个月,也就是说其实是包月或包年价格低,也就是无论你用不用这些计算资源,都得先支付至少一个月的费用,这与云计算服务按需付费的特点是不匹配的。

那么如何才是真的按需付费呢?那就是按秒来计费。在云端购买的这些主机、路由器等资源和物理设备不同,若不使用直接删除就行,而物理设备买回来就成了固定资产。所以只有做到了云平台上所服务都按照秒计费的要求,才能实现真的按需付费,这才是真的费用低。

(2)定时器与自动弹性伸缩

①定时器的应用场景

带宽自动调整:已经迁移上云的财务管理系统带宽是根据用户日常作息时间自动动态变化的:7:00-19:00为20M带宽,19:00-0:00为10M带宽,0:00-7:00为5M带宽,每天自动循,计费也随之调整。

资源自动备份:我们在云端部署的主机、硬盘、数据库等含有数据的资源,在每天凌晨3点自动进行包含操作系统的镜像备份,并且可以设定备份链的天数,可以从任意一个备份链条上,速还原到某天的状态。

自动开关机:因与AI业务相关的测试需要使用到GPU主机,但这种类型的主机租用费较高,我们把它设定为每天在工作时间自动开机,非工作时间自动关机以节约费用。

②自动弹性伸缩

自动扩充存储空间:我们使用的开源数据库可以根据实际资源使用情况,来自动进行数据库存储空间的扩容。

自动扩充负载均衡器后端主机的数量:我们的协同指挥调度云平台如果出现高并发的访问,在达到我们预设的阈值后,就会自动增加后端计算资源来应对。

自动伸缩网络带宽:再拿我们的财务管理系统举例,在定时器已经在使用的情况下,如果在某个时间段内突然出现了大量用户访问,而这个时间段内的带宽又不够,那么根据预设的带宽调整阈值自动增加或减少带宽,计费也随之调整。

(3)多副本热备、热迁移与备份

没有不损坏的硬件,云计算平台使用的硬件也一样。由于云计算平台底层的存储做了多RAID保护,所以当云平台的硬盘出现损坏时,用户是无任意感知的,所以在云端是无担心数据丢失问题。

而资源备份与多副本热备是两个不同的概念,备份是用来解决应用系统出现数据误写入、数据被篡改等问题后,进行回滚操作以恢复某时某天数据的。云端提供的备份回滚功能也相当的快,通常在几十秒内回滚完成。

(4)主、子账号管理体系与计费方式

我们集团总部与所属单位采用的是1个主账号+多个子账号的云端账号管理模式,实现了以下功能:

1、由主账号统一管理全集团的云端账号权限,包括开通、删除、云端IP地址规划等操作。各所属单位的业务系统均部署在各自的子账号里。

2、子账号可以共享主账号的余额或者自立计费。

3、主账号可以管子账号内的资源使用情况,以免子账号资源使用不足或分配不合理等问题。

使用云端主、子账号的管理模式,我们集团实现了原先在物理机房环境下无法实现的管理模式与成效,足不出户就可以管理各子账号的资源或帮助子账号解决技能上的问题。

(5)使用各型的隧道服务

青云的隧道功能齐,有IPsec(含主模式与野蛮模式)、GRE,有了这些隧道,就可以实现主子账号之间、各子账号间数据的Security互通与共享,这种模式为全集团的大数据集中分析奠定了重要的网络基础;同时也可以实现本地与云端的Security互联,实现各数据在云端快交互与汇聚。目前多数云平台的隧道功能有的按照数量计费、有的按照流量计费、有的按照时间计费、还有的限制隧道的数量。而青云的隧道不但功能齐,不限数量、不限种类、而且还免,为我们Security、快组网节约下了大量的费用。

(6)SD-WAN的使用

我们在使用隧道功能的同时,发现当本地需要接入云端(隧道方式)的路由器越来越多,在网络管理上的压力越来越大。这时SD-WAN横空出世,只要本地CPE终端设备通上电且能够访问云端SD-WAN控制台,CPE终端里的配置就会由云端控制台自动下发,本地就会自动建立隧道达云端VPC;SD-WAN同时也解决了单个VPC不能支持过多隧道的性能瓶颈问题,而且还能与普通模式的隧道共用一个VPC。

另外,SD-WAN网络除了支持本地CPE多WAN口(电信、联通、移动的宽带以及4G网络同时接入)自动切换功能之外,还能在本地到达云端的互联网链路上,支持多POP点的备份,以保本地到达云端隧道的连通性。后续我们还需在此基础上研究扩展的路由功能以匹配高成效、复杂的应用场景。

(7)去IOE

去I(传统物理服务器)在上云的同时就已经实现了从购买硬件向购买服务的转变,而且云平台自身使用的是赶融合设备,而非传统物理服务器。

去O(商业数据库),我们从以下几点来说明:

1、随着我们各个系统用户数量与需求的快增加,支持商业数据库的硬件配置需求越来越高,而商业数据库是依据硬件的配置来收取费用的,硬件配置越高,费用就越高,末了高到用户无法承受。

2、运维费用贵,如果遇到应用软件商解决不了的商业数据库问题,还须请商业数据库原厂工程师到达现场处理。

3、目前我们收费系统的数据库还是商业数据库,建立之初的用途需要满收费相关的业务就行。如今ETC不停车收费、高速公路客服系统、收费稽查业务、绿色优惠车系统等,这些需要频繁读写数据库的业务系统陆续上线,同时各审计部门、行业管理部门等机构也有大量读收费数据库的需求。

开源数据库先天的功能与优点

1、Free

2、多主多从节点,用主节点写,用从节点来读,主从节点之间数据强一样性同步。

3、水平扩展功能,包含计算节点数、存储空间。

4、多实时副本保障数据存储介质Security,保数据不会丢失

5、自动实现数据库水平分表

目前很多软件开发商在开发应用软件时,还是会推选使用商业数据库,我们进行了原因分析:

一是商业数据库价格贵,但用的人多,熟练操作的人也多,遇到解决不了的问题可以请原厂工程师来;

二是很多应用软件厂商一直以来都是使用的商业数据库,只要改换数据库,那么软件厂商的软件就要做较大改动;

三是因为开源数据库虽然是Free的,但没有原厂的技能支持,应用软件厂商在使用中若自己不能及时解决问题会造成损失。

云计算服务也正是为了解决以上这些问题而来,在云平台上,开源数据库成了标准的PaaS服务,关系型与非关系型等各品牌的数据库用于进行事务处理与数据分析。开源数据库本身是Free的,应用软件厂商也不需要去搭建与维护开源数据库,直接使用就行。

(8)微服务化、容器化、容器编排

我们学习采用互联网行业的特点,迭代发布应用软件,追求改新,快响应用户的变化、关注用户的行为,倡导以用户为Center的产品设计,也正是这些特点,我们使用了敏捷开发模式。使用敏捷开发模式就要进行微服务化,要进行微服务化,底层就要进行容器化,进行容器化后,就要有容器编排服务来管理这些容器。

2.2大型应用

基于云计算技能的协同指挥调度云平台

我们于2017年3月开始新建基于公共云服务的、统一的协同指挥调度云平台,并于2017年12月正式开始使用。我们从开始建设到统一使用只用了9个月的重要原因之一就是使用了云计算服务作为基础设施,我们节省下建设整个数据Center(硬件部分)所需的时间,同时所需各功能模块采取调用云端服务的方式进行。

接下来,将围绕这三类基础数据如何上云来描述。

1、Vedio上云:部署在青云云端的协同指挥调度云平台需要管控各路段Center的Vedio推流主机向Vedio直播平台(含推流、拉流、鉴权、CDN等功能)推流。使用Vedio直播平台是因为要考虑到高速公路内管理与社会公众的高并发观看的需求。这部分工作的关键技能在于,云平台给高速公路各路段Center的Vedio推流主机下发的推流地址,以及播放、停止等指令,因各Security问题不可通过互联网端口传输,这里就需要用到云端隧道技能来实现,这样既有了云平台的弹性伸缩、按需付费的特点,又具有了使用云服务的Security性。

各路段的Vedio推流主机接到传输指令后需要向Vedio直播平台进行Vedio推流,这里需要用到直播平台的Vedio推流鉴权功能,以止非法的Vedio推流。同时,用户在调用直播Vedio流的时候也需要进行盗链的鉴权。

2、语音上云:各指挥调度Center的电话录音需要传输至部署在青云云端的对象存储里保存,供任意时间调用,这里的传输也是通过云端隧道进行的。

3、情报板上云:我们的协同指挥调度云平台可实现高速公路情报板在云端的统一发布,因情报板发布的Security性要求异常的高,所以云端发布指令与情报板状态的反馈除了须通过云端隧道传输外,我们还使用了青云的WAF Security保护功能,启用了发布主机IP地址白名单审核机制,保情报板发布Security。

协同指挥调度云平台还为了满多用户的高并发访问、用户行为分析、快检索、系统日志收集、子系统间消息订阅、网络流量分析等需求,除了用到青云负载均衡器的SDN透明代理等功能、Elasticsearch全文搜索引擎、ZooKeeper、Kafka、网络流量镜像等功能外,同时调用了同样部署在云端的高德地图LBS、容联云通讯的点对点Vedio、IM通讯与短信发送、彩云天气的天气定位、百度AI开放平台的语音合成等服务。

为保护用户隐私、节约用户手机流量,经过使用海康威视、大华股份等Professional的Vedio解决方案提供商为匹配我们需求而专研发的推流主机,进行Vedio转码与降码处理并推向云端的Vedio直播平台后,我们也将协同指挥调度云平台中的功能组件之一,高速公路沿线的实时监控Vedio向社会公众开放,目前高同时在线查看监控Vedio的用户数已达到21万人左右,单日高Vedio量为2300万次。现在每个人都可以拿起手机、打开微信搜索并关注“江苏高速”微信公众号就可以使用了。

除了协同指挥调度云平台,我们各微信企业号、公众号、社会公众服务的APP、在线学习、Security生产管理等系统均使用了云端相关的服务或建立在了云端。

第三部分

理解云计算

自从云计算落地,开始大规模对社会提供云计算服务以后,运维硬件基础设施已经不是我们须做的事情了,因为我们要的是计算能力而不是计算机、要的是服务能力而不是服务器。我们节约下了大量的硬件运维时间,去经营管理我们的主营业务,例如高速公路经营管理、社会公众服务。

我们集团从使用云计算服务以来,已经不自建机房与采购非须的服务器等硬件设备,我们从云得到了这么多传统物理机房无法实现的功能,但总体IT基础设施运维费用却下降了70percent。

云计算的本质就是互联网应用,而真的云计算是须有:按需购买,秒计费、定时器与弹性伸缩、资源协作与编排、软件定义网络、开源分布式数据库与大数据平台等各有弹性的PaaS服务。如果没有这些云计算的特征标签与功能,那就不是真的云计算,那还是传统机房或者是加了点技能的传统机房升版。

接下来我们说一说云Security,自从国2016年11月7日颁布了《网络Security法》。在当今数字时代,企业运营与网络密不可分,《网络Security法》的实施将对企业的业务经营与合规工作产生重大影响。《网络Security法》的出台明确了在整个信息化建设中,各相关方的责任,能监督各方认真做好各自的Security抗御工作,加快国整个信息化建设的进程。

云Security可分为以下几个层面:需求Security、高可依靠、组织Security、宿主机Security、Antivirus、账号管理Security、合规、高可用、保密、虚拟机Security、应用架构Security、网络Security、容器Security、大数据Security等方面。很多关心我们网络Security的同事、Experts们在以上各个层面都给我们提出了很多的建议与改进方法。

我们异常重视信息化Security,并在上述的各个层面都认真做了相对应的Security管理规则与措施。

我们将云应用方面分为三个层面,一是基础设施,二是应用程序,三是网络连接。

现在有的云计算公司宣称自己是一个中立的云,提出“不碰用户应用、不碰用户数据”等说法,这其实是云计算公司本就应该坚守的基本规矩,这是云计算行业自律的问题,同时我们也应该相信国层面不断加强的云计算行业的管力度,我们不需要将精力分散到云计算公司之间为相互竞争而不断推出新的广告词之中,而是应将侧重放在我们的业务应用上。

目前市场上多的云计算公司为用户提供的IaaS层服务并不是自主可控技能,有的云是用一个现成的、受某个基金会管理的开源技能架构,再经过加工改造提供给用户使用;在PaaS层的很多服务也不是原生、原厂的组件,而也是经过云计算公司自己加工改造后,做到比原生服务好用的情况下,提供给用户使用。

近期“中兴芯片Event”使大家印象深刻,从中我们也可以明确的看出云计算厂商在IaaS层有自主知识产权的重要性。

同时,在PaaS层,有些服务都是经过云计算公司自己加工而非原生的,虽然这些服务的功能、性能较多较好,但有很多对技能标准化、可转移性、非依赖性等有严格要求的用户,例如:交通、金融、物流、销售用户,这类用户怎么能放心去用这些非原生服务呢?

另外,我们在进行云平台技能参数比较的时候还发现以下显的区别:

1、一个功能齐、轻捷的云平台,公共云与专有云的架构须是同一套底层架构,两者的资源镜像与备份要能通用。另外,还需要看云平台的虚拟化效率与资源使用率。

2、有些单位需建立自己的专有云,有的云平台可以硬件利旧,使用现有各品牌与型号的服务器与网络等设备,而有的云平台则需要重新购买定型号的服务器与网络等设备。

面对市面上那么多云计算公司,我们除了看广告、看品牌、要看内在,所以以上这些才是作为云计算的用户真应该关心的,也是用户选择提供云计算服务商的重要因素。

在我们与青云合作的5年多的时间里,我们总共提出了700多条各型的工单,其中200多条为需求建议类工单,大部分青云都帮我们实现了,还有些复杂的技能需求我们一直在保持沟通,共同努力解决;我们也与青云达成了共识,将把双方共同实现的技能与功能开放给青云用户。同时,我们在这段时间里,也向其他的云计算公司合计提出了近200条的各问题与建议,也就是说,我们不是单边去使用云服务,而是我们和云计算公司形成了互动与合作关系,双方经常进行技能交流,我们互相帮助共同进步。我们也会将6年来使用云计算的经验与云计算用户分享,共同加快国经济发展。

第四部分

总结与展望

我们在深使用云计算服务的同时,也聆听了很多云计算公司的演讲与介绍,很多公司提出要携手各云服务伙伴共同打造智慧交通Ecological,可以看出以云计算为头的新兴技能推动TO B时代已经来临。

同时技能层面可以说只是智慧交通Ecological的一个方面,要达到真的智慧交通则须匹配相应的应用场景,除技能以外还需要行业投资、管理、运营、运维等一系列的因素相互配合;所以我们将会与高速公路上各硬件终端设备厂商、各软件服务商共同打造“互联网+”交通的云Ecological,共同进行与高速公路相关的技能改新,并速转化为应用成果。

为了尽快的实现大数据的应用,我们会加快将现有的离线、半离线与脱机业务逐步转变成在线业务,因为只有业务在线才能快、实时汇聚高质量的数据,才能真的去建设全维度的高速公路大数据平台。

只有有了基于在线数据的全维度高速公路大数据平台,才能结合当今的AI、物联网、区块链等技能,进行与高速公路相关业务的想象与尝试,向社会呈现一个充满改新活力的高速公路,才能为国交通事业的发展作出大的贡献。

THEEND

最新评论(评论仅代表用户观点)

更多
暂无评论