分布式技术、云原生技术等带给我们的究竟是什么挑战?

twt社区
随着互联网技术的发展,人工智能、区块链、云计算和大数据等技术方兴未艾,在科技不断发展变革的浪潮中,如何把握科技发展的脉络,是企业立足自身发展的必由之路。

【导读】在外界以及企业内部技术不断发展及转型的浪潮下,如何接受发展和顺应转型是每位科技从业者必须要思考的问题。本文以某省银行科技部门系统管理岗为视角就数字化转型的契机、影响,以及相对的应对之策进行了详细分享。

【作者】胡海光,系统架构师,就职于银行科技运行维护部门,主要从事X86服务器、虚拟化及云平台的日常运维管理工作。

前言

随着互联网技术的发展,人工智能、区块链、云计算和大数据等技术方兴未艾,在科技不断发展变革的浪潮中,如何把握科技发展的脉络,是企业立足自身发展的必由之路。企业只有紧随科技发展的步伐,不断提升自身的科技能力,才能应对科技日益变化的明天。特别是近年来数字化转型热潮的不断推动,而数字化转型属于企业战略层面的概念,并不追求眼前效益,本质是企业用数字化技术对业务的重构、流程的重构和组织的重构,有数据显示 70% 的企业只有经历过数字化转型才能在下个五年中生存。

基于数字化转型的顶层设计,我们企业也正式发布全面数字化转型的重大战略,明确科技信息建设需秉持“科技创新革命”理念,稳步推进科技信息建设。同时为配合数字化转型战略的实施,并满足监管关于科技的要求,该专项规划充分考虑业务发展要求及现有科技能力,参照同业在数字化转型方面的先进经验及未来银行 4.0 时代的变革趋势,明确技术转型的目标,形成数字化转型相关科技架构蓝图,实施路线图及实施保障机制,以对技术转型过程中信息科技建设工作提供指导性意见和建议,从而在企业范围内统一思想、协调发展。

在外界以及企业内部技术不断发展及转型的浪潮下,如何接受发展和顺应转型是每位科技从业者必须要思考的问题。本文以某省银行科技部门系统管理岗为视角就数字化转型的契机及影响进行详细说明。

分布式技术变革带来的困扰

该系统管理岗主要负责银行运行的所有系统的运行维护和系统管理,以及传统的小机及 X86 虚拟化架构工作。

3 年前,该行主要以传统柜员架构为主,核心运行在 400 小机上,重要系统数据库运行在小机虚拟化上,应用服务器主要部署在 X86 虚机及 X86 物理机上。这时的系统管理岗主要负责的是核心、小机及 X86 系统的运维工作,涉及的知识点为 400 系统、 AIX 系统、 DB2 数据库、 Linux 系统及虚拟化的架构等相关知识,就系统分管情况,各自系统管理员有所分工,分别侧重于 400 系统、小机系统、 Linux 系统及 DB2 数据库(这时以 DB2 数据库居多)的管理。

随着分布式技术的发展,于当年底上线了网络金融核心,架构从传统核心运行转变为传统核心及网络金融核心并轨运行。网络金融核心的上线随着分布式技术的发展,带来了新的技术。特别是 MySQL 数据库的引进,部分系统由传统的 DB2 双机架构改造成为 MySQL 的分布式架构(一主一备两从),以及分布式组件 Dubbo 、 Zookeeper 的引进,带来了一系列技术的演进。对于系统管理员来说,需要掌握的知识面需要拓宽,技能需要从头学习。当时面临着分布式技术变革带来的困扰,分布式系统需要大量机器协作,面临着如下挑战:

1 、异构的机器与网络:分布式系统中的设备,配置可能不一样,其上运行的服务也可能由不同的语言、架构实现,因此处理能力也不一样;节点间通过网络连接,而不同网络运营商提供的网络的带宽、延时、丢包率又不一样。

2 、普遍的节点故障:虽然单个节点的故障概率较低,但节点数目达到一定规模,出故障的概率就变高了。

3 、不可靠的网络:节点间通过网络通信,而网络是不可靠的。相比单机过程调用,网络通信最让人头疼的是超时状态的处理。

针对以上存在的挑战,我们通过深入研究分布式原理以及涉及的相关组件技术,以整个业务流程为主线仔细分析各条链路的串联和通信情况,通过部署监控节点的形式用于监控业务节点的状态,在业务节点故障的情况下将该节点负责的计算、存储任务转移到其它正常节点。同时基于分布式理论及各种协议来确保在网络不确定的情况下,业务还能继续正常运行,并结合全链路监控的方式来及时定位和处理出现的问题。期间的种种经历也是伴随着网络金融核心的不断成长而积累,对于当时的我来说,若停留于之前的技术积累故步自封,不去接触和学习新的技术,必然无法胜任于新核心的运维保障工作。

以云原生为代表的云技术发展带来巨大挑战

时代在进步,技术在发展,随着人工智能、云化、大数据、区块链等技术快速发展,对于银行业来说,数字化转型其本质是从上到下灌输数字化内涵,以数字化铺垫现在,以数字化打造将来。而对于我们奋战在一线的系统管理员来说,技术的进步对于自身来说也是一种挑战。几年前分布式技术的情形尚且历历在目,对于以云计算技术为代表的技术进步的今天,我们在系统运维及管理的过程中又面临分布式带来的诸多困境,存在着如下问题:

1 、 业务规模不断扩大,设备保有量不断增加,设备的管理难度不断加大;

2 、传统业务的小机池与分布式业务的 PC 池各自分散管理,缺乏有效统一管理;平台各异、重复采购;

3 、停留在 IAAS 层面, PAAS 层面应对乏力,缺少部分场景的灵活性和可扩展性;

4 、对现有使用设备缺乏有效的管理手段,竖井建设、低利用率,导致资源无法有效利用;

5 、虚拟化层面部署虚机缺乏有效的批量部署安装功能以及有效的监控,运维分散、专业化低。

基于如上问题,我们基于数字化转型的统一部署,以云化等技术为切入点结合本行在系统管理过程中的诸多问题进行综合考量,并引入外部咨询等力量,对全行的情况进行抽丝剥茧,寻找问题根源,深刻剖析原因,为数字化转型打好基础。

对于数字化转型过程中涉及的相关技术,特别是云原生为代表的云技术的发展对于银行业的系统管理岗而言带来了巨大的挑战,主要有如下挑战:

1 、基础架构层发生巨大变化:相比传统的基础物理架构,分布式技术带来的是 X86 虚拟化技术的快速发展以满足分布式系统的需求,而云化技术相比传统架构及分布式架构更显复杂,结合 IaaS 的虚机、 PaaS 的容器、裸金属甚至 PowerVM 虚拟化等的统一纳管,实现计算、存储、网络及安全等相关联;

2 、思想认知层发生巨大变化:相比传统及分布式架构,思想认知目前仍停留在虚拟化层,对于 VMware 及 KVM 虚拟化技术接触较多,对于以上的云平台及容器等的认知仍停留在简单的概念了解,思想认知赶不上技术的进步;

3 、技术储备量发生巨大变化:相比传统及分布式架构,技术主要体现在虚拟化、 Linux 及传统的小机知识上,而对于云技术来说, OpenStack 、 K8S 、 Docker 等技术都是需要一定的技术储备才能更好地服务和管理,因此学习的迫切性比较强烈;

4 、网络复杂度发生巨大变化:相比于传统的核心、汇聚及交换的网络架构,云化技术带来的变化,体现在网络的虚拟化上,特别是容器等业务网络不在只是孤立的一块,而是更紧密地与系统贴合,同时多种开源的网络解决方案 MacVlan 、 Calico 等的出现也给网络架构带来新的变革,是坚守传统还是拥抱新兴也是需要细致考虑;

5 、知识的串联度发生巨大变化:传统的 AIX 系统及 DB2 数据库的串联持续了几年,到后来 Linux 系统及 MySQL 数据库的串联与传统架构并行,到现在的 OpenStack+K8S 等云技术的串联,不只是新技术迭代老的技术,而是新技术伴随老技术的一同进步;

6 、岗位考核的要求越来越高:随着企业改革的不断深入,对于银行业的科技部门来说,市场化需求也在不断加强,面对市场化这一趋势,岗位的考核力度不断加大,特别是新技术的岗位需求度不断加大,传统岗位需求度呈下降趋势,如不能满足趋势的要求,注定是要被淘汰,挑战可想而知;

7 、系统集成度越高风险越高:云化技术带来的变革就是系统集成度越来越高,系统之间关联度也越来越紧密,带来的系统风险也越来越高,对于系统管理工作而言,一直就与风险并存的,如何避免及消除出现的各种风险,对于系统管理员来说又进一步要求技术的储量及经验的积累。

基于以上出现的多种挑战,我们需要的是直面挑战的勇气,而不是退缩畏惧的怯弱。采取如下方法积极应对。

1 、做好规划,推动思想认知:“凡事预则立不预则废”,在面对挑战的时候首先要做好规划,想清楚自己现在面临着什么,应该要怎么去解决,需要哪些资源去解决,只有做好细致的规划,在思想上认知清晰,才能朝着正确的方向,少走弯路,少走错路;

2 、不断学习,增强技术储备:技术在不断进步,面对这些未接触过的技术,是就轻避重敷衍了事,还是实实在在静下心来不断学习是摆在我们面前必须要考虑的问题。作为一名系统管理员来说,如果不进行学习,那就无法胜任这个岗位,最终是要被淘汰,因此只有不断学习新的技术,增强自身的技术储备,通过考取技术认证的形式来督促自身技能的学习和进步,才能立足于岗位,才会有更大的职业发展;

3 、深化交流,把握技术前沿:对于技术来说,从来都不是封闭的,因此同其他技术人员乃至别的单位技术人员进行交流也显得很重要,通过各种技术论坛、专家分享会、技术交流会等形式就自己认识上的困惑以及工作中遇到的问题进行交流切磋,一方面可以解决自身存在的问题,消除自身认识的误区;另一方面也可以对技术的前沿进行把握,及时调整好方向;

4 、积极转型,应对技术变革:随着数字化转型带来的技术全面变革,对于自身来说,是固步自封还是积极转型都是需要考虑的问题,转型虽然有阵痛,但痛是暂时的,一旦熬过阵痛期,转型过后的前景更美好;而埋首于现有的“美好”中,不去拥抱技术的变革,失去的会是很多;

5 、机会并存,抓住变革契机:变化与机会总是并存的,对于技术不断变革的今天,机会也一直存在,特别是对于银行科技行业职业生涯来说,没有过硬的技术实力是没法在众多技术人员中出类拔萃的,同时新技术带来变革所产生的机会也是稍纵即逝的,一旦错过将错失多年,而对于那些有技术准备的人来说把握机会的概率相比之下会更大。

结语

数字化转型的号角已经吹响,顶层设计已经出台,企业的数据化转型已经初见端倪,对于立足系统管理岗而言,是固步自封于自我的美好中,还是忍住阵痛迎难而上,摆脱自我的舒适区?这里我们将以破釜沉舟的决心拥抱技术的变革,从头开始,从现在开始,以“我将无我”的毅力应对各种挑战,积极应对及消除各种风险,做一名新时代新技术下“合格”的科技从业者。

THEEND

最新评论(评论仅代表用户观点)

更多
暂无评论