ETL 工具ETL 是 extract-transform-load 三个数据处理过程的缩写:
数据抽取(Extract):连接各个业务系统数据库,抽取数据库日志和事务数据 。数据转换(Transform):抽取数据后,对数据进行验证、清洗、根据规则执行转换 。数据加载(Load):将处理好的数据加载到目标数据库 。
文章插图
理论上,ETL 工具可从生产业务系统的数据库直接抽取数据并转换数据,但这种方式会对生产数据库带来较大压力,直接影响业务系统响应速度 。为了解决这个问题,ETL 过程会先将数据完封不动地抽取到中间数据库(临时库),数据转换、数据加载都会发生在临时库中,以最大程度上降低对生产数据库的影响 。
文章插图
集成平台对基础架构带来的需求变化集成平台的角色多,资源需求量大通常情况下,建设集成平台大约涉及 40-80 个服务器角色,其原因主要在于:
以 ESB 软件为例,它包含应用和数据库两种角色;部分大型三甲医院甚至将集成平台接口服务器(应用角色)拆分成多台,以避免过分集中带来的风险,在这种情况下,ESB 可能会涉及 4-10 个服务器角色 。
ETL 相对更加复杂,包含 ETL 工具服务器,中间数据库服务器(通常运行 mysql 数据库)、目标库服务器等,因此ETL 可能会涉及 6-12 个服务器角色 。
同时,集成平台生产环境的各个角色必需考虑冗余高可用设计,而且需要有对应的开发和测试环境 。
可靠性要求高以往各个业务系统相对独立,但引入集成平台后,所有系统之间的调用都依赖集成平台;一旦发生宕机,所有业务都有可能受到影响,风险极大,因此集成平台对于基础架构的可靠性要求非常高 。
性能要求高大型三甲医院集成平台平均每天需要处理 9000 万条消息,要求峰值处理能力需达到 1000 TPS,存储性能不足容易导致整个业务系统卡顿,严重情况下甚至会宕机,因此非常考验基础架构 IO 吞吐能力 。
需求变化剧烈以往医院其他业务上线后,软件开发、调试工作量和频次较低;但集成平台以及数字化应用的引入则涉及大量、持续的开发、测试任务;传统基础架构的资源扩展动辄需要数月进行规划和部署,无法满足平台的敏捷性要求 。
为集成平台选择更合适的基础架构传统架构部署问题凸显采用物理服务器部署,需要新购数十台甚至上百台服务器,明显增加风险与压力 。
服务器硬件采购成本压力大:80 台服务器采购成本需要数百万人民币,同时硬件维保的费用也相应提高,但每台服务器资源的实际利用率却非常低 。机房管理风险增大:很多医院机房空间非常有限,新增大量的物理服务器,可能会使得机房变得拥挤不堪,制冷和 UPS 有可能无法满足需求,进而为机房管理带来较大的风险 。集中式 SAN 存储扩展成本高:部分医院采用服务器虚拟化+集中式 SAN 存储的架构运行集成平台,虽然可以解决物理服务器的一些问题,但共享 SAN 存储的问题则愈发凸显 。很多大型医院选择全闪 SAN 存储作为主存储,并为了保证存储高可用,配置了双活存储功能,其使用成本超过 10万元/TB ;而集成平台对于存储资源需求较大,完全依赖 SAN 存储则难以满足平台的持续扩展的需求 。超融合是更理想的基础架构超融合是新型的“多合一”基础架构
超融合架构将服务虚拟化、服务器、存储多种设备和元素融为一体,以软件为核心,使用标准商用硬件替代昂贵的专用硬件,解决了传统架构管理复杂、难以扩展等问题 。
以上关于本文的内容,仅作参考!温馨提示:如遇健康、疾病相关的问题,请您及时就医或请专业人士给予相关指导!
「四川龙网」www.sichuanlong.com小编还为您精选了以下内容,希望对您有所帮助:- 葡萄哪个位置最甜
- SmartX超融合网络与安全组件,构建零信任安全的企业云基础设施
- 如何降低 Oracle 容灾加固资源池的总成本和复杂度?
- 宅急送是放到菜鸟驿站吗
- 中山一院:华南第一综合性三甲医院的 IT 基础架构转型实践
- 螃蟹的天敌
- 眼部吸脂术需要注意什么
- 男人缩胸方法有哪些?
- 内切鼻翼缩小怎么样?
- 鼻翼缩小的整容术是怎么做的?