• 最新新闻
  • 究竟是谁还没买《GTA5》iGame Sigma M500畅玩无压力 究竟是谁还没买《GTA5》iGame Sigma M500畅玩无压力 Google:iPhone预装应用比安卓还多! 荷兰对苹果App Store应用商店展开反垄断调查 荣耀20系列超广角拍照还能这么玩?又学会了一招 荣耀20系列超广角拍照还能这么玩?又学会了一招 荷兰对苹果App Store应用商店展开反垄断调查 华为云BigData Pro解读: 鲲鹏云容器助力大数据破茧成蝶 究竟是谁还没买《GTA5》iGame Sigma M500畅玩无压力 究竟是谁还没买《GTA5》iGame Sigma M500畅玩无压力 苏宁、麒麟818组跨国CP,携手发力国内高端啤酒市场 究竟是谁还没买《GTA5》iGame Sigma M500畅玩无压力 苏宁、麒麟818组跨国CP,携手发力国内高端啤酒市场
  • 推荐新闻
  • 究竟是谁还没买《GTA5》iGame Sigma M500畅玩无压力 究竟是谁还没买《GTA5》iGame Sigma M500畅玩无压力 Google:iPhone预装应用比安卓还多! 荷兰对苹果App Store应用商店展开反垄断调查 荣耀20系列超广角拍照还能这么玩?又学会了一招 荣耀20系列超广角拍照还能这么玩?又学会了一招 荷兰对苹果App Store应用商店展开反垄断调查 华为云BigData Pro解读: 鲲鹏云容器助力大数据破茧成蝶 究竟是谁还没买《GTA5》iGame Sigma M500畅玩无压力 究竟是谁还没买《GTA5》iGame Sigma M500畅玩无压力 苏宁、麒麟818组跨国CP,携手发力国内高端啤酒市场 究竟是谁还没买《GTA5》iGame Sigma M500畅玩无压力 苏宁、麒麟818组跨国CP,携手发力国内高端啤酒市场
  • 热门标签
  • 日期归档
  • 华为云BigData Pro解读: 鲲鹏云容器助力大数据破茧成蝶

    来源:www.honkerbase.com 发布时间:2019-09-28

    通往大数据之路的出现是为了响应人类科学技术的进步。它一直光滑流畅。在不到20年的时间里,它已渗透到社会生产和人们生活的各个方面。但是,随着信息量的呈指数增长,大数据也开始面临存储资源匆忙,计算能力强,数据处理效率无法满足业务增长需求等一系列问题。近年来,新兴的容器技术以其轻量级,易迁移,快速扩展等优点,结合分布式计算和存储架构,可以更好地发挥海量数据集的大数据平台,高并发性,实时分析和其他应用程序。场景的优势。

    进入世界

    互联网,汽车,保险,电力,零售和其他行业使用大量信息来分析用户特征和行为模式,从而制定更贴近用户的服务计划和业务战略,并准确推动他们。目前,大多数数据分析都是在Hadoop生态系统中进行的。 Hadoop因其完美的生态环境而在用户中也很受欢迎。它已成为主流的开源大数据平台,并已成为大数据的代名词。

    尴尬的情况

    然而,从2006年发布第一个Hadoop版本开始,大数据的开发也经历了至少13年,而最初以它为荣的“计算存储融合”架构和高级数据分析概念和实践也开始遭受。挑战:

    1.计算存储资源的耦合。无法灵活调整存储和计算的比率。它只能按固定比例扩大,导致浪费一些资源;

    2,数据中心建设成本高,后期运维成本高,性价比和灵活性不如公共云解决方案;

    3.在互联网时代,数据爆炸式增长,现有数据中心资源不足,容易导致工作拥挤,降低计算效率;

    4.大数据不能与其他服务资源池共享,需要单独维护多个集合,以进一步增加运营和维护成本。

    此外,人工智能,机器学习和自然语言处理(NLP)等概念的兴起也影响了大数据,“大数据已经死亡”的风也开始出现。

    打破赚来的

    随着5G +云+ AI时代的到来,数据变得越来越复杂,越来越复杂,越来越精致。大数据不仅已经死亡,而且对企业来说变得比以往任何时候都重要。我们需要解决的问题是如何使用更有效和实用的解决方案来处理爆炸式增长数据。围绕这一主题,各大公司也开展了新一轮的技术探索和升级。

    首先,基础网络发展迅速,网络传输不再是瓶颈。许多公司正试图将大数据的存储和计算分开。有什么影响? IDC中国报告称:“解耦计算和存储已被证明在大数据部署中非常有用,可提供更高的资源利用率,更高的灵活性和更低的成本。”

    与此同时,随着集装箱技术的成熟和各行业的深入应用,一些企业也开始转变平台的平台,并希望结合集装箱的优势,为集团提供新的动力。大数据平台。

    两者的结合,我们似乎看到了大数据转型的曙光。

    蝴蝶之旅

    目前,存放方案相对成熟,集装箱方案仍处于探索和小规模应用阶段。以Spark为例,该方案大致分为两种类型:

    一个是Spark Standalone。该解决方案仅将大数据系统转换为容器。由于轻量级,更精细的计算能力管理和任务隔离,主机可以分为更小的粒子。单位使主机资源的利用率更高,同时考虑到用户的原始使用习惯。但是,该解决方案需要预先分配固定数量的容器,并保持容器连续运行。无法动态管理容器。虽然资源利用率有所提高,但仍存在浪费。

    另一个是Spark On Kubernetes集群解决方案,它使用Kubernetes代替Yarn进行统一资源调度和调度。该技术更接近主流容器解决方案,无需二层调度,可进一步提高资源管理效率。独立解决方案实现容器资源的动态管理并优化资源分配。

    但是,Kubernetes不属于Hadoop生态组件。与传统的Spark on YARN方案相比,存在一些缺点,如缺少任务队列,外部洗牌等,性能较差。因此,当应用于生产系统时,需要大量的功能增强,调度和性能优化以保持与传统大数据平台的一致性。

    针对客户集装箱化流程中的问题,华为云计划推出鲲鹏大数据集装箱解决方案,与BigData Pro相结合,将提供更完整的集装箱化大数据解决方案。

    BigData Pro是业界首个基于公共云的大数据解决方案。该解决方案使用基于云的计算和分离架构作为计算资源,以支持原始多协议的OBS对象存储服务。存储数据湖提供了一种新的公共云大数据解决方案,具有“分离,极大的灵活性和极高的效率”,大大提高了大数据集群的资源利用率,有效解决了当前大数据行业的瓶颈问题,有助于企业应对他们。 5G + Cloud + Intelligence Times的新挑战,实现企业的智能化转型升级。

    未来可以

    在2019年的Full Connect大会上,华为云将正式发布Kunpeng大数据容器解决方案,该解决方案针对大数据业务场景的功能,调度和性能进行了优化和增强,为用户提供了更多本地大数据服务。经验。

    与业界主流大数据平台相比,华为云和鹏数据存储容器有哪些优势?华为云和鹏数据存储容器使用了哪些黑色技术? 9月18日,华为全面联系会议,让我们拭目以待!

    友情链接: