8月26日,主题为(wéi)“强基赋能 开启数据新(xīn)纪元”的2020(第五届)大数(shù)据产业生态大会(huì)在北(běi)京举行。
这场中国大数(shù)据产(chǎn)业最盛大、最具专业性(xìng)及深度的行业聚(jù)会,成为了中(zhōng)国前沿的数(shù)据(jù)黑科技(jì)产品名副其实(shí)的大秀场,也是行业专家、企业领袖(xiù)、知名投(tóu)资人汇聚一堂,深(shēn)入探讨技术(shù)与产(chǎn)业发展的高端平(píng)台(tái)。
华(huá)为云亮相大(dà)会,全面展示了(le)其在大数据领域的(de)创新。会上,组委会权威揭晓"2020中国大数据企业50强(qiáng)"榜单,华为大数据连续四(sì)年(nián)位于榜首。这也(yě)是业界对华为在大数据领(lǐng)域(yù)持续技术创(chuàng)新(xīn)、实践应用等方面成绩(jì)的再度肯定。

计算存储分(fèn)离,华为打造最优秀的大数据存储底座(zuò)
华为海量存储领(lǐng)域副(fù)总裁徐强在接受中国软件网采(cǎi)访(fǎng)时表(biǎo)示,5G、云、AI正(zhèng)加(jiā)速行业数字化转型,海量数据时(shí)代已来。海量数据,使能企(qǐ)业从数据管(guǎn)理走向数(shù)据运营。
目前(qián),海量(liàng)数据分析面临的三大挑战(zhàn):一是成本高,存不(bú)下,如(rú)资源(yuán)利用(yòng)率低,存储效率低,运维(wéi)成本高;二是效率低,流不动,如数据难(nán)共享(xiǎng),分析(xī)效率低,业务上线时间长;三是(shì)自动化差,管不好,如(rú)多种类型存储设(shè)备并存,缺少(shǎo)数据生(shēng)命周(zhōu)期管理,自(zì)动(dòng)化运维能力差。
徐强认为,从大数据架构(gòu)演进(jìn)看计算存储“分离”发展已(yǐ)成事实(shí),计算层逐渐轻(qīng)量化、容(róng)器化(huà),与数(shù)据解耦;存储(chǔ)层(céng)一方面在引入(rù)外部存(cún)储,另(lìng)一方面在尝试EC方案,增强大数据存储底座能力,大数据正基于计(jì)算存储(chǔ)分离(lí)架构,逐步向数据湖(hú)演进。
另外,随着近(jìn)年来大数据(jù)应用的(de)广泛(fàn)普及,传(chuán)统的存算一体模(mó)式弊端逐步凸显。比如多副本的存储技术带来的高昂的数(shù)据存储成本问题,过低的(de)存储密度(dù)带来的机房(fáng)、功耗(hào)、制冷等(děng)运维成本(běn)居高不下问题,计算存储紧耦合(hé)形成的数据孤岛问题(tí)。基于存算分(fèn)离架(jià)构的大数据方(fāng)案(àn),已(yǐ)成为客户的新选择。
华为于今年5月28发布(bù)了全新一(yī)代(dài)海量数(shù)据存储(chǔ)OceanStor Pacific系列,致力于打(dǎ)造最优秀的大数据存储(chǔ)底座(zuò),也吹响了(le)华为打造海量存储高(gāo)端系列的冲锋号。
在演讲中(zhōng),徐强展(zhǎn)示了基于华(huá)为海量存储OceanStor Pacific系列的(de)大数(shù)据存算分离方案的优势:
大幅(fú)降低TCO
·计(jì)算存储分离(lí),按需扩展,实(shí)现精准投(tóu)资;
·采用EC方(fāng)案(àn)替代Hadoop多副本的存储模式,存储资(zī)源利用率提升1.75倍,降低硬件采购(gòu)成本;
提升分析(xī)效率
·全分布式的NameNode架(jià)构,单NameSpace提供(gòng)百亿的文件存(cún)储,提(tí)高数(shù)据管(guǎn)理效率(lǜ);
·多协议融(róng)合(hé),一份数据(jù)同时支持(chí)文件、大(dà)数(shù)据接口(kǒu)访问,免(miǎn)数据迁移(yí),缩(suō)短分析路(lù)径,分(fèn)析效率提升30%以上;
·一套存(cún)储同时支持多厂家、多版本大数据集群,共(gòng)享(xiǎng)存(cún)储资(zī)源(yuán),消除数据孤(gū)岛,加(jiā)速数据(jù)流动。
提(tí)升可靠性
·多故障域(yù),每个故障域均允许多节点同时故障,数据可靠性成倍提升;
·亚健康监测,提前识别(bié)风险硬件,自动隔离,避免多点(diǎn)故障;
·精细化(huà)流量控制,结合快速数据重构能力,快(kuài)速恢复(fù)数据冗(rǒng)余机(jī)制。
基(jī)于华为OceanStor Pacific系列的大数据(jù)存算分离方案,在运(yùn)营商(shāng)、安平(píng)、金融、政府(fǔ)、互联网已(yǐ)经有近百个案例。在联通集团通过部署存算分离方案,整(zhěng)体大数(shù)据平台TCO下降30%以上,节省近千(qiān)万的投资;存(cún)算协同带来分析效率(lǜ)提升20%以上,收入(rù)增长数千(qiān)万;引入存储层的数(shù)据保护(hù)技(jì)术(shù),可(kě)靠性也(yě)有30倍以上的提升。