我们正处于大数据(jù)和数字化(huà)转型的时(shí)代。数据无(wú)处不在,运(yùn)用数据驱(qū)动的思(sī)想(xiǎng)和(hé)策(cè)略在实践中逐(zhú)渐成为共识,数据的价值已在(zài)科学研(yán)究和工商业的不同领域得到充分展现。然而(ér),如(rú)果无法从数据中提取出知识(shí)和信息并加以有效利用,数据本(běn)身并不能驱(qū)动和引领数(shù)字化转型取得成功。如何让数据发(fā)挥它最(zuì)大的价值?“数据智能”(Data Intelligence) 应运而(ér)生(shēng)。
portant;" />
然而,技术的(de)不断发展终究(jiū)要(yào)服务于现实生活,海量数据(jù)背后(hòu)那些未被挖掘的价值,需要企业不断挖掘并乐于(yú)分享才(cái)能真正促进行业转型,才能赋(fù)能各(gè)种应用场(chǎng)景。日前,由MobTech MobAI团队基于Spark自研的因子分解机(Factorization Machine,简称FM)模(mó)型(xíng)已得到Spark merge,Spark使用(yòng)者只要更新Spark后,即可使用该模型。
portant;" />
Apache Spark是一个互联网行业普遍使(shǐ)用的(de)开源大数据分布式编程框架(jià),借助Catalyst、新(xīn)的混(hún)排方法、新的网络模块等,获得了超越MapReduce框(kuàng)架(jià)的性能,也(yě)提供了丰富(fù)的(de)API接口。截至2015年年底,Spark是所有大数据(jù)项目(mù)中最活跃的开源项目。如今(jīn),许多公司使用Spark,包括(kuò)亚马逊、Autodesk、Groupon、Tripadsvisor,百度、阿里(lǐ)巴巴和腾(téng)讯、微软等国内外一流互联网(wǎng)公司都在使用。
而FM模型自从2010年被提(tí)出后,由(yóu)于易于整合交叉特征、能够有效解决高维数据特征组合的(de)稀疏问题且具有较高的预测精度和计算效率,在(zài)推荐系统及广告CTR预估等领域(yù)得到(dào)了大规(guī)模(mó)使用,国(guó)内很多大厂(如美团、头条等(děng))都用它来(lái)做推荐及CTR预估。在数(shù)据稀(xī)疏(shū)的情况(如CTR预测)下,FM模型展现(xiàn)出非常高的预测质量,被(bèi)提出后迅速成为学术(shù)界和行业研究和应用的热点(diǎn)。
比如(rú)在某银行短信投放的项目中,一开始使用对(duì)于(yú)计算(suàn)广告等有天然优势的逻(luó)辑(jí)回归模型,点(diǎn)击率为1.18%。但是,逻辑回归(guī)虽然(rán)适合(hé)用来学习需要大规模训练的样(yàng)本和(hé)特征,同时也有着不容忽(hū)视(shì)的(de)缺(quē)点:1.模(mó)型表达能力弱,需要大量的特征组合提高特征(zhēng)的表达;2.模型简单,容易欠拟合。所以在评估后(hòu),MobTech选择了使用FM模(mó)型(xíng),成功帮助用(yòng)户的点(diǎn)击率增长至3.62%,带来(lái)了更多转化。
portant;" />
作为全球领(lǐng)先的数据智能科技平(píng)台,MobTech结合大规模数据处理、数(shù)据挖掘、机器学习、可视化等多种技术,从数据中提炼、发掘、获(huò)取有揭(jiē)示(shì)性和可操作性的信息,为企业和品牌在基(jī)于数据制定决策或(huò)执(zhí)行(háng)任务时提供有效的智(zhì)能支持。自研FM模型并得(dé)到Spark merge是(shì)MobTech助力各(gè)企业探求数(shù)据空(kōng)间中未(wèi)知世界(jiè),在不同领域里寻(xún)找巨大机会的见证,也(yě)彰显(xiǎn)了MobTech在推动行(háng)业重塑(sù)商业分析(xī)和商业智能领域的决心。
portant;" />
新一轮技术革(gé)命(mìng)带来(lái)的商业演进(jìn)把我们带(dài)进“ABC”时代,即人工智能(AI)、大数据(jù)(Big Data)和云(yún)计算(suàn)(Cloud Computing)。而根(gēn)据Gartner的调研,一(yī)种新的
“增强分析”的分析模式正在(zài)颠覆旧有方式,预计(jì)在几(jǐ)年内将成为商业智能(néng)系统采购的主导驱动力。这种“增(zēng)强(qiáng)分析”模式正是(shì)由数据(jù)智(zhì)能技术(shù)赋能,提供了(le)自然语言查询和叙述、增强的数据准(zhǔn)备、自动的高级分析、基于可视化的(de)数据探索等(děng)多种核心能(néng)力。
portant;" />
未来,MobTech将会(huì)潜心数据智能研究,让产品更加契合当今(jīn)大数据时代各领域、各行业(yè)从数据中挖掘、实现(xiàn)价值,进行数字化转型(xíng)的迫切需要。并不断(duàn)将成果与(yǔ)众企业分享(xiǎng),一同(tóng)实现数据(jù)智能在更(gèng)多领(lǐng)域的(de)落地(dì)和发展,不断(duàn)挑战新应用和新场景,进一步激发和驱(qū)动数字智能(néng)研究(jiū)保持强劲(jìn)的发展势头,迈向更高(gāo)的(de)层(céng)次。