延云YDB之OLAP分析指数分析,人群画像

延云YDBOLAP分析指数分析,人群画像

多维数据模型作为一种新的逻辑模型赋予了数据新的组织和存储形式,而真正体现其在分析上的优势还需要基于模型的有效的操作和处理,也就是OLAPOn-line Analytical Processing,联机分析处理)。

多维分析:可以帮助用户进行多角度、灵活动态的分析。多维分析报表由(影响因素)和 指标(衡量因素)组成,能够真正为用户所理解、并真实的反映企业特性信息。

1.数据立方体

关于数据立方体(Data Cube),这里必须注意的是数据立方体只是多维模型的一个形象的说法。立方体其本身只有三维,但多维模型不仅限于三维模型,可以组合更多的维度,但一方面是出于更方便地解释和描述,同时也是给思维成像和想象的空间;另一方面是为了与传统关系型数据库的二维表区别开来,于是就有了数据立方体的叫法。所以本文中也是引用立方体,也就是把多维模型以三维的方式为代表进行展现和描述



2.OLAP

OLAPOn-line Analytical Processing,联机分析处理)是在基于数据仓库多维模型的基础上实现的面向分析的各类操作的集合。可以比较下其与传统的OLTPOn-line Transaction Processing,联机事务处理)的区别来看一下它的特点:

3.OLAPOLTP

数据处理类型

OLTP

OLAP

面向对象

业务开发人员

分析决策人员

功能实现

日常事务处理

面向分析决策

数据模型

关系模型

多维模型

数据量

几条或几十条记录

百万千万条记录

操作类型

查询、插入、更新、删除

查询为主


4.OLAP的基本操作

我们已经知道OLAP的操作是以查询——也就是数据库的SELECT操作为主,但是查询可以很复杂,比如基于关系数据库的查询可以多表关联,可以使用COUNTSUMAVG等聚合函数。OLAP正是基于多维模型定义了一些常见的面向分析的操作类型是这些操作显得更加直观。


OLAP的多维分析操作包括:钻取(Drill-down)、上卷(Roll-up)、切片(Slice)、切块(Dice)以及旋转(Pivot),下面还是以上面的数据立方体为例来逐一解释下:

钻取(Drill-down):在维的不同层次间的变化,从上层降到下一层,或者说是将汇总数据拆分到更细节的数据,比如通过对2010年第二季度的总销售数据进行钻取来查看2010年第二季度456每个月的消费数据,如上图;当然也可以钻取浙江省来查看杭州市、宁波市、温州市……这些城市的销售数据。

上卷(Roll-up):钻取的逆操作,即从细粒度数据向高层的聚合,如将江苏省、上海市和浙江省的销售数据进行汇总来查看江浙沪地区的销售数据,如上图。

切片(Slice):选择维中特定的值进行分析,比如只选择电子产品的销售数据,或者2010年第二季度的数据。

切块(Dice):选择维中特定区间的数据或者某批特定值进行分析,比如选择2010年第一季度到2010年第二季度的销售数据,或者是电子产品和日用品的销售数据。

旋转(Pivot):即维的位置的互换,就像是二维表的行列转换,如图中通过旋转实现产品维和地域维的互换。


5.OLAP的优势

首先必须说的是,OLAP的优势是基于数据仓库面向主题、集成的、保留历史及不可变更的数据存储,以及多维模型多视角多层次的数据组织形式,如果脱离的这两点,OLAP将不复存在,也就没有优势可言。

数据展现方式


基于多维模型的数据组织让数据的展示更加直观,它就像是我们平常看待各种事物的方式,可以从多个角度多个层面去发现事物的不同特性,而OLAP正是将这种寻常的思维模型应用到了数据分析上。

查询效率


多维模型的建立是基于对OLAP操作的优化基础上的,比如基于各个维的索引、对于一些常用查询所建的视图等,这些优化使得对百万千万甚至上亿数量级的运算变得得心应手。


分析的灵活性

我们知道多维数据模型可以从不同的角度和层面来观察数据,同时可以用上面介绍的各类OLAP操作对数据进行聚合、细分和选取,这样提高了分析的灵活性,可以从不同角度不同层面对数据进行细分和汇总,满足不同分析的需求。

6.OLAP系统示例

多维分析系统示例


 指数分析示例

 


百度的搜索指数分析

 

 

 

  


淘宝的商品搜索指数分析示例

 

 

 

 

7.数据画像分析

熟话说:知己知彼,百战不殆。用户画像就是在基于大量真实数据的基础上,从多个纬度真实反应用户特征,挖掘用户需求。从而在产品设计、运营策略等环节上,根据目标受总用户的特征进行更符合用户需求的设计和运营方式。具体到不同行业会有不同的应用方式和应用场景。例如:广告行业会进行精准广告推送,交易类平台进行用户个性化推荐,内容类网站进行内容优化和内容推荐。总之用户的特征和需求明确后,所有的活动将具有针对性,有助于提高服务的质量和产品的ROI

人群画像是指产品消费者群体的性别、年龄、收入、城市、教育、家庭情况、生活态度,价值观念等特征。举个栗子:2011年公布的小米手机调查中显示:小米手机的消费者集中在1835岁、男性、追逐功能、爱好科技、有一定的经济基础、白领或者学生、大学学历为主、分布在一二线城市。

8.画像示例

汽车销售数据画像

 

 

 

股票交易数据分析

 

 

9.DMP数据管理平台之广告系统

个性化推荐

是否想过有一天当你在地铁上、公交上、电视上、马路上的大型电子显示屏或墙壁广告,他们可以感应到你,播放的广告都是为你量身定制的,都是你真正需要的。


富余服务能力的消化与精准投放
你是一个咖啡店主,当你的店比较清闲的时候,是否想过使用YDB搜索下周围3公里内的小资人群,告诉他们你这里有一个比较雅致的咖啡店,而且给他打5折,而当你的咖啡店人员比较满的时候就不在推送这些折扣服务。

10.DMP使用示例

创建人群与人群推送

 

人群画像

 

商圈分析