1.传统关系型数据,已经无法容纳更多的数据,查询效率严重受到影响的用户。

2.目前在使用SOLR、ES做全文检索,觉得solr与ES提供的分析功能太少,无法完成复杂的业务逻辑,或者数据量变多后SOLR与ES变得不稳定,在掉片与均衡中不断恶性循环,不能自动恢复服务,运维人员需经常半夜起来重启集群的情况。

3.基于对海量数据的分析,但是苦于现有的离线计算平台的速度和响应时间无满足业务要求的用户。

4.需要对用户画像行为类数据做多维定向分析的用户。

5.需要对大量的UGC(User Generate Content)数据进行检索的用户。

6.当你需要在大数据集上面进行快速的,交互式的查询时。

7.当你需要进行数据分析,而不只是简单的键值对存储时

8.当你想要分析实时产生的数据时。

        YDB全称延云YDB,是一个基于Hadoop分布式架构下的实时的、多维的、交互式的查询、统计、分析引擎,具有万亿数据规模下的秒级性能表现,并具备企业级的稳定可靠表现。

        YDB是一个细粒度的索引,精确粒度的索引。数据即时导入,索引即时生成,通过索引高效定位到相关数据。YDB与Spark深度集成,Spark对YDB检索结果集直接分析计算,同样场景让Spark性能加快百倍。

1:就是即时发生的数据即时就可以查询到,随意、即兴、条件随机、模糊的查询。

2:响应时间要求为几秒钟之内才能称为即席。

即席分析与普通分析的区别

1.普通的应用分析是定制开发的,大多是预先计算好的。

2.即席分析是用户在使用时临时生产的分析,查询条件事先未知,系统无法预先优化这些查询,在现场没法预先准备,所以即席查询的性能也是评估数据仓库的一个重要指标。

功能概述
检索过滤等值匹配,支持in操作,>,<,>=,<=,and与or的嵌套组合
统计分析排序单/多列group by,max,min,sum,avg,count,distinct,order by
复杂SQL自定义udf,udaf,udft,SQL多层嵌套,union,多表关联join
模糊查询全文检索,临近搜索,相似文本(文章)搜索,like
数据类型string,int,long,float,double,地理位置,一列多值,行存储,列存储
中文分词内嵌二元分词,IK词库分词,也可自定义或扩展第三方分词。YDB自带的ngram多元分词也更适合数字,邮箱,车牌,符号的匹配。
        按照时间逆序排序可以说是很多日志系统的硬指标。在延云YDB系统中,我们改变了传统的暴力排序方式,通过索引技术,可以超快对数据进行单列排序,不需要全表暴力扫描,这个技术我们称之为BlockSort。
amtint列筛选 筛选后条数 排列方式 YDB BlockSort Spark
无筛选 100亿 降序 3.3 1118
升序 3.6 1085
100 TO 900 80亿 降序 1.5 1093
升序 1.3 1070
100 TO 600 50亿 降序 1.53 1104
升序 1.38 867
100 TO 200 10亿 降序 7.00 1115
升序 1.11 1.31
100 TO 110 1亿 降序 2.1 1160
升序 3.44 1114
100 TO 101 0.1亿 降序 10.67 1089
升序 7.0 1110
测试环境
数据条数 200亿条
数据大小 1000G
CPU 2*6核
内存 64GB
机器台数 2台
场景测试
行车轨迹查询/重点车辆分析 0.43秒
同行车辆分析 1.56秒
区域碰撞分析 1.23秒
昼伏夜出、落脚点分析 1.5秒
陌生车辆分析 7.9秒
嫌疑车辆模糊搜索与定位 1.6秒

YDB适用场景

1.数据规模千万级到十亿级。

2.预算有限,希望节省成本。

3.希望快捷搭建数据库环境。

YDB易捷版是由延云独立研发,自主可控的针对中小数据规模的实时、多维、即席查询与分析的搜索数据库产品,具有免安装、轻量级、高性能等特性。

1.YDB易捷版具备YDB的全部查询功能。

2.YDB易捷版默认安装于单节点环境,而YDB安装于集群环境。

3.YDB易捷版支持免安装及“一键启动”,而YDB的配置及启动过程相对复杂。

4.YDB易捷版适用于千万级到十亿级数据规模场景,而YDB适用于千、万亿级以及更大数据规模场。

1.能支撑千万级到数十亿级数据规模的快速查询与分析。

2.支持Linux、Windows环境下免安装,一键启动。

3.数据导入、查询比同类产品要简单易用。

Ypump适用场景

用于将Oracle数据库数据迁移至延云YDB

Ypump是一款可视化大数据ETL工具,用于将Oracle数据库数据迁移至延云YDB,支持定时、批量的数据抽取(extract)、转换(transform)、加载(load)。

Ypump主要包含两个组件Web Server和Job Server。Web Server提供HTTP服务,实现可视化的任务定义和任务调度。Job Server是具体执行数据转换任务的调度服务器。

Ypump相比较同类产品来说具有简单轻量 ,一键导入的优势。