V1.1.9版本发布

ydb.1.1.9视图表与对象池优化发布

视图表

业务有成百上千张表,每张表有上百个列。想要根据关键字搜索含有该关键字的记录怎么办? 每张表都写一个sql么?每个列都要拼到where条件里去搜索么?no 其实对于资源汇聚类型的搜索可以一条sql就搞定,又兼容原先的表结构,业务其他部分依然可以单表查询。

视图表解决了物理表存在的如下问题;

问题一:
1.
每张表都要维护自己的BUFFER,弄不好就OOM,导入性能实在太差.
2.
都要单独开个线程去维护这张表,浪费资源.
3.
生成的索引都很小,但是文件数量太多,频繁合并索引导致namenode非常繁忙,检索的时候文件太细,对磁盘的IOPS也是一个考验.

4.字段类型经常写错,而物理表无法更改数据类型,视图表则可以任意更改.

问题二:

要根据关键字搜索含有该关键字的所有表的对应记录

1.采用物理表意味着每张表都写一个sql,目前一共拼了NSQL 请求次数太多,对并发与响应时间影响较大

2.资源汇聚类型的搜索,通过视图表内部对应的物理表可以一条sql就搞定.

3.视图表又兼容原先的表结构,对业务其他非资源汇聚类型的搜索没有影响。

Ybb视图表示建立在物理表的基础上的。一张物理表上面可以放很多视图表,这些表统一管理,统一心跳,统一一个索引,对外部用户来说对视图表的查询和对物理表的查询,在使用上没有什么区别。

关于视图表的详细用法,请访问如下地址


对象池


其他功能:

  • Ylike分词性能优化
  • select 1 默认使用spark执行,影响YDB性能
  • 使用kafkaimport.sh指定单个文件时,会将文件全路径再拼接上文件名,导致javaFileNotFoundException异常
  • 单列group by之后再做统计,仍然走倒排表;单列分组统计,带强制走spark参数,速度比不带参数快很多;

下载地址 http://blog.ycloud.net.cn/download

http://www.ycloud.net.cn/technology_xq.php?id=85 http://www.ycloud.net.cn/technology_xq.php?id=85http://www.ycloud.net.cn/technology_xq.php?id=85http://www.ycloud.net.cn/technology_xq.php?id=85http://www.ycloud.net.cn/technology_xq.php?id=85