V1.1.6版本发布

v1.1.6稳定版

V1.1.6版本在软件功能上的变化较少,更多的改动主要集中在数据准确性、稳定性与持续性上的测试。准确性上我们编写了1000多项用例,几千种测试SQL,进行了数千万次的循环比对。在持续性上我们做了多次300并发,持续20天以上的持续性压测,也解决了不少的BUG以及高并发问题。在稳定性上,我们更是添加了守护进行监控,如果因BUG等导致的关键服务异常,可以由守护进程发现,并自动恢复服务。
本版本release内容如下:
一、修正大量spark内存泄露的BUG,从而提升YDB的稳定性
修正的内容如下:http://blog.csdn.net/qq_33160722/article/details/54092560
二、优化spark源码,提升spark的响应速度,从而提升YDB的响应速度
优化点如下:http://blog.csdn.net/qq_33160722/article/details/54693063
三、修改Spark源码,彻底解决由于Spark Clean导致的spark不能持续性的进行大并发查询的问题
解决方法如下:http://blog.csdn.net/qq_33160722/article/details/54893760
四、添加mdrill适配
默认配置所有的SQL查询均是通过spark SQL进行查询,但是由于SPARK本身的框架很重,每次任务调度都会有200~300毫秒的调度时间,对于简单查询来说,我们可以将简单查询的SQL通过轻量级的mdrill接口进行访问,而不通过SPARK SQL进行调度,从而在调度上节省时间。
改动后,原先600~800msSQL,现在查询时间为60~80ms
该功能开启方式,请参考 YDB编程指南第七章的第十一节通过mdrill提升简单查询的查询速度
五、添加守护进程, 监控重要服务,Down掉会自动重启,并记录日志
driver
jdbc端口,web ui端口,Java进程的 gc 是否长期95%slave节点是否长期启动不完整。
六、新增block sort排序
通过block sort排序,可以在秒级内对百亿级别的数据进行排序,对于按照时间的日志检索系统来说,是必备功能。
具体性能指标与测试演示视频,请参考如下两篇文章
1.YDB
spark SQL在百亿级数据上的性能对比测试  http://blog.csdn.net/qq_33160722/article/details/54447022
2.
如何只用4台虚拟机搞定500G300亿条数据的秒级排序 http://blog.csdn.net/qq_33160722/article/details/54834896
七、YDB针对范围查找,我们重写了lucene的查找逻辑,从而提升范围查找的性能
详细描述,请参考如下地址 http://blog.csdn.net/qq_33160722/article/details/54782969
八、大幅提升YDB易用性
通过/*ydb.pushdown('->')*//*('<-')pushdown.ydb*/ 改进了之前YDB查询需要写数组下标的情况,大幅简化SQL拼写的难度
九、迄今为止,YDB最完善的文档,《YDB编程指南》正式发布
腾讯微云下载:http://url.cn/42R4CG8
github
下载:https://github.com/ycloudnet/ydb
十、与AMBARI无缝集成
YDB
可以内嵌到AMBARI里面进行图形化页面的部署与维护
十一、其他小功能
近似文本匹配与近似特征匹配功能的添加
多值列的支持
考虑单词顺序的文本匹配功能的添加
物理删除接口的SQL支持
基于geohash的地理位置检索的支持
kafka
消费监控添加 消费速度与进度的监控
添加show tablesshow partions 功能
十二,BUG修正
修正HDFS短暂不可用的情况下的,索引合并的重试BUG
<=
< 的条件写反了,>=>的条件写反了
反复kill发现spark有的时候分配任务有BUG,导致一个已经死掉的execid存在,添加ping功能识别已经死掉的进程。

如何升级到1.1.6版本

请参考《YDB编程指南》的第九章YDB运维 中的第一节,YDB升级 180页)