绿色健康小清新

耐得住寂寞,守得住繁华

项目的第三个部分,主要就是实现一个基于cost的查询优化模块,这个模块的主要作用是在SimpleDB处理Join等SQL语句的时候可以对输入的SQL查询进行优化,并且我们这里实现的是最简单的基于cost的查询优化模块,这里的cost会根据SimpleDB中数据表的统计信息计算出来,而这种统计信息就来自于之前实现的存储模块。

阅读全文 »

项目的第二个部分,主要就是实现常见的SQL语句所需要的数据库操作:Filter(按条件筛选)、Join、Aggregate、Insert和Delete。以及新增一个Buffer中的页淘汰策略LRU。

阅读全文 »

该项目主要是基于Spark来做一个实时数仓,通过Flume采集日志数据(该项目简略了),Maxwell采集业务数据,通过Kafka被Spark读取数据进行处理,也是通过Kafka对数据进行一个分层化的存储和处理,最终生成DWS层的宽表并保存到OLAP数据库ES中,以及通过ES来做数据的分析。

阅读全文 »

ElasticSearch 是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于 RESTful web 接口。Elasticsearch 是用 Java 开发的,并作为 Apache 许可条款下的开放源码发布,是当前流行的企业级搜索引擎。

阅读全文 »

主要是介绍几种非对称加密算法和数学原理:RSA、ECC、DH、DHE、ECDHE。

阅读全文 »

主要是对https的证书、认证方式、TLS的握手(RSA、ECDHE)等。

阅读全文 »