认识达内从这里开始

认真做教育专心促就业

Presto是什么

发布：达内
来源：互联网
时间：2018-01-25 09:20

"Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节",这句话是从中国社区网站上复制而来,相信看完本文后会有一个了解.

<a style='color:blue' href='http://qd.tedu.cn/'>青岛达内</a>培训

    Presto是Facebook 2012年开发的,2013年正式宣布开源,这里可以看出大数据领域互联网巨头们有多牛.而在中国之所以这几年名声鹊起,主要是京东2014年将Presto引入,并做了大量的探索和改进,应用于京东的业务中,同时在中国进行推广,这也从另一个侧面看到了京东在中国互联网行业的强横实力.
    京东的实力不容忽视
    Presto的整体架构
    Presto是主从架构的,因为集群主要由两种服务组成,Coordinator和Worker,所以是典型的Master-Slave拓扑.并且,它是一个完全基于内存的分布式查询执行引擎,在配置的时候要记得给服务器配足够大的内存,同时为了数据的交互,最好使用万兆网络.
    软件架构也并不晦涩,了解Hadoop、Spark的同学都会容易理解.可以通过Connector接入多种数据源,如Hive、Mysql等;查询请求发过来,通过对语句的解析,生成执行计划,并依据执行计划在Wroker上执行;最后将结果汇总起来,发送给客户端.达内
    Presto中的模型
    Connector:可以通过不同的Connector访问不同的数据源,开发者可以编写Connector来接入当前版本中未内置Connector的数据源;
    Catalog、Schma和Table:三个概念可以这样理解,在Presto中用Catalog与接入的Mysql等数据源对应,而Schema对应Mysql中的database,Table则对应了mysql数据库中的表.
    在查询模型中,又有如下的概念:
    Statement:简单理解就是输入的SQL,通过Staement生成查询Query;
    Query:SQL语句是提交给Presto的执行语句,而查询Query则是被实例化出来的配置信息、查询执行计划和优化等.这样一个查询执行又有Stage,Task,Driver,Operator,DataSource组成,组件间通过内部联系形成一个查询执行,得到SQL语句的查询,最终获取相应的结果.
    简单的架构图
    Stage:是逻辑的查询阶段->Exchange:交换,是用来为上下游Stage间交换数据的->Task:实际运行在Worker节点上任务,处理Split数据->Driver:一个或多个Driver组成Task,Driver又是Operator的集合,Driver用来处理Split,Split就是数据分片的集合了->Operator:是过滤、加权、转换等操作,用这些操作对Split的数据进行处理.达内
    对于数据,又有这样几个概念:
    Split:是数据的分片,Source Stage通过Connector从数据源获得数据分片->Page:是数据处理的最小单元,Page又包含多个Block对象,Block其实就是一字节数组.

在执行一个查询计划的时候,从Coordinator获取到数据都对应哪些Split,然后Worker们会运行相应的Task来对这些Split进行处理了.

本篇文章是有青岛达内培训为您呈现,希望给您带来更多更好的文章

更多青岛IT培训相关资讯,请扫描下方二维码