竹影清风阁

Kafka消费形式验证 前面的《Kafka笔记整理（一）》中有提到消费者的消费形式，说明如下： 1、每个consumer属于一个consumer group，可以指定组id。group.id 2、消费形式： 组内：组内的消费者消费同一份数据...

赞(0)阁主2019-07-04kafka 阅读(1263)去评论

下面的测试代码使用的都是下面的topic： $ kafka-topics.sh --describe hadoop --zookeeper uplooking01:2181,uplooking02:2181,uplooking03:2181...

赞(0)阁主2019-07-04kafka 阅读(1294)去评论

首先需要确认当前安装的 Nginx 是否安装了 GeoIP 模块 nginx -V 如果版本信息中包含 --with-http_geoip_module，则说明已经支持该模块，如果不支持请往下看 安装依赖 yum -y install zl...

赞(0)阁主2019-07-04Nginx 阅读(1958)去评论

逻辑结构 RowKey第一位 ColumnFamily ColumnQuiauer value(TimeStamps) Cell 物理结构 HMaster —–>NameNode 管理节点，用于管理HBase中的Ta...

赞(0)阁主2019-07-03HBase 阅读(2076)去评论

Hive的函数 Hive函数分类 函数的定义和java、mysql一样，有三种。 UDF（User Definition Function 用户定义函数） 一路输入，一路输出 sin(30°)=1/2 UDAF（User Definitio...

赞(0)阁主2019-07-03Hive 阅读(1588)去评论

Hive中表的分类 managed_table—受控表、管理表、内部表 表中的数据的生命周期/存在与否，受到了表结构的影响，当表结构被删除的，表中的数据随之一并被删除。 默认创建的表就是这种表。 可以在cli中通过desc extended...

赞(0)阁主2019-07-03Hive 阅读(1495)去评论

Hive Hive由facebook贡献给Apache，是一款建立在Hadoop之上的数据仓库的基础框架。 数据仓库 特点——关于存放在数据仓库中的数据的说明： 是能够为企业的各个级别的决策提供数据支撑的数据 其实说白了，就是一个存放数据的...

赞(0)阁主2019-07-03Hive 阅读(1516)去评论

package com.uplooking.bigdata.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import o...

赞(0)阁主2019-07-03Hadoop 阅读(1610)去评论