分类标签归档:大数据

elasticsearch Mapping、字段类型Field type详解


其中string类型 ELasticsearch 5.X之后的字段类型不再支持string 由text或keyword取代。 如果仍使用string,会给出警告。

字段类型概述
一级分类    二级分类    具体类型
核心类型    字符串类型   text,keyword
整数类型    integer,long,short,byte
浮点类型    double,float,half_float,scaled_float
逻辑类型    boolean
日期类型    date
范围类型    range
二进制类型   binary
复合类型    数组类型    array
对象类型

Read more

mysqlsmom(mysql 实时同步至elasticsearch)


1、安装mysqlsmom

个人建议用pyenv弄Python的虚拟环境 参考:http://www.65535.fun/article/2019/12/13/12.html 安装完环境后:

pip install mysqlsmom
# 我自己的elasticsearch 是7.0.1 的版本,所以
pip install --upgrade elasticsearch==7.0.1

2、全量同步

mkdir /usr/local/mysqlsmom
cd /usr/local/mysqlsmom
mom new v4_user_db/init_config.py -t init --fo

Read more

CentOS 7 hadoop 3.13 高可用集群安装部署


一、服务器规划

本次部署有5台服务器,namenode主备两台,datanode三台,具体规划如下表:

服务器IP 域名 角色 备注
192.168.31.218 HD01.MYHDFS.COM namenode,resourcemanager
192.168.31.153 HD02.MYHDFS.COM datanoade,nodemanager,zoomkeeper,journal
192.168.31.236 HD03.MYHDFS.COM datanode,nodemanager,zoomkeeper,journal
192.168.31.61 HD04.

Read more