Apache Phoenix 安装配置与SQL操作指南
一、环境准备与安装流程
Apache Phoenix 是构建在 HBase 之上的开源 SQL 层,允许通过标准 JDBC 接口执行 SQL 查询。以下是完整的部署步骤。
1. 下载与解压
从官方镜像站点获取对应版本的二进制包:
wget https://archive.apache.org/dist/phoenix/apache-phoenix-4.14.1-HBase-1.3/bin/apache-phoenix-4.14.1-HBase-1.3-bin.tar.gz
将压缩包上传至目标服务器目录(如 /opt/software),并解压到模块目录:
tar -zxvf apache-phoenix-4.14.1-HBase-1.3-bin.tar.gz -C /opt/module/
mv /opt/module/apache-phoenix-4.14.1-HBase-1.3-bin /opt/module/phoenix
2. 分发核心依赖库
为确保各 HBase 节点能识别 Phoenix 协处理器,需将以下两个 JAR 文件复制到所有 RegionServer 和 Master 节点的 HBase lib 目录中:
phoenix-core-4.14.1-HBase-1.3.jarphoenix-4.14.1-HBase-1.3-client.jar
示例如下:
scp /opt/module/phoenix/phoenix-core-4.14.1-HBase-1.3.jar slave02:/opt/module/hbase-1.3.1/lib/
scp /opt/module/phoenix/phoenix-core-4.14.1-HBase-1.3.jar slave03:/opt/module/hbase-1.3.1/lib/
scp /opt/module/phoenix/phoenix-4.14.1-HBase-1.3-client.jar slave02:/opt/module/hbase-1.3.1/lib/
scp /opt/module/phoenix/phoenix-4.14.1-HBase-1.3-client.jar slave03:/opt/module/hbase-1.3.1/lib/
3. 配置文件同步
将 HBase 的配置文件 hbase-site.xml 以及 Hadoop 的 core-site.xml 和 hdfs-site.xml 复制到 Phoenix 安装目录下的 bin/ 子目录中,以保证客户端连接时能够正确访问集群资源。
4. 环境变量设置
编辑系统级环境变量文件 /etc/profile,添加如下内容:
export PHOENIX_HOME=/opt/module/phoenix
export PHOENIX_CLASSPATH=$PHOENIX_HOME
export PATH=$PATH:$PHOENIX_HOME/bin
保存后执行 source /etc/profile 生效配置。
5. 启动服务顺序
依次启动底层组件:
- ZooKeeper 集群
- HDFS(Hadoop)
- HBase 服务
最后启动 Phoenix CLI 工具:
$PHOENIX_HOME/bin/sqlline.py master01,slave02,slave03:2181
二、Phoenix SQL 使用详解
1. 数据库(Schema)管理
Phoenix 支持使用 Schema 对表进行逻辑分组,但默认未启用命名空间映射功能。若尝试创建 Schema 报错:
Error: ERROR 725 (43M08): Cannot create schema because config phoenix.schema.isNamespaceMappingEnabled isn't enabled.
需在 hbase-site.xml 中同时添加以下配置项(包括 HBase 和 Phoenix 的配置路径):
<property>
<name>phoenix.schema.isNamespaceMappingEnabled</name>
<value>true</value>
</property>
<property>
<name>phoenix.schema.mapSystemTablesToNamespace</name>
<value>true</value>
</property>
修改后重启 HBase 集群使配置生效。
常用 Schema 操作语句:
-- 创建数据库
CREATE SCHEMA IF NOT EXISTS mydb;
-- 切换当前命名空间
USE mydb;
-- 删除数据库
DROP SCHEMA IF EXISTS mydb;
2. 表结构操作
查看当前命名空间下所有表:
!tables
建表示例(必须指定主键):
CREATE TABLE IF NOT EXISTS us_population (
state CHAR(2) NOT NULL,
city VARCHAR NOT NULL,
population BIGINT,
CONSTRAINT pk_state_city PRIMARY KEY (state, city)
);
注意:Phoenix 默认将标识符转为大写存储,若需保留小写名称,应使用双引号包裹,例如:"user_profile"。
描述表结构:
!desc us_population
删除表(可选级联删除依赖对象):
DROP TABLE IF EXISTS us_population CASCADE;
3. 修改表结构
支持在线增删字段及调整表属性:
-- 添加字段(避免重复添加)
ALTER TABLE t_user ADD IF NOT EXISTS age INTEGER;
-- 删除字段
ALTER TABLE t_user DROP COLUMN IF EXISTS age;
-- 设置数据生存周期(TTL,单位秒)
ALTER TABLE t_user SET TTL = 86400;
4. 数据增删改查
Phoenix 使用 UPSERT 实现插入或更新操作:
UPSERT INTO us_population VALUES ('NY', 'NewYork', 8143197);
查询数据:
SELECT * FROM us_population WHERE state = 'NY';
删除记录:
DELETE FROM us_population WHERE state = 'NY';