Hive 数据源配置指南

概述

Hive 是基于 Hadoop 生态系统的数据仓库软件，它提供了一种 SQL 接口（HiveQL）来查询和管理大规模数据集。通过配置 Hive 数据源，你可以实现与其他系统的数据同步和复杂的数据分析任务。

参数配置

配置 Hive 数据源时，需要提供以下信息以确保成功连接到 Hive 服务：

• 数据源名称：为你的 Hive 数据源指定一个唯一且易于识别的名称。
• JDBC URL：填写 HiveServer2 的 JDBC 连接地址，格式为

  jdbc:hive2://host:port/database

  jdbc:hive2://host:port/database
  。例如

  jdbc:hive2://hive-server:10000/default

  jdbc:hive2://hive-server:10000/default
  。
• 登录模式：选择是否使用匿名认证。匿名则无需用户名密码；否则需填写用户名和密码。
• 用户名：非匿名认证时填写连接 Hive 的用户名。
• 密码：对应用户名的访问密码。
• defaultFS：HDFS 的默认文件系统地址，对应

  core-site.xml

  core-site.xml
  中的

  fs.defaultFS

  fs.defaultFS
  参数。
• Hive 版本：选择 Hive 的版本号。
• Metastore 链接信息：（可选）指定 Hive Metastore 的连接 URI。
• 扩展参数：（可选）其他 Hadoop 相关配置参数，以 Key-Value 方式添加，例如 NameNode HA 地址等。

{ “hadoop.user.name”: “datadev”, “dfs.ha.namenodes.zetta-cluster”: “nn1,nn2”, “dfs.namenode.rpc-address.zetta-cluster.nn1”: “test-01:8020”, “dfs.nameservices”: “zetta-cluster”, “dfs.namenode.rpc-address.zetta-cluster.nn2”: “test-02:8020” }

• 认证方式：选择”无”或”Kerberos 认证”。如果选择 Kerberos，需提供用户主体（Principal）、密码及可选的 Keytab 文件路径。

• 通过 SSH Tunnel 连接：（可选）当 Hive 服务位于受限网络时，启用 SSH 隧道访问。需补充 SSH 服务地址、端口、用户名和认证信息。

• 数据源描述：（可选）为数据源添加描述性信息，以帮助你或其他管理员理解该数据源的用途或特点。

• 可用工作空间：设置该数据源授权给哪些工作空间使用。可以指定工作空间，也可以授权给全部工作空间。

注意事项

• 确保所有提供的连接信息准确无误，并且 Hive 服务是可访问的。
• 请妥善保护你的数据库凭证信息，避免泄露给未经授权的人员。
• 定期检查并更新你的数据源配置，以适应数据库结构的变化或新的安全要求。
• 监控数据同步任务的运行状态，以便及时发现并解决可能出现的问题。

完成配置后，你即可在数据同步任务中选择此 Hive 数据源，进行数据的导入或导出操作。通过 SSH 隧道连接可以增强数据传输的安全性，特别适用于处理敏感数据的场景。

相关文档

• 数据源支持范围
• 数据源管理
• 数据集成