当前位置： 首页 > news >正文

vs2008怎么做网站太原搜索引擎优化招聘信息

news 2026/4/7 18:37:59
vs2008怎么做网站,太原搜索引擎优化招聘信息,中国建设银行积分商城网站,上海迈诺网站建设Doris JDBC Catalog 支持通过标准 JDBC 接口连接 MySQL 数据库。本文档介绍如何配置 MySQL 数据库连接。 使用须知​ 要连接到 MySQL 数据库，您需要 MySQL 5.7, 8.0 或更高版本 MySQL 数据库的 JDBC 驱动程序，您可以从 Maven 仓库下载最新或指定版本的…

Doris JDBC Catalog 支持通过标准 JDBC 接口连接 MySQL 数据库。本文档介绍如何配置 MySQL 数据库连接。

使用须知​

要连接到 MySQL 数据库，您需要

  • MySQL 5.7, 8.0 或更高版本

  • MySQL 数据库的 JDBC 驱动程序，您可以从 Maven 仓库下载最新或指定版本的 MySQL JDBC 驱动程序。推荐使用 MySQL Connector/J 8.0.31 及以上版本。

  • Doris 每个 FE 和 BE 节点和 MySQL 服务器之间的网络连接，默认端口为 3306。

连接 MySQL​

CREATE CATALOG mysql PROPERTIES ("type"="jdbc","user"="root","password"="secret","jdbc_url" = "jdbc:mysql://example.net:3306","driver_url" = "mysql-connector-j-8.3.0.jar","driver_class" = "com.mysql.cj.jdbc.Driver"
)

备注

jdbc_url 定义要传递给 MySQL JDBC 驱动程序的连接信息和参数。 支持的 URL 的参数可在 MySQL 开发指南 中找到。

连接安全​

如果您使用数据源上安装的全局信任证书配置了 TLS，则可以通过将参数附加到在 jdbc_url 属性中设置的 JDBC 连接字符串来启用集群和数据源之间的 TLS。

例如，对于 MySQL Connector/J 8.0 版，使用 sslMode 参数通过 TLS 保护连接。默认情况下，该参数设置为 PREFERRED，如果服务器启用，它可以保护连接。您还可以将此参数设置为 REQUIRED，如果未建立 TLS，则会导致连接失败。

您可以在通过在 jdbc_url 中添加 sslMode 参数来配置它：

“jdbc_url”=“jdbc:mysql://example.net:3306/?sslMode=REQUIRED”

有关 TLS 配置选项的更多信息，请参阅 MySQL JDBC 安全文档。

层级映射​

映射 MySQL 时，Doris 的一个 Database 对应于 MySQL 中的一个 Database。而 Doris 的 Database 下的 Table 则对应于 MySQL 中，该 Database 下的 Tables。即映射关系如下：

DorisMySQL
CatalogMySQL Server
DatabaseDatabase
TableTable

类型映射​

MySQL 到 Doris 类型映射​

MYSQL TypeDoris TypeComment
BOOLEANTINYINT
TINYINTTINYINT
SMALLINTSMALLINT
MEDIUMINTINT
INTINT
BIGINTBIGINT
UNSIGNED TINYINTSMALLINT
UNSIGNED MEDIUMINTINT
UNSIGNED INTBIGINT
UNSIGNED BIGINTLARGEINT
FLOATFLOAT
DOUBLEDOUBLE
DECIMALDECIMAL
UNSIGNED DECIMAL(p,s)DECIMAL(p+1,s) / STRING
DATEDATE
TIMESTAMPDATETIME
DATETIMEDATETIME
YEARSMALLINT
TIMESTRING
CHARCHAR
VARCHARVARCHAR
JSONSTRING
SETSTRING
ENUMSTRING
BITBOOLEAN/STRING
TINYTEXT,TEXT,MEDIUMTEXT,LONGTEXTSTRING
BLOB,MEDIUMBLOB,LONGBLOB,TINYBLOBSTRING
BINARY,VARBINARYSTRING
OtherUNSUPPORTED

提示

  • Doris 不支持 UNSIGNED 数据类型，所以 UNSIGNED 数据类型会被映射为 Doris 对应大一个数量级的数据类型。
  • UNSIGNED DECIMAL(p,s) 会被映射为 DECIMAL(p+1,s) 或 STRING。注意在此类型被映射为 String 时，只能支持查询，不能对 MySQL 进行写入操作。
  • 为了更好的读取与计算性能均衡，Doris 会将 JSON 类型映射为 STRING 类型。
  • Doris 不支持 BIT 类型，BIT 类型会在 BIT(1) 时被映射为 BOOLEAN，其他情况下映射为 STRING。
  • Doris 不支持 YEAR 类型，YEAR 类型会被映射为 SMALLINT。
  • Doris 不支持 TIME 类型，TIME 类型会被映射为 STRING。

时间戳类型处理​

在 JDBC 类型 Catalog 读取数据时，BE 的 Java 部分使用 JVM 时区。JVM 时区默认为 BE 部署机器的时区，这会影响 JDBC 读取数据时的时区转换。

为了确保时区一致性，建议在 be.conf 的 JAVA_OPTS 中设置 JVM 时区与 Doris session 的 time_zone 一致。

读取 MySQL 的 TIMESTAMP 类型时，请在 JDBC URL 中添加参数：connectionTimeZone=LOCAL 和 forceConnectionTimeZoneToSession=true。这些参数适用于 MySQL Connector/J 8 以上版本，可确保读取的时间为 Doris BE JVM 时区，而非 MySQL session 时区。

查询优化​

谓词下推​

  1. 当执行类似于 where dt = '2022-01-01' 这样的查询时，Doris 能够将这些过滤条件下推到外部数据源，从而直接在数据源层面排除不符合条件的数据，减少了不必要的数据获取和传输。这大大提高了查询性能，同时也降低了对外部数据源的负载。

  2. 当变量 enable_ext_func_pred_pushdown 设置为 true，会将 where 之后的函数条件也下推到外部数据源，Doris 会自动识别部分 MySQL 不支持的函数，可通过 explain sql 查看。

    当前 Doris 默认不会下推到 MySQL 的函数如下

    Function
    DATE_TRUNC
    MONEY_FORMAT
    NEGATIVE

    当您发现还有其他函数不支持下推时，可以通过 fe.conf 配置 jdbc_mysql_unsupported_pushdown_functions 来指定不支持下推的函数。如：jdbc_mysql_unsupported_pushdown_functions=func1,func2

行数限制​

如果在查询中带有 limit 关键字，Doris 会将 limit 下推到 MySQL，以减少数据传输量。

转义字符​

Doris 会在下发到 MySQL 的查询语句中，自动在字段名与表名上加上转义符：(``)，以避免字段名与表名与 MySQL 内部关键字冲突。

连接异常排查​

  • Communications link failure The last packet successfully received from the server was 7 milliseconds ago.

    • 原因：
      • 网络问题：
        • 网络不稳定或连接中断。
        • 客户端和服务器之间的网络延迟过高。
      • MySQL 服务器设置
        • MySQL 服务器可能配置了连接超时参数，例如 wait_timeout 或 interactive_timeout，导致连接超时被关闭。
      • 防火墙设置
        • 防火墙规则可能阻止了客户端与服务器之间的通信。
      • 连接池设置
        • 连接池中的配置 connection_pool_max_life_time 可能导致连接被关闭或回收，或者未及时探活
      • 服务器资源问题
        • MySQL 服务器可能资源不足，无法处理新的连接请求。
      • 客户端配置
        • 客户端 JDBC 驱动配置错误，例如 autoReconnect 参数未设置或设置不当。
    • 解决
      • 检查网络连接：
        • 确认客户端和服务器之间的网络连接稳定，避免网络延迟过高。
      • 检查 MySQL 服务器配置：
        • 查看并调整 MySQL 服务器的 wait_timeout 和 interactive_timeout 参数，确保它们设置合理。
      • 检查防火墙配置：
        • 确认防火墙规则允许客户端与服务器之间的通信。
      • 调整连接池设置：
        • 检查并调整连接池的配置参数 connection_pool_max_life_time，确保小于 MySQL 的 wait_timeout 和 interactive_timeout 参数并大于执行时间最长的 SQL
      • 监控服务器资源：
        • 监控 MySQL 服务器的资源使用情况，确保有足够的资源处理连接请求。
      • 优化客户端配置：
        • 确认 JDBC 驱动的配置参数正确，例如 autoReconnect=true，确保连接能在中断后自动重连。

  • java.io.EOFException MESSAGE: Can not read response from server. Expected to read 819 bytes, read 686 bytes before connection was unexpectedly lost.

    • 原因：连接被 MySQL Kill 或者 MySQL 宕机
    • 解决：检查 MySQL 是否有主动 kill 连接的机制，或者是否因为查询过大查崩 MySQL

常见问题​

  1. 读写 MySQL 的 emoji 表情出现乱码

    Doris 进行 MySQL Catalog 查询时，由于 MySQL 之中默认的 utf8 编码为 utf8mb3，无法表示需要 4 字节编码的 emoji 表情。这里需要将 MySQL 的编码修改为 utf8mb4，以支持 4 字节编码。

    可全局修改配置项

    修改 mysql 目录下的 my.ini 文件（linux 系统为 etc 目录下的 my.cnf 文件）
[client]
default-character-set=utf8mb4[mysql]
设置 mysql 默认字符集
default-character-set=utf8mb4[mysqld]
设置 mysql 字符集服务器
character-set-server=utf8mb4
collation-server=utf8mb4_unicode_ci
init_connect='SET NAMES utf8mb4修改对应表与列的类型
ALTER TABLE table_name MODIFY  colum_name  VARCHAR(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
ALTER TABLE table_name CHARSET=utf8mb4;
SET NAMES utf8mb4

  2. 读取 MySQL DATE/DATETIME 类型出现异常

    ERROR 1105 (HY000): errCode = 2, detailMessage = (10.16.10.6)[INTERNAL_ERROR]UdfRuntimeException: get next block failed: 
CAUSED BY: SQLException: Zero date value prohibited
CAUSED BY: DataReadException: Zero date value prohibited

    这是因为 JDBC 中对于该非法的 DATE/DATETIME 默认处理为抛出异常，可以通过参数 zeroDateTimeBehavior控制该行为。

    可选参数为：exception,convertToNull,round, 分别为：异常报错，转为 NULL 值，转为 "0001-01-01 00:00:00";

    需要在创建 Catalog 的 jdbc_url 把 JDBC 连接串最后增加 zeroDateTimeBehavior=convertToNull ,如 "jdbc_url" = "jdbc:mysql://127.0.0.1:3306/test?zeroDateTimeBehavior=convertToNull" 这种情况下，JDBC 会把 0000-00-00 或者 0000-00-00 00:00:00 转换成 null，然后 Doris 会把当前 Catalog 的所有 Date/DateTime 类型的列按照可空类型处理，这样就可以正常读取了。

  3. 读取 MySQL Catalog 或其他 JDBC Catalog 时，出现加载类失败

    如以下异常：

    failed to load driver class com.mysql.cj.jdbc.driver in either of hikariconfig class loader

    这是因为在创建 Catalog 时，填写的 driver_class 不正确，需要正确填写，如上方例子为大小写问题，应填写为 "driver_class" = "com.mysql.cj.jdbc.Driver"

  4. 读取 MySQL 出现通信链路异常

    如果出现如下报错：

    ERROR 1105 (HY000): errCode = 2, detailMessage = PoolInitializationException: Failed to initialize pool: Communications link failureThe last packet successfully received from the server was 7 milliseconds ago.  The last packet sent successfully to the server was 4 milliseconds ago.
CAUSED BY: CommunicationsException: Communications link failureThe last packet successfully received from the server was 7 milliseconds ago.  The last packet sent successfully to the server was 4 milliseconds ago.
CAUSED BY: SSLHandshakeExcepti

    可查看 be 的 be.out 日志

    如果包含以下信息：

    WARN: Establishing SSL connection without server's identity verification is not recommended. 
According to MySQL 5.5.45+, 5.6.26+ and 5.7.6+ requirements SSL connection must be established by default if explicit option isn't set. 
For compliance with existing applications not using SSL the verifyServerCertificate property is set to 'false'. 
You need either to explicitly disable SSL by setting useSSL=false, or set useSSL=true and provide truststore for server certificate verification.

    可在创建 Catalog 的 jdbc_url 把 JDBC 连接串最后增加 ?useSSL=false ,如 "jdbc_url" = "jdbc:mysql://127.0.0.1:3306/test?useSSL=false"

  5. 查询 MySQL 大数据量时，如果查询偶尔能够成功，偶尔会报如下错误，且出现该错误时 MySQL 的连接被全部断开，无法连接到 MySQL Server，过段时间后 MySQL 又恢复正常，但是之前的连接都没了：

    ERROR 1105 (HY000): errCode = 2, detailMessage = [INTERNAL_ERROR]UdfRuntimeException: JDBC executor sql has error:
CAUSED BY: CommunicationsException: Communications link failure
The last packet successfully received from the server was 4,446 milliseconds ago. The last packet sent successfully to the server was 4,446 milliseconds ago.

    出现上述现象时，可能是 MySQL Server 自身的内存或 CPU 资源被耗尽导致 MySQL 服务不可用，可以尝试增大 MySQL Server 的内存或 CPU 配置。

  6. 查询 MySQL 的过程中，如果发现和在 MySQL 库的查询结果不一致的情况

    首先要先排查下查询字段中是字符串否存在有大小写情况。比如，Table 中有一个字段 c_1 中有 "aaa" 和 "AAA" 两条数据，如果在初始化 MySQL 数据库时未指定区分字符串大小写，那么 MySQL 默认是不区分字符串大小写的，但是在 Doris 中是严格区分大小写的，所以会出现以下情况：

    MySQL 行为：
select count(c_1) from table where c_1 = "aaa"; 未区分字符串大小，所以结果为：2Doris 行为：
select count(c_1) from table where c_1 = "aaa"; 严格区分字符串大小，所以结果为：1

    如果出现上述现象，那么需要按照需求来调整，方式如下：

    在 MySQL 中查询时添加“BINARY”关键字来强制区分大小写：select count(c_1) from table where BINARY c_1 = "aaa";

    或者在 MySQL 中建表时候指定：CREATE TABLE table (c_1 VARCHAR(255) CHARACTER SET binary);

    或者在初始化 MySQL 数据库时指定校对规则来区分大小写：

    [mysqld]
character-set-server=utf8
collation-server=utf8_bin
[client]
default-character-set=utf8
[mysql]
default-character-set=utf8

  7. 查询 MySQL 的时候，出现长时间卡住没有返回结果，或着卡住很长时间并且 fe.warn.log 中出现出现大量 write lock 日志，可以尝试在 URL 添加 socketTimeout，例如：jdbc:mysql://host:port/database?socketTimeout=30000，防止 JDBC 客户端 在被 MySQL 关闭连接后无限等待。

  8. 在使用 MySQL Catalog 的过程中发现 FE 的 JVM 内存或 Threads 数持续增长不减少，并可能同时出现 Forward to master connection timed out 报错

    打印 FE 线程堆栈 jstack fe_pid > fe.js，如果出现大量 mysql-cj-abandoned-connection-cleanup 线程，说明是 MySQL JDBC 驱动的问题。

    按照如下方式处理：

    1. 升级 MySQL JDBC 驱动到 8.0.31 及以上版本
    2. 在 FE 和 BE conf 文件的 JAVA_OPTS 中增加 -Dcom.mysql.cj.disableAbandonedConnectionCleanup=true 参数，禁用 MySQL JDBC 驱动的连接清理功能，并重启集群

    注意： 如果 Doris 的版本在 2.0.13 及以上（2.0 Release），或 2.1.5 及以上（2.1 Release）则无需增加该参数，因为 Doris 已经默认禁用了 MySQL JDBC 驱动的连接清理功能。只需更换 MySQL JDBC 驱动版本即可。但是需要重启 Doris 集群来清理掉之前的 Threads。

http://www.hkea.cn/news/235050/

相关文章：

  • 竞网网站建设南宁网站seo大概多少钱
  • 114黄页信息网宝鸡seo培训
  • 东南亚做棋牌网站挖掘爱站网
  • 中国工程建设招标网官方网站谷歌查询关键词的工具叫什么
  • wordpress管理员密码忘记成都seo招聘
  • 武汉企业建站系统模板下载官方正版百度
  • 上海做网站国际财经新闻
  • 用废旧盒子做家用物品网站seo排名工具
  • 企业铭做网站域名解析在线查询
  • 怎么注册自己的小程序网站优化分析
  • 荆州网站建设流程网站设计培训
  • 网站支付怎么做的seo职业技能培训班
  • 做csgo直播网站上海知名网站制作公司
  • 深圳住建局官方网站seo网站关键词优化快速官网
  • 网站建设需要php吗企业的互联网推广
  • 苏中建设集团官方网站电商软文广告经典案例
  • 网站开发需要什么开发工具代做百度首页排名价格
  • 北京网站设计多少钱微信引流推广
  • 网站建设实施背景分析百度指数里的资讯指数是什么
  • 小程序定制开发深圳公司网站的优化seo
  • 构建一个网站域名查询平台
  • 蚌埠网站关键词优化推广下载
  • 看房地产的app在哪看aso安卓优化
  • 网站与域名的区别扬州整站seo
  • 哪些网站可以进行域名注册公司关键词seo
  • 如何申请一个网站 做视频百度小说搜索热度排行榜
  • 天津做网站选择津坤科技b重庆seo教程搜索引擎优化
  • 什么网站做热能表好百度一下电脑版首页网址
  • 点击图片直接进入网站怎么做如何使用免费b站推广网站
  • 手机网站建设软件怎么在百度上做广告推广