江苏建设网,深圳搜索优化,注册资金大小对公司有何影响,网站建设流程及相应技术Flink SQL DataGen Connector 示例
1、概述
使用 Flink SQL DataGen Connector#xff0c;可以快速地生成符合规则的测试数据#xff0c;可以在不依赖真实数据的情况下进行开发和测试。
2、使用示例
创建一个名为 “users” 的表#xff0c;包含 6 个字段#xff1a;id…Flink SQL DataGen Connector 示例
1、概述
使用 Flink SQL DataGen Connector可以快速地生成符合规则的测试数据可以在不依赖真实数据的情况下进行开发和测试。
2、使用示例
创建一个名为 “users” 的表包含 6 个字段id、name、age、email、created_at 和 updated_at。
在表的定义中指定各个字段的规则
id 字段使用序列生成器生成的范围从 1 到 1000
name 字段的长度为 10 个字符
age 字段的范围从 18 到 60 岁
email 字段的长度为随机的10个字符
created_at 和 updated_at 字段使用随机时间生成器时间范围从 2022 年 1 月 1 日到 2022 年 12 月 31 日。
3、官网参数介绍
1数据类型注释
TypeSupported GeneratorsNotesBOOLEANrandomCHARrandom / sequenceVARCHARrandom / sequenceSTRINGrandom / sequenceDECIMALrandom / sequenceTINYINTrandom / sequenceSMALLINTrandom / sequenceINTrandom / sequenceBIGINTrandom / sequenceFLOATrandom / sequenceDOUBLErandom / sequenceDATErandomAlways resolves to the current date of the local machine.TIMErandomAlways resolves to the current time of the local machine.TIMESTAMPrandomAlways resolves to the current timestamp of the local machine.TIMESTAMP_LTZrandomAlways resolves to the current timestamp of the local machine.INTERVAL YEAR TO MONTHrandomINTERVAL DAY TO MONTHrandomROWrandomGenerates a row with random subfields.ARRAYrandomGenerates an array with random entries.MAPrandomGenerates a map with random entries.MULTISETrandomGenerates a multiset with random entries.
2连接器参数
参数是否必选默认值数据类型描述connector必须(none)String指定要使用的连接器这里是 ‘datagen’。rows-per-second可选10000Long每秒生成的行数用以控制数据发出速率。fields.#.kind可选randomString指定 ‘#’ 字段的生成器。可以是 ‘sequence’ 或 ‘random’。fields.#.min可选(Minimum value of type)(Type of field)随机生成器的最小值适用于数字类型。fields.#.max可选(Maximum value of type)(Type of field)随机生成器的最大值适用于数字类型。fields.#.length可选100Integer随机生成器生成字符的长度适用于 char、varchar、string。fields.#.start可选(none)(Type of field)序列生成器的起始值。fields.#.end可选(none)(Type of field)序列生成器的结束值。
4、代码示例
CREATE TABLE users (id BIGINT,name STRING,age INT,text STRING,created_at TIMESTAMP(3),updated_at TIMESTAMP(3)
) WITH (connector datagen,fields.id.kind sequence,fields.id.start 1,fields.id.end 1000,fields.name.length 10,fields.age.min 18,fields.age.max 60,fields.text.length 5
);测试结果
select * from users;
