网站建设是否需要源代码,建设部特殊工种查询网站,零基础网站建设视频教程,网站建设的公司有发展吗本节目录一、项目介绍1.1 采用的数据源1.2 Concrec架构技术选型1.3 Sprak介绍1.4 Flink1.5 TensorFlow一、项目介绍
1.1 采用的数据源
Kaggle Anime Recommendations Dataset。 其中的动漫数据源自myanimelist.net。 1.2 Concrec架构技术选型
数据预处理模块#xff1a;汇总…
本节目录一、项目介绍1.1 采用的数据源1.2 Concrec架构技术选型1.3 Sprak介绍1.4 Flink1.5 TensorFlow一、项目介绍
1.1 采用的数据源
Kaggle Anime Recommendations Dataset。 其中的动漫数据源自myanimelist.net。 1.2 Concrec架构技术选型
数据预处理模块汇总各方数据源可视化检视数据对数据进行清晰和转换分类属性encode数值属性进行缩放召回模块根据多种策略对候选集进行初步召回。排序模块针对优化目标进行精准的排序实现特定规则的重排序类目打散提升新颖性。接口服务模块组装排序后的结果提供给前端。编程语言Python。微服务框架Flask。前端框架Vue。数据分析pandas。大数据处理SparkFlink。机器学习框架TensorFlow。
1.3 Sprak介绍
其中Spark是分布式大数据处理平台解决了计算能力和存储能力分布的问题。 简而言之让计算资源去找存储资源。
不同于HadoopSpark基于内存计算速度更快。 同时提供多种编程接口如SparkSQLMllib等。
Spark和Hadoop的主要区别在于
Spark是一个内存密集型的计算框架而Hadoop是一个磁盘密集型的计算框架。Spark支持流式处理而Hadoop不支持。Spark支持多种编程语言而Hadoop只支持Java。Spark支持实时处理而Hadoop不支持。Spark支持多种数据源而Hadoop只支持HDFS。
1.4 Flink
Flink是一个开源的分布式流处理框架用于处理实时数据流和批处理数据。它提供了一个高效的、可扩展的、可编程的运行时环境可以用于处理大规模的数据流和批处理任务。Flink支持多种编程模型包括Java、Scala和Python可以轻松地将数据流和批处理任务组合在一起以构建复杂的数据处理管道。Flink还提供了一系列的API可以用于构建实时分析应用程序以及支持多种数据源和数据格式可以轻松地将数据从不同的源头集成到Flink中。
1.5 TensorFlow
TensorFlow是一个开源的机器学习框架由Google开发可以用于构建、训练和部署机器学习模型。它提供了一系列的工具可以帮助开发者构建和训练深度学习模型并且可以在各种硬件平台上部署模型包括CPU、GPU和TPU。TensorFlow还提供了一个可视化工具可以帮助开发者更好地理解和调试模型。
