门户网站建设探究,管理咨询项目,网址你懂我意思吧在线2021,泸州设计公司有哪些摘 要 在云计算、物联网等技术的带动下#xff0c;我国已步入大数据时代。电影是人们日常生活中重要的一种娱乐方式#xff0c;身处大数据时代#xff0c;各种类型、题材的电影层出不穷#xff0c;面对琳琅满目的影片#xff0c;人们常感到眼花缭乱。因此#xff0c;如…摘 要 在云计算、物联网等技术的带动下我国已步入大数据时代。电影是人们日常生活中重要的一种娱乐方式身处大数据时代各种类型、题材的电影层出不穷面对琳琅满目的影片人们常感到眼花缭乱。因此如何从海量电影中快速筛选符合个人喜好的电影成为了个性化电影推荐系统的热门研究方向。为了向用户推荐高质量的电影满足其个人喜好特设计和实现一个电影推荐系统该系统为用户提供个性化的电影推荐让用户能够轻松找到符合自己喜好的电影。 该电影推荐系统采用Spark技术使用基于人口统计学基于内容以及协同过滤等推荐算法通过离线、实时和详情页等推荐方式使用户更加方便快捷地查找符合个人喜好的电影提高用户满意度。同时系统也涉及前端查看页面、后台业务处理和算法设计等众多操作以确保整个系统的精准稳定性和高效性。 关键词Spark技术协同过滤大数据电影推荐系统
ABSTRACT Driven by technologies such as cloud computing and the Internet of Things, China has stepped into the era of big data.Film is an important way of entertainment in Peoples Daily life. In the era of big data, films of various types and themes emerge endlessly, and people often feel dazzled in the face of a dazzling array of films.Therefore, how to quickly select movies that meet personal preferences from a large number of movies has become a hot research direction of personalized movie recommendation system.In order to recommend high quality movies to users and meet their personal preferences, a movie recommendation system is designed and implemented. The system provides users with personalized movie recommendations, so that users can easily find movies that meet their preferences. The movie recommendation system adopts Spark technology, uses demography based, content based and collaborative filtering recommendation algorithms, through offline, real-time and detailed page recommendation methods, users can more easily and quickly find the movie that meets their personal preferences, and improve user satisfaction.At the same time, the system also involves many operations such as front-end viewing pages, back-end business processing and algorithm design to ensure the accuracy, stability and efficiency of the entire system. KEY WORDS: Spark TechnologyCollaborative Filtering AlgorithmBig DataMovie Recommendation System 目 录 第1章 绪论1 1.1 课题背景1 1.2 课题的目的和意义2 1.3 国内外研究现状2 1.4 课题研究的内容3 第2章 电影推荐系统的开发技术介绍4 2.1 推荐系统相关技术4 2.1.1 Spark4 2.1.2 MongoDB4 2.1.3 Web4 2.2 推荐算法介绍5 2.2.1 基于人口统计学的推荐算法5 2.2.2 基于内容的推荐算法6 2.2.3 基于协同过滤的推荐算法7 2.3 推荐系统介绍7 第3章 电影推荐系统分析和设计9 3.1 电影推荐系统分析9 3.1.1 可行性分析9 3.1.2 功能需求分析9 3.2 电影推荐系统设计10 3.2.1 基于人口统计学的推荐算法设计10 3.2.2 基于内容的推荐算法设计11 第4章 电影推荐系统实现14 4.1 系统开发环境14 4.1.1 系统环境介绍14 4.1.2 系统服务运行14 4.2 系统功能的实现16 4.2.1 用户登录与注册16 4.2.2 个性化推荐17 4.2.3 电影搜索24 4.2.4 用户评分25 第5章 电影推荐系统测试27 5.1 功能测试27 5.2 性能测试28 结论29 参考文献30 致谢31
第1章 绪论 1.1 课题背景 在当今快速发展的互联网时代各种网站和应用程序如雨后春笋般涌现为用户提供资源访问涵盖音乐、电影、书籍、商品等领域极大地便利了人们的生活。然而随着互联网资源的日益丰富选择符合自己喜好的项目变得非常耗时最终可能无法实现导致时间的严重浪费。因此迫切需要一种个性化的推荐系统能够为用户提供符合其偏好的资源并过滤掉冗余信息[1]。 个性化推荐系统基于用户与物品之间的隐藏特征构建模型根据模型向用户推荐符合用户偏好和需求的信息从而节省用户寻找自己喜欢的资源的时间。许多互联网科技公司如腾讯、网易云、百度等都把推荐系统作为一个热门的研究领域且在不同的应用领域都有自己的专长。由于用户有不同的兴趣爱好和关注的领域推荐系统需要针对不同的用户进行有针对性的推荐以满足他们的个性化需求。 推荐系统已经广泛渗透到人们生活的各个领域成为互联网行业研究的热点项目之一。随着计算机网络和信息载体技术的飞速发展视频领域尤其受益。视频网站每天积极更新作品也有大量用户上传自制作品丰富了网站的内容信息。然而作品数量的不断增加也给网站带来了巨大的负担这就凸显了一个高质量的推荐系统对于视频网站的重要性。 目前主流的视频网站可以分为两类。一类是提供专业影视作品的视频网站如优酷、爱奇艺、土豆视频等。这些网站的数据结构比较完整主要向用户推荐完整的电影这些电影的生命周期很长但有时会因为持续时间长内容相对单调而让用户感到无聊。另一类是用户原创视频这些视频在上传到视频网站之前被打上标签这些视频网站以短视频为主如哔哩哔哩、抖音和快手。这些网站上的视频种类和数量都非常丰富内容也非常丰富多样。但由于审查水平低数据结构混乱、不完整劣质视频层出不穷。这些作品的生命周期很短随着时间的推移它们会逐渐从公众的视野中消失。 这两种视频网站各有优缺点但无论是哪一种视频网站都面临着作品增多、信息过载的问题。一方面视频网站的用户希望能够从海量的影视资源中快速挑选出符合自己口味的作品从而提高影视资源的获取效率。另一方面一些企业希望通过向客户推荐相关度高、兴趣度高的影视资源树立良好的品牌形象增强客户对企业的信任和忠诚度从而激活客流量减少客户流失。 因此在影视推荐系统的研究过程中寻找更有效的方式根据用户的喜好来推荐影视资源成为重要的研究内容之一。 1.2 课题的目的和意义 随着社会的迅速发展计算机技术的应用范围越来越广泛技术的进步也在推动社会变革。信息量的巨大增长让数据统计难度加大甚至造成一定程度信息冗杂超出承载量这也是当下互联网需要急需解决的问题。对于大量数据的运用需要对互联网进行改进首先需要的便是开发搜索系统能帮用户快速梳理数据。而搜索系统的运行也需要在用户使用前对数据进行整合处理当用户需要某个数据时搜索系统便能根据搜索中的规则进行快速获取信息。接下来就是推荐系统所谓的推荐系统则是基于搜索系统上对用户信息进行整合后的再生成以便用户在有需求时主动推荐让用户有更多选择。简而言之搜索和推荐虽侧重不同但都作为用户的助手能帮助用户在冗杂庞大的数据面前为用户提供清晰的数据思路让用户能使用关键词就能迅速检索信息因此在这种情况下推荐系统显得尤为重要。 本系统的开发在Spark的电影推荐系统中进行的升级和改善参考并使用协同过滤算法来向用户推荐电影。该推荐系统具备处理大量数据的能力而Spark计算框架则是目前最先进的一代框架之一将这个用于大数据的计算可以较大地提高推荐系统运行效率。 1.3 国内外研究现状 早期在搜索系统的使用中受到一定的启发便使得推荐系统的开发有了一定的指向性尤其体现在对数据内容的推荐上。这方法不但可以自行分析物品的内容还能自我检索出用户使用习惯和使用频次来自主建立用户能够确定推荐物品的相关性大小从而为用户提供更加个性化和符合其兴趣的推荐内容[2]。但是由于当时信息技术有限这也使得互联网对数据的挖掘深度和方向有一定的限制造成某些信息提取的准确度不高比如模式复杂的信息如音乐、戏剧等因此推荐系统中侧重于数据内容的推荐不是很好。在这些方法中基于协同过滤的推荐算法是最为经典的[3]。 尽管国内推荐系统的应用比国外稍晚但其发展速度极快。当前国内许多影视网站都已经建立了自己的推荐系统比如腾讯视频的“猜你会追”、爱奇艺的“猜你喜欢”以及优酷的“今日推荐”等推荐模块[4]。为了处理庞大的推荐系统计算数据各互联网公司纷纷采用了通用计算引擎Spark包括腾讯、优酷土豆等在线视频软件公司。 Spark拥有多项功能这为电影推荐系统提供了巨大的便利。通过使用Spark这些公司能够更高效地处理大规模的数据进行实时的数据分析和处理。此外Spark还具备机器学习能力可以根据用户的行为和偏好进行模型训练和推荐优化提供更加个性化和精准的推荐结果。 借助Spark的强大功能电影推荐系统能够更好地应对数据量的挑战并提供更好的用户体验。互联网公司通过利用Spark的技术优势不仅能够更好地理解用户的喜好和兴趣还能够利用机器学习算法不断优化推荐效果提供更符合用户需求的推荐内容[5]。 1.4 课题研究的内容 本文使用Spark技术来实现电影推荐系统不但设计了软件架构体系还要将该系统进行分层比如view层、business层等。以上四大模块中的实时推荐模块则是使用Spark Streaming技术来实时推荐电影。而离线推荐却是使用了基于人口统计学的推荐算法。热门推荐模块和详情页推荐模块分别采用Spark计算框架和基于内容的推荐算法来实现。通过这些模块的结合系统能够根据用户的历史行为和实时需求提供个性化、精准的电影推荐服务。
第2章 电影推荐系统的开发技术介绍 2.1 推荐系统相关技术 2.1.1 Spark 本项目所采用的核心技术是Spark它是一种用于大数据分析计算的引擎框架能够有效处理企业级数据的批量处理任务。Spark框架具备以下突出的优点 1Spark采用Scala作为函数式编程语言并与Java兼容具有简洁的语法和多样的数据结构提供了强大的编程能力。 2Spark采用内存存储中间数据的策略不同于MapReduce的磁盘存储方式使得Spark在迭代计算时运算速度更快。这种方式大大加速了数据处理能力减少了磁盘I/O的时间消耗。 3Spark能够处理大批量复杂格式的数据转换并且易于上手。它的核心数据结构RDD弹性分布式数据集使用Java对象作为数据格式减少了反序列化和对象序列化的开销。 本项目选择使用Spark作为分布式数据处理引擎该框架以单独的进程运行每个应用程序保留进程状态并采用多线程运行模式从而减少了线程切换的时间开销提高了任务执行的效率。此外Spark生态系统提供了多种实用组件方便开发人员实现业务逻辑和实时数据处理并降低了机器学习部分的编写难度。基于这些优势本项目选择Spark技术以提高运行速度、支持批量数据的并行处理并能够灵活使用多种组件来满足项目需求。 2.1.2 MongoDB MongoDB是一种非关系型的数据库这种数据库采用“键值对”的形式来存储数据。由于这种结构化方式MongoDB非常适用于处理大规模数据系统还可以通过增加硬件设备来进行扩展以提高系统的处理能力。MongoDB采用了简单索引机制使得查询操作更加高效。此外MongoDB支持不同数据格式的存储对数据格式的要求较低能够满足Web应用的需求。 2.1.3 Web 在后端运行方面本项目采用了Spring和Maven作为关键框架。Spring框架通过使用.xml和.resource文件进行项目环境的配置从而简化了环境设置的流程。同时Spring框架保留了AOP和IOC的特性为后端模块的开发提供了便利。而Maven技术用于管理项目的依赖库并提供了方便的打包和部署功能。 在前端方面本项目选择了AngularJS2框架作为开发工具。AngularJS2是一个轻量级的响应式网站系统它具备适应多种屏幕尺寸的能力并且拥有美观大方的设计特点。这使得前端开发更加灵活和易于实现。 2.2 推荐算法介绍 推荐系统的关键在于推荐算法它对推荐系统的推荐质量产生了深远的影响。因此在不同的应用环境中选择合适的推荐算法非常重要。本章简要介绍了三种常见的推荐算法包含以人口统计为核心的推荐方法、以内容为核心的推荐方法和基于协同过滤的推荐方法。 2.2.1 基于人口统计学的推荐算法 这种算法与其他推荐算法不同不需要用户的历史行为偏好数据因此称之为无历史行为偏好数据算法。相比于其他推荐算法基于人口统计学的算法具有较高的可解释性和易理解性。在这种算法中当用户不提供足够的信息或者处于用户初步了解阶段可以使用人口统计学数据对其进行推荐因此它不会遇到冷启动问题。如图2.1所示。
图2.1 基于人口统计学的推荐示例图 该算法的核心是用户的基本信息但即使没有这些信息仍可以收集用户的隐藏信息。例如可以获取用户在浏览器中登录的时间、地点、时段和时长等上下文信息并将其转化为用户标签。随后可以使用聚类方法对这些标签进行数据处理提取出一些特征以便对用户进行推荐。 如果找到了特定标签的用户则可以根据预设规则向他们推荐商品。这些规则可以自行定义也可以通过模型发现。用户如果打上这些标签根据这些数据了解消费者的全貌并进行精准定位以进行更有效的营销推荐。 然而这种推荐算法存在一些缺点主要表现为推荐准确率较低并且很难获取用户的个人身份信息。因此这并不是业界主流的推荐算法。但是使用大数据分析可以对用户的行为数据进行特征提取和标签打标以实现更准确的推荐和更深入的用户画像。 2.2.2 基于内容的推荐算法 基于内容的推荐算法是一种主要依赖物品内容的推荐方法。它通过为每个物品打上标签然后找到具有相似标签的其他物品从而为用户提供推荐。例如假设用户A喜欢电影《美国队长2》系统会分析该电影的基本内容信息并提取关键标签如动作、间谍、惊险等。然后系统将根据这些标签来寻找其他具有相似内容信息的电影然后推荐给用户算法核心在于对物品的内容进行特征提取和相似度匹配而不是依赖用户的基本信息或行为数据。因此这种算法在一些领域如新闻推荐和音乐推荐等方面能够产生比较好的效果。如图2.2所示。 图2.2 基于内容的推荐示例图 基于内容的推荐算法通过处理电影的元数据抽取电影的内在特征值并构建特征向量计算其与其他电影的距离与相似度以此推荐给用户相似的电影。这种算法具有简单快速、推荐结果相对准确和稳定性强的特点。然而它也存在一个较大的问题即过度依赖物品内容和标签数据的完整性。 在互联网上存在着数量庞大的信息和事物很难对它们进行严格和全面的手动描述。因此对于一个新的物品来说如果它的描述标签尚未出现那么它很难被准确地推荐给用户。这限制了基于内容的推荐算法的适用范围和准确度。 此外这种算法仅关注事物自身的特点而没有考虑使用者对事物的态度和偏好。因此在挖掘使用者潜在兴趣和对新用户进行推荐方面存在明显的缺陷。它无法全面考虑用户的喜好和行为可能导致推荐结果与用户的实际需求和偏好不完全匹配。 有些网站采用专业人员手动打标签的方法来获取电影、音乐、图书等物品的元数据而不是使用机器学习算法来提取信息。因为机器学习算法提取的信息可能不够准确如果成本允许采用专业人员的标签会提高推荐效果这就被称为专家生成的内容PGC。相对应的还有一种叫做用户生成内容UGC的概念用户可以根据自己的行为数据对物品进行标签。 2.2.3 基于协同过滤的推荐算法 通过挖掘用户和物品之间的特征相似度从海量的用户和物品中寻找出能够满足用户需求的物品并进行推荐从而实现了个性化推荐。该算法是在计算用户兴趣、习惯和物品特征之间的关系的基础上进行的。根据用户的历史行为来预测未来可能喜欢的物品从而提高用户满意度。协同过滤算法面临两个主要问题数据稀疏性和冷启动问题。 类似于分类过程可以通过比较近邻的分类标签来预测目标用户的喜好。这种方法可以根据物品的标签和分类信息找到与目标用户喜欢的物品相似的其他物品从而进行推荐。而基于模型的推荐算法则是通过使用用户行为数据来训练一个模型通过分析这些数据可以挖掘出用户和物品之间的特征和规律。然后利用这些特征和规律来进行个性化的推荐预测。 2.3 推荐系统介绍 推荐系统的目的是将用户和物品联系起来以满足用户的个人喜好需求。它的主要作用是帮助用户发现他们感兴趣的物品同时也将物品展示给感兴趣的用户。三者之间的关系如图2.3所示
图2.3 推荐系统关系图 通常推荐系统的设计包括以下三个步骤 首先系统需要收集用户过去的行为数据并将其存储在数据库中。 随后对这些数据进行分析以建立用户和物品的模型并提取有用的信息。通过使用相关的推荐算法计算基于用户或物品的相似度。 最后系统会将与用户兴趣相符合的前几个物品推荐给他们以便他们可以更容易地发现自己感兴趣的物品。
