河北专业网站建设,易语言怎么做视频网站,域名注册规则,电商网站建设与运营成本概览
本科毕设做过电影推荐系统#xff0c;但当时的推荐算法只有一个#xff0c;现在已经忘记大部分了#xff0c;当时也没有记录#xff0c;因此写这个博客重新来记录一下。此外#xff0c;技术栈由于快秋招原因来不及做过多的部分#xff0c;因此只实现简单的功能但当时的推荐算法只有一个现在已经忘记大部分了当时也没有记录因此写这个博客重新来记录一下。此外技术栈由于快秋招原因来不及做过多的部分因此只实现简单的功能在此不做搜索引擎部分。
技术栈VueElement-ui、SpringBoot、Spark、Redis、Mongodb、Flume、Kafka、Azkaban
1 云服务器选择
由于电脑比较老开太多应用实在太卡之前做毕设的体会因此选用了云服务器。之前使用过云服务器但由于大数据需要的内存比较大些实在没钱。发现轻量服务器貌似便宜一点因此使用腾讯的轻量服务器4cpu16GB来开发。
2 大数据环境搭建
时间原因服务器配置原因在此我只用买了一台来进行开发这是出于开发的简单旦可能这样做一台机器上压力比较大。由于配置实在太费时间之前每次配置都心累因此直接使用docker拉取镜像操作系统centos7.6
2.1 docker安装
参考博客docker安装
2.2 使用docker-compose快速部署spark环境
安装docker-compose见docker-compose安装。
我使用curl方式安装若遇见curl: (35) Encountered end of file则原因可能是云服务器没有开放443端口解决方案443端口开放
快速部署Spark环境 1新建test文件夹并进入依次执行下列命令
wget https://raw.githubusercontent.com/zq2599/blog_demos/master/sparkdockercomposefiles/docker-compose.ymlwget https://raw.githubusercontent.com/zq2599/blog_demos/master/sparkdockercomposefiles/hadoop.env # 在test文件下执行该命令该命令需要等待一会
docker-compose up -d2使用docker-compose ps查看当前的镜像 3使用docker-compose ps查看当前运行的情况
这里我出现两个exit查询日志(docker-compose logs)检查错误原因
# 发现错误
could only be replicated to 0 nodes instead of minReplication (1). There are 1 datanode(s) running and no node(s) are excluded in this operation.可能是因为端口原因设置云服务器全部端口开放有风险但先暂时这样做重新启动docker-compose up -d成功
4查看HDFSxxxx:50070 (5)查看Spark界面xxxx:8080 总结
为了快速回顾之前的项目因此是怎么简单怎么来但如果有时间的话建议用三台机器也可以考虑CDH搭建。下一节将介绍数据准备、离线推荐功能开发
