自学网站建设哪些网站,最好的做法是,电商云仓,极客邦欲买桂花同载酒#xff0c;终不似#xff0c;少年游。 系列文章目录
项目搭建App登录及网关App文章自媒体平台#xff08;博主后台#xff09;自媒体文章审核延迟任务kafka及文章上下架App端文章搜索后台系统管理Long类型精度丢失问题定时计算热点文章#xff08;xxl-Job… 欲买桂花同载酒终不似少年游。 系列文章目录
项目搭建App登录及网关App文章自媒体平台博主后台自媒体文章审核延迟任务kafka及文章上下架App端文章搜索后台系统管理Long类型精度丢失问题定时计算热点文章xxl-Job热点文章-实时计算(kafkaStream)项目部署_持续集成(Jenkins) 文章目录系列文章目录一、概述1.1 什么是持续集成1.2 持续集成的好处二、软件开发模式2.1 软件开发生命周期2.2 瀑布模型2.3 敏捷开发三、Jenkins安装配置3.1 Jenkins介绍3.2 Jenkins环境搭建3.2.1 Jenkins镜像3.2.2 Jenkins安装配置已完成3.2.2.1 采用YUM方式安装3.2.2.2 采用RPM安装包方式3.2.2.3 配置3.2.2.4 密码3.2.2.5 插件3.2.2.6 创建管理员用户3.2.2.7 配置访问地址3.2.2.8 管理后台3.2.3 Jenkins插件安装3.2.3.1 Git安装配置3.2.3.2 Maven安装配置3.2.3.3 Docker安装配置3.2.4 Jenkins工具配置四、后端项目部署4.1 多环境切换4.1.1 项目环境4.1.2 微服务中多环境配置4.1.3 整体思路4.2 服务集成Docker配置4.3 jenkins打包配置4.3.1 基础依赖4.3.2 微服务4.4 部署服务到远程服务器上4.4.1 安装配置私有仓库4.4.2 jenkins中安装插件4.4.3 jenkins系统配置远程服务器链接4.4.4 jenkins项目创建与其他微服务相同4.4.5 设置参数4.4.6 构建执行Execute shell4.4.7 在远程服务器上执行脚本4.4.8 构建完成以后可以登录130服务器查看是否有相关的镜像和容器4.4.9 联调测试五、jenkins触发器配置5.1 URL触发远程构建5.2 其他工程构建后触发5.3 定时构建 Build periodically5.4 轮询SCMPoll SCM一、概述
1.1 什么是持续集成
持续集成 Continuous integration 简称 CI 指的是频繁地一天多次将代码集成到主干
持续集成的组成要素
一个自动构建过程 从检出代码、 编译构建、 运行测试、 结果记录、 测试统计等都是自动完成的 无需人工干预。一个代码存储库即需要版本控制软件来保障代码的可维护性同时作为构建过程的素材库一般使用SVN或Git。一个持续集成服务器 Jenkins 就是一个配置简单和使用方便的持续集成服务器。
1.2 持续集成的好处
降低风险由于持续集成不断去构建编译和测试可以很早期发现问题所以修复的代价就少对系统健康持续检查减少发布风险带来的问题减少重复性工作持续部署提供可部署单元包持续交付可供使用的版本增强团队信心 二、软件开发模式
2.1 软件开发生命周期
软件开发生命周期又叫做SDLCSoftware Development Life Cycle它是集合了计划、开发、测试和部署过程的集合。如下图所示 需求分析 这是生命周期的第一阶段根据项目需求团队执行一个可行性计划的分析。项目需求可能是公司内部或者客户提出的。这阶段主要是对信息的收集也有可能是对现有项目的改善和重新做一个新的项目。还要分析项目的预算多长可以从哪方面受益及布局这也是项目创建的目标。 设计 第二阶段就是设计阶段系统架构和满意状态就是要做成什么样子有什么功能和创建一个项目计划。计划可以使用图表布局设计或者文字的方式呈现。 实现 第三阶段就是实现阶段项目经理创建和分配工作给开者开发者根据任务和在设计阶段定义的目标进行开发代码。依据项目的大小和复杂程度可以需要数月或更长时间才能完成。 测试 测试人员进行代码测试 包括功能测试、代码测试、压力测试等。 进化 最后进阶段就是对产品不断的进化改进和维护阶段根据用户的使用情况可能需要对某功能进行修改bug修复功能增加等。
2.2 瀑布模型
瀑布模型是最著名和最常使用的软件开发模型。瀑布模型就是一系列的软件开发过程。它是由制造业繁衍出来的。一个高度化的结构流程在一个方向上流动有点像生产线一样。 在瀑布模型创建之初没有其它开发的模型有很多东西全靠开发人员去猜测去开发。这样的模型仅适用于那些简单的软件开发 但是已经不适合现在的开发了。
下图对软件开发模型的一个阐述。
优势劣势简单易用和理解各个阶段的划分完全固定阶段之间产生大量的文档极大地增加了工作量。当前一阶段完成后您只需要去关注后续阶段。由于开发模型是线性的用户只有等到整个过程的末期才能见到开发成果从而增加了开发风险。为项目提供了按阶段划分的检查节点瀑布模型的突出缺点是不适应用户需求的变化。2.3 敏捷开发 什么是敏捷开发 敏捷开发Agile Development 的核心是迭代开发Iterative Development 与 增量开发Incremental Development。 何为迭代开发 对于大型软件项目传统的开发方式是采用一个大周期比如一年进行开发整个过程就是一次大开发迭代开发的方式则不一样它将开发过程拆分成多个小周期即一次大开发变成多次小开发每次小开发都是同样的流程所以看上去就好像重复在做同样的步骤。 何为增量开发 软件的每个版本都会新增一个用户可以感知的完整功能。也就是说按照新增功能来划分迭代。 敏捷开发如何迭代 虽然敏捷开发将软件开发分成多个迭代但是也要求每次迭代都是一个完整的软件开发周期必须按照软件工程的方法论进行正规的流程管理。 敏捷开发有什么好处 早期交付 敏捷开发的第一个好处就是早期交付从而大大降低成本。 降低风险 敏捷开发的第二个好处是及时了解市场需求降低产品不适用的风险。 三、Jenkins安装配置
3.1 Jenkins介绍 Jenkins 是一款流行的开源持续集成Continuous Integration工具广泛用于项目开发具有自动化构建、测试和部署等功能。 官网 http://jenkins-ci.org/
Jenkins的特征
开源的 Java语言开发持续集成工具支持持续集成持续部署。易于安装部署配置可通过 yum安装,或下载war包以及通过docker容器等快速实现安装部署可方便web界面配置管理。消息通知及测试报告集成 RSS/E-mail通过RSS发布构建结果或当构建完成时通过e-mail通知生成JUnit/TestNG测试报告。分布式构建支持 Jenkins能够让多台计算机一起构建/测试。文件识别 Jenkins能够跟踪哪次构建生成哪些jar哪次构建使用哪个版本的jar等。丰富的插件支持支持扩展插件你可以开发适合自己团队使用的工具如 gitsvnmavendocker等。 Jenkins安装和持续集成环境配置
首先开发人员每天进行代码提交提交到Git仓库然后Jenkins作为持续集成工具使用Git工具到Git仓库拉取代码到集成服务器再配合JDKMaven等软件完成代码编译代码测试与审查测试打包等工作在这个过程中每一步出错都重新再执行一次整个流程。最后Jenkins把生成的jar或war包分发到测试服务器或者生产服务器测试人员或用户就可以访问应用。 3.2 Jenkins环境搭建
3.2.1 Jenkins镜像
镜像资料 https://pan.baidu.com/s/1kyoR8WEZ1n43nmCLbtslZQ?pwdabcd 服务器 用户名 root、密码itcast、地址 http://192.168.200.100:16060/
jenkins 用户名itcast 密码itcast 3.2.2 Jenkins安装配置已完成
3.2.2.1 采用YUM方式安装
# 加入jenkins安装源
sudo wget -O /etc/yum.repos.d/jenkins.repo https://pkg.jenkins.io/redhat-stable/jenkins.repo --no-check-certificatesudo rpm --import https://pkg.jenkins.io/redhat-stable/jenkins.io.key# 安装
yum -y install jenkins3.2.2.2 采用RPM安装包方式
Jenkins安装包下载地址 https://pkg.jenkins.io/redhat-stable/
# 安装包下载
wget https://pkg.jenkins.io/redhat-stable/jenkins-2.190.1-1.1.noarch.rpm# 执行安装
rpm -ivh jenkins-2.190.1-1.1.noarch.rpm3.2.2.3 配置
# 修改配置文件
vi /etc/sysconfig/jenkins# 修改内容
# 修改为对应的目标用户 这里使用的是root
$JENKINS_USERroot
# 服务监听端口
JENKINS_PORT16060# 目录权限
chown -R root:root /var/lib/jenkins
chown -R root:root /var/cache/jenkins
chown -R root:root /var/log/jenkins# 重启
systemctl restart jenkins# 重启失败错误信息
Starting Jenkins bash: /usr/bin/java: No such file or directory# 创建JAVA环境的软链接
ln -s /usr/local/jdk/bin/java /usr/bin/java3.2.2.4 密码
# 输入管理密码
cat /var/lib/jenkins/secrets/initialAdminPassword3.2.2.5 插件 3.2.2.6 创建管理员用户 3.2.2.7 配置访问地址 3.2.2.8 管理后台 3.2.3 Jenkins插件安装
在实现持续集成之前 需要确保以下插件安装成功。
Maven Integration plugin Maven 集成管理插件。Docker plugin Docker集成插件。GitLab Plugin GitLab集成插件。Publish Over SSH远程文件发布插件。SSH: 远程脚本执行插件。
安装方法 进入【系统管理】-【插件管理】 点击标签页的【可选插件】在过滤框中搜索插件名称 3. 勾选插件 点击直接安装即可。 注意如果没有安装按钮需要更改配置。 在安装插件的高级配置中修改升级站点的连接为http://updates.jenkins.io/update-center.json 保存 3.2.3.1 Git安装配置
# yum 安装方式
yum -y install git# 安装依赖包
yum -y install curl-devel expat-devel gettext-devel openssl-devel zlib-devel
yum -y install gcc perl-ExtUtils-MakeMaker# 如果之前有安装旧版本 先做卸载 没有安装则忽略
yum remove git# 下载源码包
cd /usr/local
wget https://mirrors.edge.kernel.org/pub/software/scm/git/git-1.8.3.1.tar.gz
tar -xvf git-1.8.3.1.tar.gz# 也可以安装其他版本
# 地址https://mirrors.edge.kernel.org/pub/software/scm/git/# 编译安装
cd git-1.8.3.1
make prefix/usr/local/git all
make prefix/usr/local/git install
echo export PATH$PATH:/usr/local/git/bin /etc/bashrc
source /etc/bashrc# 检查git版本
git version3.2.3.2 Maven安装配置
# 下载安装包
下载地址 https://maven.apache.org/download.cgi# 解压安装包
cd /usr/local
unzip -o apache-maven-3.6.1.zip # 上传本地仓库并解压# 环境变量配置
vi /etc/profile# 增加
export MAVEN_HOME/usr/local/maven/apache-maven-3.6.1
export PATH$PATH:$MAVEN_HOME/bin# 如果权限不够则需要增加当前目录的权限
chmod 777 /usr/local/maven/apache-maven-3.6.1/bin/mvn# 修改镜像仓库配置
vi /usr/local/maven/apache-maven-3.6.1/conf/settings.xml# 需要把本机的仓库打包上传到服务器上不上传会自动下载
# 然后指定上传后的仓库配置3.2.3.3 Docker安装配置
# 更新软件包版本
yum -y update# 卸载旧版本
yum -y remove docker docker-common docker-selinux docker-engine# 安装软件依赖包
yum install -y yum-utils device-mapper-persistent-data lvm2# 设置yum源为阿里云
sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo# 安装后查看docker版本
docker -v# 设置开机启动
systemctl enable docker# 启动docker
systemctl start docker3.2.4 Jenkins工具配置
全局工具配置
MAVEN配置全局设置
指定JDK配置
指定MAVEN 目录
指定DOCKER目录 四、后端项目部署
4.1 多环境切换
4.1.1 项目环境
在项目开发部署的过程中一般都会有三套项目环境
Development 开发环境Production 生产环境Test 测试环境
例如开发环境的mysql连接的是本地生产环境需要连接线上的mysql环境
4.1.2 微服务中多环境配置
1. 在微服务中的bootstrap.yml中新增配置
server:port: 51801
spring:application:name: leadnews-usercloud:nacos:discovery:server-addr: 192.168.200.130:8848config:server-addr: 192.168.200.130:8848file-extension: ymlprofiles:active: dev2. 在nacos的配置中心中新增各个环境的配置文件例如user微服务中新增
修改bootstrap.yml 添加内容
spring:profiles:active: dev3. 创建对应的nacos的多环境配置
注意事项 其中DataID属性命名有规范 prefix默认使用${spring.application.name}也可以通过spring.cloud.nacos.config.prefix来配置。spring.profile.active即为当前环境对应的 profile详情可以参考 Spring Boot文档。 注意当 spring.profile.active 为空时对应的连接符 - 也将不存在dataId 的拼接格式变成 prefix.{prefix}.prefix.{file-extension}file-exetension为配置内容的数据格式可以通过配置项 spring.cloud.nacos.config.file-extension 来配置。目前只支持 properties 和 yaml 类型。 4.1.3 整体思路
目标 把黑马头条的app端相关的微服务部署到192.168.200.100这台服务器上 4.2 服务集成Docker配置
目标 部署的每一个微服务都是先创建docker镜像后创建对应容器启动 方式一 本地微服务打包以后上传到服务器编写Dockerfile文件完成。 方式二 使用dockerfile-maven-plugin插件可以直接把微服务创建为镜像使用更省事
服务集成Docker配置
每个微服务都引入该依赖,以heima-leadnews-user微服务为例
?xml version1.0 encodingUTF-8?
project xmlnshttp://maven.apache.org/POM/4.0.0xmlns:xsihttp://www.w3.org/2001/XMLSchema-instancexsi:schemaLocationhttp://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsdparentartifactIdheima-leadnews-service/artifactIdgroupIdcom.heima/groupIdversion1.0-SNAPSHOT/version/parentmodelVersion4.0.0/modelVersionartifactIdheima-leadnews-user/artifactIdpropertiesmaven.compiler.source8/maven.compiler.sourcemaven.compiler.target8/maven.compiler.targetdocker.imagedocker_storage/docker.image/propertiesbuildfinalNameheima-leadnews-user/finalNamepluginsplugingroupIdorg.springframework.boot/groupIdartifactIdspring-boot-maven-plugin/artifactIdexecutionsexecutiongoalsgoalrepackage/goal/goals/execution/executions/pluginplugingroupIdorg.apache.maven.plugins/groupIdartifactIdmaven-compiler-plugin/artifactIdversion3.7.0/versionconfigurationsource${java.version}/sourcetarget${java.version}/target/configuration/pluginplugingroupIdcom.spotify/groupIdartifactIddockerfile-maven-plugin/artifactIdversion1.3.6/versionconfigurationrepository${docker.image}/${project.artifactId}/repositorybuildArgsJAR_FILEtarget/${project.build.finalName}.jar/JAR_FILE/buildArgs/configuration/plugin/plugins/build/project服务集成Dockerfile文件
# 设置JAVA版本
FROM java:8
# 指定存储卷, 任何向/tmp写入的信息都不会记录到容器存储层
VOLUME /tmp
# 拷贝运行JAR包
ARG JAR_FILE
COPY ${JAR_FILE} app.jar
# 设置JVM运行参数 这里限定下内存大小减少开销
ENV JAVA_OPTS\
-server \
-Xms256m \
-Xmx512m \
-XX:MetaspaceSize256m \
-XX:MaxMetaspaceSize512m
#空参数方便创建容器时传参
ENV PARAMS
# 入口点 执行JAVA运行命令
ENTRYPOINT [sh,-c,java -jar $JAVA_OPTS /app.jar $PARAMS]4.3 jenkins打包配置
4.3.1 基础依赖
在微服务运行之前需要在本地仓库中先去install所依赖的jar包所以第一步应该是从git中拉取代码并且把基础的依赖部分安装到仓库中
1父工程heima-leadnews 2找到自己指定的git仓库设置用户名和密码 3把基础依赖信息安装到服务器上的本地仓库 4执行日志部分截图下面是从git中拉取代码 执行日志部分截图编译打包 执行日志部分截图执行成功 4.3.2 微服务
所有微服务打包的方式类似以heima-leadnews-user微服务为例
1新建任务 2找到自己指定的git仓库设置用户名和密码 3执行maven命令
clean install -Dmaven.test.skiptrue dockerfile:build -f heima-leadnews/heima-leadnews-service/heima-leadnews-user/pom.xml注意根据自己的实际代码路径配置
-Dmaven.test.skiptrue 跳过测试
dockerfile:build 启动dockerfile插件构建容器
-f heima-leadnews-user/pom.xml 指定需要构建的文件必须是pom4并执行shell脚本
if [ -n $(docker ps -a -f name$JOB_NAME --format {{.ID}} ) ]then#删除之前的容器docker rm -f $(docker ps -a -f name$JOB_NAME --format {{.ID}} )
fi# 清理镜像
docker image prune -f # 启动docker服务
docker run -d --nethost -e PARAMS--spring.profiles.activeprod --name $JOB_NAME docker_storage/$JOB_NAME5执行日志
拉取代码 编译打包 构建镜像 清理容器创建新的容器 4.4 部署服务到远程服务器上
目标使用jenkins192.168.200.100把微服务打包部署到192.168.200.130服务器上
4.4.1 安装配置私有仓库
对于持续集成环境的配置Jenkins会发布大量的微服务 要与多台机器进行交互 可以采用docker镜像的保存与导出功能结合SSH实现 但这样交互繁琐稳定性差 而且不便管理 这里我们通过搭建Docker的私有仓库来实现 这个有点类似GIT仓库 集中统一管理资源 由客户端拉取或更新。
1. 下载最新Registry镜像
docker pull registry:latest2. 启动Registry镜像服务
docker run -d -p 5000:5000 --name registry -v /usr/local/docker/registry:/var/lib/registry registry:latest映射5000端口 -v是将Registry内的镜像数据卷与本地文件关联 便于管理和维护Registry内的数据。
3. 查看仓库资源 访问地址http://192.168.200.100:5000/v2/_catalog
启动正常 可以看到返回
{repositories:[]}目前并没有上传镜像 显示空数据。如果上传成功 可以看到数据:
4. 配置Docker客户端 正常生产环境中使用 要配置HTTPS服务 确保安全内部开发或测试集成的局域网环境可以采用简便的方式 不做安全控制。
先确保持续集成环境的机器已安装好Docker客户端 然后做以下修改
vi /lib/systemd/system/docker.service修改内容
ExecStart/usr/bin/dockerd --insecure-registry 192.168.200.100:5000指向安装Registry的服务IP与端口。重启生效
systemctl daemon-reolad
systemctl restart docker.service4.4.2 jenkins中安装插件 4.4.3 jenkins系统配置远程服务器链接
位置Manage Jenkins–Configure System 需要添加凭证 位置Manage Jenkins–Manage CreDentials 添加链接到130服务器的用户名和密码
4.4.4 jenkins项目创建与其他微服务相同
创建项目参考之前创建过的用户微服务
4.4.5 设置参数 4.4.6 构建执行Execute shell maven命令
clean install -Dmaven.test.skiptrue dockerfile:build -f heima-leadnews/heima-leadnews-service/heima-leadnews-article/pom.xmlshell脚本
image_tag$docker_registry/docker_storage/$JOB_NAME
echo docker镜像清理
if [ -n $(docker ps -a -f name$JOB_NAME --format {{.ID}} ) ]then#删除之前的容器docker rm -f $(docker ps -a -f name$JOB_NAME --format {{.ID}} )
fi# 清理镜像
docker image prune -f # 创建TAG
docker tag docker_storage/$JOB_NAME $image_tag
echo docker镜像推送
# 推送镜像
docker push $image_tag
# 删除TAG
docker rmi $image_tag
echo docker tag 清理 4.4.7 在远程服务器上执行脚本 远程服务器执行的shell脚本
echo 拉取最新镜像
docker pull $docker_registry/docker_storage/$JOB_NAMEecho 删除清理容器镜像
if [ -n $(docker ps -a -f name$JOB_NAME --format {{.ID}} ) ]then#删除之前的容器docker rm -f $(docker ps -a -f name$JOB_NAME --format {{.ID}} )
fi# 清理镜像
docker image prune -f echo 启动容器
docker run -d --nethost -e PARAMS--spring.profiles.activeprod --name $JOB_NAME $docker_registry/docker_storage/$JOB_NAME4.4.8 构建完成以后可以登录130服务器查看是否有相关的镜像和容器
镜像
容器
4.4.9 联调测试
参考jenkins中heima-leadnews-user微服务把app端网关部署起来修改本地nginx中的配置反向代理地址为100这台服务器heima-leadnews-app.confupstream heima-app-gateway{server 192.168.200.100:51601;
}启动nginx打开页面进行测试 五、jenkins触发器配置
5.1 URL触发远程构建
触发远程构建修改jenkins的配置如下 触发构建url http://192.168.200.100:16060/job/leadnews-admin/build?token88888888
5.2 其他工程构建后触发
配置需要触发的工程
5.3 定时构建 Build periodically 定时字符串从左往右分别为 分 时 日 月 周
定时构建-定时表达式
定时字符串从左往右分别为 分 时 日 月 周
组成部分含义取值范围第一部分minute (分)0~59第二部分hour(小时)0~23第三部分day(天)1~31第四部分month(月)1~12第五部分week(周)0~70 和 7 都是表示星期天
符号H 表示一个随机数符号* 取值范围的任意值
案例
每30分钟构建一次H/30 * * * * 10:02 10:32每2个小时构建一次: H H/2 * * *每天的8点12点22点一天构建3次 (多个时间点中间用逗号隔开) 0 8,12,22 * * *每天中午12点定时构建一次 H 12 * * *每天下午18点定时构建一次 H 18 * * * 5.4 轮询SCMPoll SCM
轮询SCM是指定时扫描本地代码仓库的代码是否有变更如果代码有变更就触发项目构建。 Jenkins会定时扫描本地整个项目的代码增大系统的开销不建议使用。
