Logo

菜单

管理员
管理员
发布于 2024-12-27 / 5 阅读
0

k8s+jenkins

k8s+jenkins

系统结构

jenkins主节点部署在9.38 k8s集群3机器上面，命名空间为kube-jenkins

kubectl get pod -n kube-jenkins

9.38机器负责gogs的groovy脚本仓库，k8s调用的docker镜像仓库，Jfrog编译输出仓库，以及同时作为jenkins的从节点

除9.38以外，Jenkins还有一个目前在用的以ssh方式连接的从节点 30.246

linux节点都是master直接以ssh方式连接，而windows节点是以jar包方式启动，主动寻找master节点

构建方式

常用主要流程是调用groovy脚本进行编译，jenkins主节点直接调用运行脚本进行编译指令，如果使用的是普通从节点，则直接将任务丢给从节点运行；如果调用k8s，则根据pod模板拉取镜像仓库的现有镜像，在k8s集群中拉起容器，以从节点方式连接主jenkins，在任务完成后销毁，上传编译包到JFrog

三种不同的连接方式：

1.jar包方式连接主节点

2.ssh方式连接

3.拉取k8s镜像

从节点编译过程

k8s节点编译过程

jenkins项目示例

机器人底层

以E1003D_master_daily_build项目为例，这是一个通过ssh连接从节点的不通过k8s方式构建的编译项目，

使用groovy脚本编译

@Library('CI_Script')

import com.yijiahe.www.robotBuild;

def robot = 'E100'
def arch = 'x86_64'
def branch = 'master'
def distro = '14.04'
def clean = params.CLEAN

def robotBuild = new robotBuild()
print robotBuild
timestamps{
    robotBuild.robotAutoBuildWithoutK8s(robot, arch, branch, distro, clean, BUILD_NUMBER)
}

robotBuild.robotAutoBuildWithoutK8s即是本次调用的脚本方法，我们只需要在脚本仓库http://192.168.9.38:13000/gogs/CI_Script_K8s里找到robotBuild文件，里的robotAutoBuildWithoutK8s方法，就能修改其编译方式。

robotAutoBuildWithoutK8s是机器人ros编译方式，通过ubuntu14.04的环境构建机器人本体代码打包，在启动时会先连接30.246（ubuntu14.04）从节点，在从节点运行脚本编译，最后输出到artifactory目录里面。

机器人java示例

以n100_robot_backend_gitlab_daily_build为例，这是一个通过k8s启动镜像容器方式编译的java程序，

@Library('CI_Script')

import com.yijiahe.www.build;
import com.yijiahe.www.base;


project = [
    'name' : 'n100_robot_backend_gitlab',
    'branch' : params.BRANCH,
    'language' : 'java',
    'webhookUrl' : '',
    'profile' : '',
    'buildTask' : 'createDeb',
    'manuallyTrigger' : params.MANUALLY
]

def build = new build()
timestamps{
    build.submoduleAutoBuild(project.name, project.branch, project.language, project.webhookUrl, project.profile, project.buildTask, project.manuallyTrigger)
}

使用了build类里submoduleAutoBuild的方法编译，buildProfile里声明了n100_robot_backend_gitlab的编译使用的镜像和编译工具等

'n100_robot_backend_gitlab' : [
            'label' : 'GRADLE_JAVA11',
            'image' : '192.168.9.38:18082/yijiahe/jnlp-slave:gradle_java17_launch4j',
            'gitUrl' : 'ssh://git@192.168.9.61:10022/n100/robot/robot_backend.git',
            'branch' : branch,
            'buildTool' : 'gradle',
            'pom' : '',
            'buildFile' : 'build.gradle',
            'verFile' : '',
            'mergeDir' : 'src/main/resources/static/',
            'artifactDir' : 'build/libs/',
            'artifactName' : 'ncrobotbb_*_arm64.deb',
            'artifactTar' : 'ncrobotbb_*_arm64.deb',
            'artifactory' : "N100Robot/${project}"
        ]

可以看出，其在192.168.9.38:18082的镜像仓库中拉取了名为jnlp-slave:gradle_java17_launch4j的镜像，并且使用k8s创建了一个pod

在其编译过程中，我们可以在9.48的k8s里

kubectl get pod -n kube-jenkins

看到启动了一个新的k8s pod

在jenkins里能够看到多了一个从节点

而在任务完成后，能够自动销毁

jenkins

jenkins报错No ECDSA

expected to call com.yijiahe.www.base.gitCheckout but wound up catching checkout; see: https://jenkins.io/redirect/pipeline-cps-method-mismatches/
 The recommended git tool is: NONE
 using credential git2023
 Fetching changes from the remote Git repository
 Cleaning workspace
 ERROR: Error fetching remote repo 'origin'
 hudson.plugins.git.GitException: Failed to fetch from ssh://git@192.168.9.61:10022/z200/Robot.git
 	at hudson.plugins.git.GitSCM.fetchFrom(GitSCM.java:1003)
 	at hudson.plugins.git.GitSCM.retrieveChanges(GitSCM.java:1244)
 	at hudson.plugins.git.GitSCM.checkout(GitSCM.java:1308)
 	at org.jenkinsci.plugins.workflow.steps.scm.SCMStep.checkout(SCMStep.java:129)
 	at org.jenkinsci.plugins.workflow.steps.scm.SCMStep$StepExecutionImpl.run(SCMStep.java:97)
 	at org.jenkinsci.plugins.workflow.steps.scm.SCMStep$StepExecutionImpl.run(SCMStep.java:84)
 	at org.jenkinsci.plugins.workflow.steps.SynchronousNonBlockingStepExecution.lambda$start$0(SynchronousNonBlockingStepExecution.java:47)
 	at java.base/java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:515)
 	at java.base/java.util.concurrent.FutureTask.run(FutureTask.java:264)
 	at java.base/java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1128)
 	at java.base/java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:628)
 	at java.base/java.lang.Thread.run(Thread.java:829)
 Caused by: hudson.plugins.git.GitException: Command "git fetch --tags --force --progress -- ssh://git@192.168.9.61:10022/z200/Robot.git +refs/heads/*:refs/remotes/origin/*" returned status code 128:
 stdout: 
 stderr: No ECDSA host key is known for [192.168.9.61]:10022 and you have requested strict checking.
 Host key verification failed.
 fatal: Could not read from remote repository.

报错No ECDSA host key 的时候网络上都是说使用

 ssh-keyscan -t ecdsa -p 10022  192.168.9.61 >> ~/.ssh/known_hosts

ssh-copy-id -i ~/.ssh/id_rsa.pub -p 10022 git@192.168.9.61

再用

 ssh -T -p 10022 -i .ssh/id_rsa git@192.168.9.61

测试联通性，但是这只适用于单机jenkins部署，然而我们的jenkins是部署在k8s，并且与k8s镜像同时使用的，如果要修改镜像就很麻烦，可以以jenkins使用配置文件来写死

选择手动配置known host文件，把上面的主机生成的

~/.ssh/known_hosts文件里的内容复制进来

这样就不用管系统了。

还可以将[Git client plugin ]降级到3.11.0，这样校验就不严格了

jenkins编译返回的地址无法显示

直接显示为

<div>存储地址:<a href="http://192.168.9.38:8082/artifactory/N100Robot/n100_robot_backend_gitlab/dev/2023/11/20/171505/" rel="nofollow noopener noreferrer">http://192.168.9.38:8082/artifactory/N100Robot/n100_robot_backend_gitlab/dev/2023/11/20/171505/</a></div>

这是编译完成后直接返回的html，但是它并没有转义成页面，这是因为

需要将标记格式器改为safe HTML格式才能显示html