当前位置:首页 > 技术 > 正文内容

使用PVC优化Argo Workflow中的文件共享

访客 技术 2026年7月18日 2
在Argo Workflow中,除了通过artifact实现步骤间文件共享外,还可以利用PVC(Persistent Volume Claim)来提高效率和简化流程。本文将详细介绍如何通过PVC实现高效的文件共享。

1. 背景介绍

传统上,我们可以通过artifact机制在不同步骤之间传递文件,但这种方式依赖S3等存储服务作为中转站,效率较低且更适合用于最终结果的输出。相比之下,PVC提供了一种更直接、高效的方式,允许多个步骤共享同一个卷。

2. Artifact方式回顾

以下是一个基于artifact的文件传递示例:

apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:
  generateName: artifact-passing-
spec:
  entrypoint: artifact-example
  templates:
    - name: artifact-example
      steps:
        - - name: generate-artifact
            template: whalesay
        - - name: consume-artifact
            template: print-message
            arguments:
              artifacts:
                - name: message
                  from: "{{steps.generate-artifact.outputs.artifacts.hello-art}}"
    - name: whalesay
      container:
        image: docker/whalesay:latest
        command: [sh, -c]
        args: ["cowsay hello world | tee /tmp/hello_world.txt"]
      outputs:
        artifacts:
          - name: hello-art
            path: /tmp/hello_world.txt
    - name: print-message
      inputs:
        artifacts:
          - name: message
            path: /tmp/message
      container:
        image: alpine:latest
        command: [sh, -c]
        args: ["cat /tmp/message"]
可以看到,artifact方式需要定义输入输出,并通过特定路径进行文件传递。

3. 使用PVC进行高效文件共享

动态创建PVC

通过在Workflow中定义volumeClaimTemplates,可以在运行时动态创建并销毁PVC。以下是一个完整示例:

apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:
  generateName: volumes-pvc-
spec:
  entrypoint: volumes-pvc-example
  volumeClaimTemplates:
    - metadata:
        name: workdir
      spec:
        accessModes: ["ReadWriteOnce"]
        resources:
          requests:
            storage: 1Gi
  templates:
    - name: volumes-pvc-example
      steps:
        - - name: generate
            template: create-message
        - - name: print
            template: display-message
    - name: create-message
      container:
        image: busybox:latest
        command: [sh, -c]
        args: ["echo 'Hello PVC' > /data/output.txt"]
        volumeMounts:
          - name: workdir
            mountPath: /data
    - name: display-message
      container:
        image: busybox:latest
        command: [sh, -c]
        args: ["cat /data/output.txt"]
        volumeMounts:
          - name: workdir
            mountPath: /data
在这个例子中,我们定义了一个名为workdir的PVC模板,所有步骤都可以挂载它以访问共享数据。

使用已有PVC

如果希望复用现有的PVC,可以按照以下方式配置:

# 定义现有PVC
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: existing-volume
spec:
  accessModes: ["ReadWriteOnce"]
  resources:
    requests:
      storage: 1Gi

---
apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:
  generateName: volumes-existing-
spec:
  entrypoint: volumes-existing-example
  volumes:
    - name: workdir
      persistentVolumeClaim:
        claimName: existing-volume
  templates:
    - name: volumes-existing-example
      steps:
        - - name: generate
            template: create-message
        - - name: print
            template: display-message
    - name: create-message
      container:
        image: busybox:latest
        command: [sh, -c]
        args: ["echo 'Reusing Existing PVC' > /data/output.txt"]
        volumeMounts:
          - name: workdir
            mountPath: /data
    - name: display-message
      container:
        image: busybox:latest
        command: [sh, -c]
        args: ["cat /data/output.txt"]
        volumeMounts:
          - name: workdir
            mountPath: /data
此配置通过指定existing-volume实现了对已有PVC的复用。

4. 总结

本文介绍了两种基于PVC的文件共享方法:动态创建和复用已有PVC。这两种方式相比传统的artifact机制更加高效和灵活,适合需要频繁交互或大量数据传输的场景。
标签: argoKubernetes

相关文章

Linux crontab 详解

1) crontab 是什么cron 是 Linux 的定时任务守护进程;crontab 是用来编辑/查看“按时间周期执行命令”的表(cron table)。常见两类:用户 crontab:每个用户一份(crontab -e 编辑)系统级 crontab / cron.d:可指定执行用户(/etc/crontab、/etc/cron.d/*)2) crontab 时间...

富文本里可以允许的 HTML 属性

一、所有标签默认允许的安全属性(极少)class        (可选)id           (通常建议禁用)title️ 注意:id 容易被滥用做锚点注入,很多系统直接禁用class 允许的话最好只允许固定前缀(如 editor-*)二、a 标签允许属性<a href="" t...

Mac 安装 Node.js 指南

方法一:通过官网安装包(最简单,适合初学者)如果你只是想快速安装并开始使用,这是最直接的方法。访问 Node.js 官网。页面会显示两个版本:LTS (Recommended For Most Users):长期支持版,最稳定。建议选这个。Current:最新特性版,包含最新功能但可能不够稳定。下载 .pkg 安装包并运行。按照安装向导点击“下一步”即可完成。方法二:使用 Homebrew 安装(...

Dom\HTML_NO_DEFAULT_NS 的副作用:自动加闭合标签

在使用Dom\HTMLDocument时,Dom\HTML_NO_DEFAULT_NS 将禁止在解析过程中设置元素的命名空间, 此设置是为了与DOMDocument向后兼容而存在的。当使用它时,已知的一个副作用就是:自动加闭合标签例如 </img> 为什么会这样?当你使用:Dom\HTML_NO_DEFAULT_NS文档会变成 无命名空间模式,此时内部更接近 XML...

Laravel 事件和监听器创建

在 Laravel 中,使用 Artisan 命令创建 Events(事件) 和 Listeners(监听器) 是非常高效的。你可以通过以下几种方式来实现:1. 手动创建单个 Event如果你只想创建一个事件类,可以使用 make:event 命令:Bashphp artisan make:event UserRegistered执行后,文件将生成在 app/Even...

自定义域名解析神器 dnsmasq

什么是 dnsmasq?dnsmasq 是一个轻量级、功能强大的网络服务工具,专为小型和中等规模网络设计。它是一个综合的网络基础设施解决方案[1]。dnsmasq 能做什么?功能说明应用场景DNS 转发与缓存将 DNS 查询转发到上游服务器(ISP、Google DNS 等),并在本地缓存结果加快 DNS 查询速度,减少外部 DNS 流量本地 DNS解析本地网络设备的主机名,无需编辑&n...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。