镜像即代码:基于Packer构建阿里云镜像

本文涉及的产品
云服务器 ECS,每月免费额度200元 3个月
云服务器ECS,u1 2核4GB 1个月
简介: Packer是HashiCorp推出的一款工具,旨在提供简易的方式自动化构建镜像。

什么是Packer

PackerHashiCorp推出的一款工具,旨在提供简易的方式自动化构建镜像。通过Packer,你只需要在配置文件中指明镜像构建所需的基本信息及期望安装到镜像中的软件及配置,即可通过自动化脚本构建所需的镜像。由于构建镜像的过程被固化成了配置文件,每一个步骤都清晰可见易于回溯,无需担心多次构建得到的镜像存在不一致。且镜像构建配置化后,将为测试和更新镜像带来极大的便利,大大降低运维和管理镜像的成本。

在具体介绍Packer的使用方法之前,我们先来看下以前在阿里云ECS上如何手动创建一个自定义镜像。如果对这个流程已非常熟悉,可以直接跳到通过Packer构建镜像一节。

注意:后续操作会创建一些收费资源,请注意释放和清理,如实例、公网IP、快照等。

实例规格和镜像会随着时间的推移不断更新,本文后续提到的一些规格和镜像可能会在未来下线,所以具体操作流程可以根据实际情况选择不同的规格、镜像或者其他实例相关的资源。

手动创建自定义镜像

简单起见,假设我们需要在阿里云北京地域构建一个CentOS 7.3的镜像,其中需要安装redis,其他方面无特定需求,则整个创建步骤如下所示:

  1. 打开ECS售卖页,从上到下依次选择按量付费 => 华北2(北京) => ecs.t5-lc1m1.small => 公共镜像CentOS 7.3 64位,点击页面右下方下一步:网络和安全组
  2. 继续选择专有网络 => 公网带宽 => 安全组,点击页面右下方下一步:系统配置
  3. 继续选择秘钥对,如不存在需要新建秘钥对,便于后续通过秘钥连接实例。其余配置保持默认,点击页面右下方确认订单创建实例
  4. 购买流程完成后,可在ECS控制台华北2(北京)地域看到新建的实例,稍等片刻待实例状态变成运行中。
  5. 连接并登陆新创建的实例,通过命令行安装redis。连接方式可参照使用SSH密钥对连接Linux实例一文。
  6. 安装完成后回到控制台实例列表,点击对应实例右侧更多 => 磁盘和镜像 => 创建自定义镜像,等待自定义镜像创建完成。
  7. 最后清理不需要的资源,释放实例、公网IP(如果是弹性公网IP)。如果需要,可以进一步删除VPC、安全组等仅用于测试的资源。

上述过程实际上简化了镜像内最为关键的软件及其配置部分,实际上该过程会随着镜像内需预装的软件及其配置不断扩充变得愈发复杂。通过人肉保证每一次操作都准确无误,和之前毫无偏差,会是一件非常困难的事情,更别提之后的维护和更新了。接下来我们将看到如何通过Packer自动化地完成上述镜像构建构成。

通过Packer构建镜像

如上所述,Packer通过配置文件记录镜像构建过程中所需的所有细节。如下alicloud.json便是用于完成手动创建自定义镜像一节需求所需的配置文件。

{
  "variables": {
    "access_key": "{{env `ALICLOUD_ACCESS_KEY`}}",
    "secret_key": "{{env `ALICLOUD_SECRET_KEY`}}"
  },
  "builders": [{
    "type":"alicloud-ecs",
    "access_key":"{{user `access_key`}}",
    "secret_key":"{{user `secret_key`}}",
    "region":"cn-beijing",
    "image_name":"packer_basic",
    "source_image":"centos_7_03_64_20G_alibase_20170818.vhd",
    "ssh_username":"root",
    "instance_type":"ecs.t5-lc1m1.small",
    "internet_charge_type":"PayByTraffic",
    "io_optimized":"true"
  }],
  "provisioners": [{
    "type": "shell",
    "inline": [
      "sleep 30",
      "yum install redis.x86_64 -y"
    ]
  }]
}

其中:

  1. variables中定义了builders中会用到的两个变量access_keysecret_key。 这两个变量的值取自运行时的环境变量,这是为了防止意外将AK写到配置文件中造成遗漏。
  2. builders中表明使用的是Alicloud Image Builder。该Builder用于在阿里云上创建自定义镜像。其他则为创建镜像所需要的一些信息,包括AK、地域、镜像名称、源镜像、登陆名、实例规格、公网计费方式和IO优化。
  3. provisioners定义了需要在实例内执行的操作。这里用到Shell Provisioner,表示在连接实例后执行一段shell脚本安装redis。

安装Packer的过程详见官网Getting Started,此处不再赘述。假设Packer已经安装成功,执行packer build alicloud.json完成镜像构建,整个构建过程需要耗费一些时间,构建过程中产生的日志如下所示:

alicloud-ecs output will be in this color.

==> alicloud-ecs: Prevalidating image name...
    alicloud-ecs: Found image ID: centos_7_03_64_20G_alibase_20170818.vhd
==> alicloud-ecs: Creating temporary keypair: packer_xxx
==> alicloud-ecs: Creating vpc
==> alicloud-ecs: Creating vswitch...
==> alicloud-ecs: Creating security groups...
==> alicloud-ecs: Creating instance.
==> alicloud-ecs: Allocating eip
==> alicloud-ecs: Allocated eip xxx
    alicloud-ecs: Attach keypair packer_xxx to instance: i-xxx
==> alicloud-ecs: Starting instance: i-xxx
==> alicloud-ecs: Using ssh communicator to connect: ***
==> alicloud-ecs: Waiting for SSH to become available...
==> alicloud-ecs: Connected to SSH!
==> alicloud-ecs: Provisioning with shell script: /var/folders/k_/nv2r4drx3bs08l6tcx06ndb40000gn/T/packer-shell260049331
    alicloud-ecs: Loaded plugins: fastestmirror
    alicloud-ecs: Determining fastest mirrors
    alicloud-ecs: Resolving Dependencies
    alicloud-ecs: --> Running transaction check
    alicloud-ecs: ---> Package redis.x86_64 0:3.2.12-2.el7 will be installed
    alicloud-ecs: --> Processing Dependency: libjemalloc.so.1()(64bit) for package: redis-3.2.12-2.el7.x86_64
    alicloud-ecs: --> Running transaction check
    alicloud-ecs: ---> Package jemalloc.x86_64 0:3.6.0-1.el7 will be installed
    alicloud-ecs: --> Finished Dependency Resolution
    alicloud-ecs:
    alicloud-ecs: Dependencies Resolved
    alicloud-ecs:
    alicloud-ecs: ================================================================================
    alicloud-ecs:  Package           Arch            Version                  Repository     Size
    alicloud-ecs: ================================================================================
    alicloud-ecs: Installing:
    alicloud-ecs:  redis             x86_64          3.2.12-2.el7             epel          544 k
    alicloud-ecs: Installing for dependencies:
    alicloud-ecs:  jemalloc          x86_64          3.6.0-1.el7              epel          105 k
    alicloud-ecs:
    alicloud-ecs: Transaction Summary
    alicloud-ecs: ================================================================================
    alicloud-ecs: Install  1 Package (+1 Dependent package)
    alicloud-ecs:
    alicloud-ecs: Total download size: 648 k
    alicloud-ecs: Installed size: 1.7 M
    alicloud-ecs: Downloading packages:
    alicloud-ecs: --------------------------------------------------------------------------------
    alicloud-ecs: Total                                              2.2 MB/s | 648 kB  00:00
    alicloud-ecs: Running transaction check
    alicloud-ecs: Running transaction test
    alicloud-ecs: Transaction test succeeded
    alicloud-ecs: Running transaction
    alicloud-ecs:   Installing : jemalloc-3.6.0-1.el7.x86_64                                  1/2
    alicloud-ecs:   Installing : redis-3.2.12-2.el7.x86_64                                    2/2
    alicloud-ecs:   Verifying  : redis-3.2.12-2.el7.x86_64                                    1/2
    alicloud-ecs:   Verifying  : jemalloc-3.6.0-1.el7.x86_64                                  2/2
    alicloud-ecs:
    alicloud-ecs: Installed:
    alicloud-ecs:   redis.x86_64 0:3.2.12-2.el7
    alicloud-ecs:
    alicloud-ecs: Dependency Installed:
    alicloud-ecs:   jemalloc.x86_64 0:3.6.0-1.el7
    alicloud-ecs:
    alicloud-ecs: Complete!
==> alicloud-ecs: Stopping instance: i-xxx
==> alicloud-ecs: Waiting instance stopped: i-xxx
==> alicloud-ecs: Creating image: packer_basic
    alicloud-ecs: Detach keypair packer_xxx from instance: i-xxx
==> alicloud-ecs: Cleaning up 'EIP'
==> alicloud-ecs: Cleaning up 'instance'
==> alicloud-ecs: Cleaning up 'security group'
==> alicloud-ecs: Cleaning up 'vSwitch'
==> alicloud-ecs: Cleaning up 'VPC'
==> alicloud-ecs: Deleting temporary keypair...
Build 'alicloud-ecs' finished.

==> Builds finished. The artifacts of successful builds are:
--> alicloud-ecs: Alicloud images were created:

cn-beijing: m-xxx

上述日志较为完整得给出了Packer构建过程中执行的每一个步骤:从校验参数、创建临时资源、预安装软件、创建目标资源到最后的释放临时资源,所有的过程一气呵成,而这仅仅只需预装好Packer以及定义好相应的配置文件。接下来将针对一些实际DevOps场景会用到的一些配置进行必要的说明以供参考,更多参数和样例详见Alicloud Image BuilderExamples

DevOps常用配置

镜像标签(tags)

当所要管理的镜像达到一定的数量时,对镜像进行适当的标记就变得很有必要,比如记录镜像版本号、镜像包含的应用类型等。通过为镜像打上标签是达到上述目的绝佳手段,阿里云Builder提供了tags参数以支持此类需求。如下配置文件将为最终生成的镜像和对应的快照打上version=v1.0.0app=web两个标签。

{
  "variables": {
    "access_key": "{{env `ALICLOUD_ACCESS_KEY`}}",
    "secret_key": "{{env `ALICLOUD_SECRET_KEY`}}"
  },
  "builders": [{
    "type":"alicloud-ecs",
    "access_key":"{{user `access_key`}}",
    "secret_key":"{{user `secret_key`}}",
    "region":"cn-beijing",
    "image_name":"packer_basic",
    "source_image":"centos_7_03_64_20G_alibase_20170818.vhd",
    "ssh_username":"root",
    "instance_type":"ecs.t5-lc1m1.small",
    "internet_charge_type":"PayByTraffic",
    "io_optimized":"true",
    "tags": {
      "version": "v1.0.0",
      "app": "web"
    }
  }]
}

控制台镜像列表页面和API DescribeImages均支持查询镜像时返回标签以及根据标签过滤镜像。但为镜像打上标签真正强大的地方在于能够和Terraform一起为标准化的DevOps流程提供支持。Terraform的内容超出了本文讨论的范畴,在此不再展开。这里推荐Alibaba Cloud DevOps tutorials系列教程,其中讲解了一些企业DevOps过程中的最佳实践,其中涉及Terraform和Packer的内容参见Continuous Delivery一节。

让镜像只包含系统盘(image_ignore_data_disks)

默认情况下Packer直接从实例创建镜像,而从实例创建镜像时如果包含数据盘,则镜像会同时包含数据盘快照。在构建过程中创建包含数据盘的实例通常有两种方式:一是通过image_disk_mappings设置数据盘相关参数,二是选择默认带有数据盘的实例规格。其中后者涉及的规格包含的数据盘大多为本地盘,如ecs.d1ne.2xlarge,而本地盘当前并不支持创建快照,进而也无法直接通过此类实例创建镜像。即便如此,很多场景下为了满足某些方面的性能需求,用户依然会选择这类实例规格,但实际上数据盘部分并不是必须的。此时就可以在配置文件中加上"image_ignore_data_disks": "true"实现只基于系统盘来创建镜像。

设置快照超时时间(wait_snapshot_ready_timeout)

镜像依赖于快照,而快照的创建时间依赖于磁盘大小。当磁盘较大时,创建快照所需要的时间也会相应的增加。默认情况下,轮询快照的超时时间为3600s。如果由于磁盘太大导致超时,则可以通过wait_snapshot_ready_timeout调大超时时间。

通过私网IP连接实例(ssh_private_ip)

默认情况下,Packer创建EIP并绑定到实例上,然后通过EIP对应的公网IP连接实例安装软件或执行命令。但在一些场景下,用户可以直接通过私网IP连接实例,此时公网IP就会显得多余。此时可以通过设置"ssh_private_ip": "true",该设置下Packer将不会分配EIP或者公网IP,而是直接尝试通过私网IP连接实例。

停止实例选项(disable_stop_instance)

默认情况下,Packer在执行完provisioners后,会先停止实例然后创建镜像。但如果设置了"disable_stop_instance": "true",Packer将不会主动去停止实例,而是假设配置中提供的指令会自行停止实例,以满足一些特殊场景,如Sysprep一个Windows实例。Sysprep的一个使用场景可参照修改Windows实例SID以搭建域环境

通过UserData启用WinRM

出于安全考虑,Windows镜像默认关闭了WinRM。但连接Windows实例及之后在实例内部执行命令都依赖于WinRM,所以需要在实例创建时启用WinRM,而这可以通过UserData来完成。启用WinRM的Userdata文件内容详见winrm_enable_userdata.ps1,Packer则通过配置user_data_file指定UserData文件路径。跟WinRM相关的参数还包括"communicator": "winrm""winrm_port": 5985"winrm_username": "Administrator""winrm_password": "Test1234",分别表示通过WinRM连接实例、连接端口为5985、连接时使用Administrator账户,密码采用Test1234。以下配置文件提供了基于Windows的一个简单示例:

{
  "variables": {
    "access_key": "{{env `ALICLOUD_ACCESS_KEY`}}",
    "secret_key": "{{env `ALICLOUD_SECRET_KEY`}}"
  },
  "builders": [{
    "type":"alicloud-ecs",
    "access_key":"{{user `access_key`}}",
    "secret_key":"{{user `secret_key`}}",
    "region":"cn-beijing",
    "image_name":"packer_test",
    "source_image":"win2008r2_64_ent_sp1_zh-cn_40G_alibase_20181220.vhd",
    "instance_type":"ecs.n1.tiny",
    "io_optimized":"true",
    "internet_charge_type":"PayByTraffic",
    "image_force_delete":"true",
    "communicator": "winrm",
    "winrm_port": 5985,
    "winrm_username": "Administrator",
    "winrm_password": "Test1234",
    "user_data_file": "examples/alicloud/basic/winrm_enable_userdata.ps1"
  }],
  "provisioners": [{
    "type": "powershell",
    "inline": ["dir c:\\"]
  }]
}

其中image_force_delete表示如果已存在同名镜像则先删除,并假定UserData文件在给定的相对路径下。provisioners内的指令只用做在实例内调用命令的示例,可根据实际情况填写。

从ISO到阿里云镜像

ISO文件需要在线下虚拟化环境安装完成后,生成对应格式的镜像文件再导入到阿里云(当前支持QCOW2、VHD和RAW三种格式的文件导入阿里云)。如果线下环境为qemu,可参照使用Packer创建并导入本地镜像一文。其中包含两个重要的部分,首先需要使用对应虚拟化环境或软件对应的Builder,如上文中使用的是Qemu Builder。其次,通过定义Alicloud Import Post-Processor将前面生成的镜像文件导入到阿里云。

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
基于阿里云,构建一个企业web应用上云经典架构,让IT从业者体验企业级架构的实战训练。
高可用应用架构
欢迎来到“高可用应用架构”课程,本课程是“弹性计算Clouder系列认证“中的阶段四课程。本课程重点向您阐述了云服务器ECS的高可用部署方案,包含了弹性公网IP和负载均衡的概念及操作,通过本课程的学习您将了解在平时工作中,如何利用负载均衡和多台云服务器组建高可用应用架构,并通过弹性公网IP的方式对外提供稳定的互联网接入,使得您的网站更加稳定的同时可以接受更多人访问,掌握在阿里云上构建企业级大流量网站场景的方法。 学习完本课程后,您将能够: 理解高可用架构的含义并掌握基本实现方法 理解弹性公网IP的概念、功能以及应用场景 理解负载均衡的概念、功能以及应用场景 掌握网站高并发时如何处理的基本思路 完成多台Web服务器的负载均衡,从而实现高可用、高并发流量架构
目录
相关文章
|
3天前
|
弹性计算 自然语言处理 开发工具
基于阿里云向量检索 Milvus 版和 LangChain 快速构建 LLM 问答系统
本文介绍如何通过整合阿里云Milvus、阿里云DashScope Embedding模型与阿里云PAI(EAS)模型服务,构建一个由LLM(大型语言模型)驱动的问题解答应用,并着重演示了如何搭建基于这些技术的RAG对话系统。
|
2天前
|
安全 Devops 测试技术
深入了解阿里云云效DevOps:构建高效软件开发实践
阿里云云效DevOps,集成CI/CD与自动化测试,提升开发效率。支持持续集成确保代码质量,自动化测试加速交付,多环境及灰度发布保障安全可靠性。助团队构建高效开发实践,增强竞争力。
8 1
|
5天前
|
Java Linux 数据安全/隐私保护
Docker自定义JDK镜像并拉取至阿里云镜像仓库全攻略
Docker自定义JDK镜像并拉取至阿里云镜像仓库全攻略
|
14天前
|
人工智能 自然语言处理 IDE
如何让阿里云AI001号员工帮我写代码(含IDEA插件使用)
AI 智能时代,将改变所有人的思维方式,学习方式,更注重人的创造力和思考力,如果你懒,你将会被 AI 替代,如果你只想干简单不用动脑的活,你将会被 AI 替代,如果你只会打螺丝,更会被 AI 替代。当下的 AI 人工智能时代,被认为是第四次工业革命的到来,我们更应该看到的是机会,而非跳进焦虑、困惑、悲观的一群人潮中。
|
14天前
|
SQL DataWorks Java
DataWorks操作报错合集之在阿里云 DataWorks 中,代码在开发测试阶段能够成功运行,但在提交后失败并报错“不支持https”如何解决
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
26 1
DataWorks操作报错合集之在阿里云 DataWorks 中,代码在开发测试阶段能够成功运行,但在提交后失败并报错“不支持https”如何解决
|
15天前
|
弹性计算 JSON 运维
Serverless 应用引擎产品使用之阿里云serverless的s deploy,本地的代码编译后的镜像无法推送上去如何解决
阿里云Serverless 应用引擎(SAE)提供了完整的微服务应用生命周期管理能力,包括应用部署、服务治理、开发运维、资源管理等功能,并通过扩展功能支持多环境管理、API Gateway、事件驱动等高级应用场景,帮助企业快速构建、部署、运维和扩展微服务架构,实现Serverless化的应用部署与运维模式。以下是对SAE产品使用合集的概述,包括应用管理、服务治理、开发运维、资源管理等方面。
30 0
|
15天前
|
运维 IDE Serverless
Serverless 应用引擎产品使用之阿里函数计算中,阿里云容器镜像服务(Container Registry)中创建自定义镜像,然后将其部署到FC上如何解决
阿里云Serverless 应用引擎(SAE)提供了完整的微服务应用生命周期管理能力,包括应用部署、服务治理、开发运维、资源管理等功能,并通过扩展功能支持多环境管理、API Gateway、事件驱动等高级应用场景,帮助企业快速构建、部署、运维和扩展微服务架构,实现Serverless化的应用部署与运维模式。以下是对SAE产品使用合集的概述,包括应用管理、服务治理、开发运维、资源管理等方面。
29 0
|
15天前
|
关系型数据库 Serverless 异构计算
Serverless 应用引擎产品使用之在阿里云函数计算中使用包含GPU的实例并且镜像超过10GB了如何解决
阿里云Serverless 应用引擎(SAE)提供了完整的微服务应用生命周期管理能力,包括应用部署、服务治理、开发运维、资源管理等功能,并通过扩展功能支持多环境管理、API Gateway、事件驱动等高级应用场景,帮助企业快速构建、部署、运维和扩展微服务架构,实现Serverless化的应用部署与运维模式。以下是对SAE产品使用合集的概述,包括应用管理、服务治理、开发运维、资源管理等方面。
33 0
|
3天前
|
弹性计算 运维 监控
解密阿里云弹性计算:探索云服务器ECS的核心功能
阿里云ECS是核心计算服务,提供弹性云服务器资源,支持实例按需配置、集群管理和监控,集成安全防护,确保服务稳定、安全,助力高效业务运营。
20 0
|
12天前
|
存储 弹性计算 固态存储
阿里云服务器CPU内存配置详细指南,如何选择合适云服务器配置?
阿里云服务器配置选择涉及CPU、内存、公网带宽和磁盘。个人开发者或中小企业推荐使用轻量应用服务器或ECS经济型e实例,如2核2G3M配置,适合低流量网站。企业用户则应选择企业级独享型ECS,如通用算力型u1、计算型c7或通用型g7,至少2核4G配置,公网带宽建议5M,系统盘可选SSD或ESSD云盘。选择时考虑实际应用需求和性能稳定性。
123 6

热门文章

最新文章


http://www.vxiaotou.com