腾讯COS数据迁移工具(COS Migration) v5.0 官方版

COS Migration是腾讯开发的一款COS数据迁移工具，软件拥有丰富的数据源文件，通过简单的配置就可以将源地址数据迁移到COS中，可以断点续传、分块上传、并行上传和迁移校验，仅支持UTF-8编码格式。需要的朋友可以下载！

软件功能

1、丰富的数据源

1)本地数据：将本地存储的数据迁移到 COS。

2)其他云存储：目前支持 AWS S3，阿里云 OSS，七牛存储迁移至 COS，后续会不断扩展 。

3)URL 列表：根据指定的 URL 下载列表进行下载迁移到 COS。

4)Bucket 相互复制：COS 的 Bucket 数据相互复制, 支持跨账号跨地域的数据复制。

2、断点续传

3、分块上传

4、并行上传

5、迁移校验

COS Migration使用教程

1. 获取工具

下载 COS Migration 工具。

2. 解压缩工具包

Windows

解压并保存到某个目录，例如

C:\Users\Administrator\Downloads\cos_migrate

迁移工具结构

正确解压后的 COS Migration 工具目录结构如下所示：

COS_Migrate_tool

|——conf #配置文件所在目录

| |——config.ini #迁移配置文件

|——db #存储迁移成功的记录

|——dep #程序主逻辑编译生成的JAR包

|——log #工具执行中生成的日志

|——opbin #用于编译的脚本

|——src #工具的源码

|——tmp #临时文件存储目录

|——pom.xml #项目配置文件

|——README #说明文档

|——start_migrate.sh #Linux 下迁移启动脚本

|——start_migrate.bat #Windows 下迁移启动脚本

说明：

db 目录主要记录工具迁移成功的文件标识，每次迁移任务会优先对比 db 中的记录，若当前文件标识已被记录，则会跳过当前文件，否则进行文件迁移。

log 目录记录着工具迁移时的所有日志，若在迁移过程中出现错误，请先查看该目录下的 error.log。

3. 修改 config.ini 配置文件

在执行迁移启动脚本之前，需先进行 config.ini 配置文件修改(路径：./conf/config.ini)，config.ini 内容可以分为以下几部分：

3.1 配置迁移类型

type 表示迁移类型，用户根据迁移需求填写对应的标识。例如，需要将本地数据迁移至 COS，则[migrateType]的配置内容是type=migrateLocal。

[migrateType]

type=migrateLocal

3.2 配置迁移任务

用户根据实际的迁移需求进行相关配置，主要包括迁移至目标 COS 信息配置及迁移任务相关配置。

# 迁移工具的公共配置分节，包含了要迁移到得目标 COS 的账户信息。

[common]

secretId=COS_SECRETID

secretKey=COS_SECRETKEY

bucketName=examplebucket-1250000000

region=ap-guangzhou

storageClass=Standard

cosPath=/

https=off

tmpFolder=./tmp

smallFileThreshold=5242880

smallFileExecutorNum=64

bigFileExecutorNum=8

entireFileMd5Attached=on

damonMode=off

damonModeInterVal=60

executeTimeWindow=00:00,24:00

3.3 配置数据源信息

根据[migrateType]的迁移类型配置相应的分节。例如[migrateType]的配置内容是type=migrateLocal, 则用户只需配置[migrateLocal]分节即可。

3.3.1 配置本地数据源 migrateLocal

若从本地迁移至 COS，则进行该部分配置，具体配置项及说明如下：

# 从本地迁移到COS配置分节

[migrateLocal]

localPath=E:\\code\\java\\workspace\\cos_migrate_tool\\test_data

exeludes=

ignoreModifiedTimeLessThanSeconds=

支持的迁移类型

1、migrateLocal：从本地迁移至 COS

2、migrateAws：从 AWS S3 本地迁移至 COS

3、migrateAli：从阿里 OSS 迁移至 COS

4、migrateQiniu：从七牛迁移至 COS

5、migrateUrl：下载 URL 迁移到 COS

6、migrateBucketCopy：从源 Bucket 复制到目标 Bucket