找回密码
 立即注册

QQ登录

只需一步,快速开始

免费咨询热线:13559213891

阿里云 OSS 跨账号迁移实例

领券优惠购买阿里云
需求:A账号下 有OSS附件 需要迁移到 B账号下 ,A账号oss在杭州 B账号oss在青岛
操作环境 : 推荐 阿里云ECS云服务器  Centos7.x x64以上版本
操作方法:
1.使用阿里云的Ossimport工具,
单机模式:当您需要迁移的数据小于30TB时,推荐部署单机模式。您可以将ossimport部署在任意一台可以访问您待迁移数据,且可以访问OSS的机器上。下载地址
分布式模式:当您需要迁移的数据大于30TB时,推荐使用分布式模式。您可以将ossimport部署在任意多台可以访问您待迁移数据,且可以访问OSS的机器上。下载地址
2.安装java
  1. yum install -y java
复制代码

3.下载工具,解压缩
工具文件结构
ossimport
├── bin
│ └── ossimport2.jar  # 包括Master、Worker、Tracker、Console四个模块的总jar
├── conf
│ ├── local_job.cfg   # 单机Job配置文件
│ └── sys.properties  # 系统运行参数配置文件
├── console.bat         # Windows命令行,可以分布执行调入任务
├── console.sh          # Linux命令行,可以分布执行调入任务
├── import.bat          # Windows一键导入,执行配置文件为conf/local_job.cfg配置的数据迁移任务,包括启动、迁移、校验、重试
├── import.sh           # Linux一键导入,执行配置文件为conf/local_job.cfg配置的数据迁移任务,包括启动、迁移、校验、重试
├── logs                # 日志目录
└── README.md           # 说明文档,强烈建议使用前仔细阅读

其中:

Job:用户通过提交的数据迁移任务,对用户来说一个任务对应一个配置文件job.cfg。

Task:Job按照 “数据大小” 和 “文件个数” 可以分成多个 Task ,每个 Task 迁移部分文件。Job切分成Task的最小单位是文件,同一个文件不会切分到多个Task中。

注意:
执行命令时请保证工作目录为 import.sh 的同级目录,即直接执行 bash import.sh

4.修改local_job.cfg
  1. isIncremental=false #不开启增量模式

  2. srcAccessKey=ADSCVSDdc8OOFwececHd5  #配置源oss的access key
  3. srcSecretKey=fjOKSDksdxceca8O57wdmPV    #配置源oss的SecretKey
  4. srcDomain=http://oss-cn-hangzhou-internal.aliyuncs.com  #配置源oss的内网地址(和操作的ECS服务器在一个区域时填)
  5. srcBucket=abcimg    #配置源Bucket名称
  6. srcPrefix=

  7. destAccessKey=LTAIabQkcs7sxZqMd #配置目标access key
  8. destSecretKey=aPKlasdfickv9wsd23ZOUKo4sd    #配置目标secret key
  9. destDomain=http://oss-cn-hangzhou-internal.aliyuncs.com #配置目标oss的内网地址(和操作的ECS服务器在一个区域时填)
  10. destBucket=abcoss   #配置目标bucket名称
  11. destPrefix=
复制代码


如不指定同步目录请 srcPrefix和destPrefix设置 为空

如果ECS和OSS不在一个区域,注意源地址或目标地址记得填外网地址(会有流量费用),否则会执行是 一直循环DispatchedTasks 不报错且不同步文件(跑几天都还是一个样,完全是个天大的BUG)。
5.执行迁移
  1. cd /root/ossimport
  2. /bin/bash import.sh
复制代码


提示:

Job运行信息,可以查看log/ossimport2.log。
Task的失败原因,可以查看master/jobs/${JobName}/failed_tasks/${TaskName}/audit.log。
Task的失败文件,可以查看master/jobs/${JobName}/failed_tasks/${TaskName}/error.list。

本教程由无限星辰工作室CRX349独家整理和提供,转载请注明地址,谢谢。本文地址:https://www.xmspace.net/thread-819-1-1.html
无限星辰工作室 www.xmspace.net 星辰云擎 monitor.xmwxxc.com 星辰加密 phpjm.xmwxxc.com
服务Discuz!建站|搬家|运维|挂马防护|Win Linux网站环境(lanmp)架设优化|服务器安全维护|解决CPU100|解决论坛卡顿|Thinkphp定制开发|App开发|微擎运维|小程序开发|Cms/Cmf二开
服务理念:专业 诚信 友好QQ842062626 服务项目 http://www.xmspace.net/service.php Discuz!交流群 315524225
发表于 2020-3-26 23:46:36 | 显示全部楼层 |阅读模式

回复 | 使用道具 举报

该帖共收到 0 条回复!
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

美图秀

    • VsCode下Python 报python from import 错误
    • modoer 3.6搬家并更换域名
    • 阿里云Centos8 Error: Failed to synchroni
    • Win2019下VirtualBox虚拟环境开机自动运行
    • Discuz! 贴内通栏广告修改
拖动客服框
Online Service
点击这里给我发消息
点击这里联系我们
微信扫一扫
在线客服
快速回复 返回顶部 返回列表