找回密码
 立即注册

QQ登录

只需一步,快速开始

七牛云迁移阿里云Oss配置文件

领券优惠购买阿里云
七牛云迁移阿里云时需要用到ossimport,分享下其配置文件
  1. #是否打开增量模式,如果设为true,会每间隔incrementalModeInterval(单位秒)重新扫描一次增量数据,并将增量数据同步到oss上,incrementalModeInterval不建议配置成小于3600秒的值,会浪费很多请求次数,造成额外的开销(目前可配置的最小间隔为900秒)
  2. isIncremental=false
  3. incrementalModeInterval=86400

  4. ##############################################################同步源端设置##############################################################
  5. #同步源类型,目前支持:
  6. #1.local(本地文件,此选项只需要填写srcPrefix,不需要填写srcAccessKey,srcSecretKey,srcDomain,srcBucket)
  7. #2.oss(从oss的一个bucket迁移到另一个bucket)
  8. #3.qiniu(七牛)
  9. #4.bos(百度的云存储)
  10. #5.ks3(金山的云存储)
  11. #6.s3(亚马逊s3)
  12. #7.youpai(又拍云,又拍云获取文件列表的接口比较特殊,在同步时list不支持断点,因此在list没有完成时杀掉同步进程会导致下次会重新全部list文件列表)
  13. #8.http (通过提供的http链接列表同步数据,此选项不需要填写srcAccessKey,srcSecretKey,srcDomain,srcBucket,srcPrefix)
  14. #9.cos(腾讯云)
  15. #10.azure(微软blob)
  16. srcType=qiniu

  17. #源access key,同步本地文件以及通过http地址同步的不需要填,大部分云平台填写控制台获取的acceess key/accss key id,又拍云填写操作员账号
  18. srcAccessKey=xxxxx

  19. #源secrect key,同步本地文件以及通过http地址同步的不需要填,大部分云平台填写控制台获取的secret key/access key secret,又拍云填写操作员密码
  20. srcSecretKey=xxxx

  21. #源endpoint,同步本地文件以及通过http地址同步的不需要填
  22. #1.oss: 从控制台获取域名(非带bucket前缀的二级域名),域名列表参考https://help.aliyun.com/document_detail/31834.html; 例:"srcDomain=http://oss-cn-hangzhou-internal.aliyuncs.com"; 如果用阿里云ecs虚拟机做迁移的,请使用internal域名,不计费且不受虚拟机带宽限制(非虚拟机无法使用);例:http://oss-cn-hangzhou-internal.aliyuncs.com
  23. #2.七牛: 从七牛控制台获取对应bucket的域名-注意是Cdn域名
  24. #3.百度bos: http://bj.bcebos.com或者http://gz.bcebos.com
  25. #4.金山ks3: http://kss.ksyun.com或者http://ks3-cn-beijing.ksyun.com或者http://ks3-us-west-1.ksyun.com
  26. #5.亚马逊s3: 各个region的地址请参考http://docs.aws.amazon.com/general/latest/gr/rande.html#s3_region
  27. #6.又拍云:  http://v0.api.upyun.com(自动判断最优线路)或者http://v1.api.upyun.com(电信线路)或者http://v2.api.upyun.com(联通网通线路)或者http://v3.api.upyun.com(移动铁通线路)
  28. #7.腾讯云: cos v3版本不需要填写;cos v4版本需要填上bucket所在的区域,比如华南园区填写:gz,华北园区:tj,华东园区:sh
  29. #8.微软blob: 连接字符串中的EndpointSuffix,如core.chinacloudapi.cn
  30. srcDomain=http://image.xmspace.net

  31. #源bucket名字,同步本地文件以及通过http地址同步的不需要填,不需要加上"/";微软blob填container名称
  32. srcBucket=xmspace

  33. #源前缀,默认为空,如果srcType=local,则此目录是本地目录,如果是其他类型,则是源Bucket里需要同步的Object的前缀,注意如果是本地目录,需要完整目录路径(以'/'进行分割并且以'/'结尾,例: c:/example/)
  34. srcPrefix=

  35. ##############################################################同步目的端设置################################################################
  36. #目的 access key
  37. destAccessKey=xxxx

  38. #目的 secret key
  39. destSecretKey=xxxx

  40. #目的endpoint,请根据您的实际oss区域填写,默认为杭州的域名,如果用阿里云ecs虚拟机做迁移的,请使用internal域名,不计费且不受虚拟机带宽限制(非虚拟机无法使用);例:http://oss-cn-hangzhou-internal.aliyuncs.com
  41. #注意:域名里不要带上bucket前缀,oss域名帮助页面:https://help.aliyun.com/document_detail/31837.html
  42. destDomain=http://oss-cn-shanghai-internal.aliyuncs.com

  43. #目的bucket,不需要加上"/"
  44. destBucket=xmspace-att

  45. #目标前缀,默认为空,直接放在bucket下(如果要将数据同步到oss的某个目录下,请以'/'结尾),注意:oss不支持以 '/' 作为文件的开头,所以destPrefix请不要配置以'/'做为开头
  46. #一个本地文件路径为 srcPrefix + relativePath的文件,迁移到oss的路径为destDomain/destBucket/destPrefix + relativePath
  47. #一个云端文件路径为 srcDomain/srcBucket/srcPrefix + relativePath的文件,迁移到oss的路径为destDomain/destBucket/destPrefix + relativePath
  48. destPrefix=

  49. ##############################################################srcType=cos时的配置项###########################################################
  50. #腾讯云的appId
  51. appId=0

  52. ##############################################################srcType=http时的配置选项########################################################
  53. #srcType="http"时,需要提供http列表文件的绝对路径,此文件中的http链接需要划分成两列,分别代表前缀以及上传到oss后的相对路径
  54. #例,有一个完整的http链接是127.0.0.1/aa/bb.jpg,不同的切分方法最后会导致上传到oss的路径会不一样:
  55. #c:/example/http.list文件内容:
  56. #127.0.0.1/aa/              bb.jpg
  57. #127.0.0.1/                   aa/bb.jpg
  58. # 第一行的文件导入到oss后的路径为 "destDomain/destBucket/destPrefix" + "bb.jpg"
  59. # 第二行的文件导入到oss后的路径为 "destDomain/destBucket/destPrefix" + "aa/bb.jpg"

  60. httpListFilePath=c:/example/http.list
  61. httpPrefixColumn=1
  62. relativePathColumn=2

  63. ##############################################################任务配置,没有特殊需求不需要修改#################################################
  64. #job名字,每个任务唯一,单机模式下请不要修改此项
  65. jobName=local_test

  66. #job类型(import/audit),import为同步数据到oss,audit为校验源端数据和oss数据是否一致
  67. jobType=import

  68. #只导入源文件最后修改时间大于该时间的数据,默认为0,这个时间为unix时间戳(秒数)
  69. importSince=0

  70. #在校验时,如果文件的最后修改时间大于该值,则跳过此文件的校验,默认值0为关闭该功能,所有文件都需要校验,这个时间为unix时间戳(秒数),jobType为audit时此项不生效
  71. lastModify=0

  72. #数据迁移时,是否跳过已经存在的文件。当设置为true时,根据文件的size和LastModifiedTime判断是否跳过;为false时,总是覆盖OSS上已有文件。jobType为audit时此项不生效。
  73. isSkipExistFile=true

  74. # 每个子任务最大的文件个数限制,这个会影响到任务执行的并行度,一般配置为总的文件数/120
  75. taskObjectCountLimit=1000

  76. #每个子任务下载的最大文件大小限制(bytes)
  77. taskObjectSizeLimit=1000000000

  78. #并行扫描文件列表的线程数,只影响扫描文件的效率,没有特殊需求不要修改
  79. scanThreadCount=1

  80. #最大允许并行扫描目录的深度,默认为1就是只能在顶级目录间并行扫描,没有特殊需求不要修改,随意配置的过大会导致任务无法正常运行
  81. maxMultiThreadScanDepth=1

  82. #大于该值的文件使用分片上传,否则使用普通上传,请配置大于1MB以上;有效配置值如:50m/1024m/5g
  83. multipartUploadThreshold=150m

  84. #分配上传时分片大小,请配置大于100k的数据,否则无效,采用默认值50MB;有效配置值如:500k/50m/2g
  85. multipartUploadPartSize=50m

  86. #单个大文件分片上传并发数,默认超过150MB为大文件,分片为50MB,srcType=local时有效,其它情况该配置项无效
  87. #uploadThreadNumPerLargeFile大于1时,workerRecordMd5无效
  88. uploadThreadNumPerLargeFile=3

  89. #存储在OSS上的数据否加密,默认不加密
  90. isServerSideEncryption=false

  91. #local模式时,链接文件是否上传,默认不上传;该选择仅支持链接文件不包括链接目录
  92. isAllowSymbolicLink=false

  93. # 七牛云存储获取Meta的方式,有效值head和stat,默认使用stat;head通过HTTP HEAD请求获取,stat通过BucketManager.stat
  94. getObjectMetaMode=stat

  95. #数据迁移后是否进行数据的正确性校验,默认校验
  96. isAuditAfterImport=true

  97. #数据校验方式,有效值为simple/general/detailed,默认值general;simple只校验文件的size,general校验文件的size/lastModify/header,detailed检验文件的CRC或MD5,开发
  98. auditMode=general
复制代码



本教程由无限星辰工作室CRX349独家整理和提供,转载请注明地址,谢谢。本文地址:https://www.xmspace.net/thread-849-1-1.html
无限星辰工作室  好集导航 Discuz全集下载  星辰站长网  集热爱361  一品文学  手机小游戏合集   海外空间网 星辰api  星辰支付二维码管理平台 阿里云服务器 腾讯云服务器
服务Discuz!建站|DiscuzQ配置|二开|小程序|APP|搬家|挂马清理|防护|Win/Linux环境搭建|优化|运维|
服务理念:专业 诚信 友好QQ842062626 服务项目 Q群315524225
发表于 2020-10-12 14:53:00 | 显示全部楼层 |阅读模式

回复 | 使用道具 举报

该帖共收到 0 条回复!
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

美图秀

    • Discuz!x3.2-3.4 登陆错误次数永远4次bug修
    • Nextcloud 出现 请求过多 解决方案
    • Win10下 Python虚拟环境搭建
    • VirtualBOX 迁移到Proxmox 注意事项
    • Let’s Encrypt泛域名证书 转换为IIS用的pf
拖动客服框
Online Service
点击这里给我发消息
点击这里联系我们
微信扫一扫
在线客服
快速回复 返回顶部 返回列表