七牛云迁移阿里云Oss配置文件

七牛云迁移阿里云时需要用到ossimport，分享下其配置文件

1. #是否打开增量模式，如果设为true，会每间隔incrementalModeInterval(单位秒)重新扫描一次增量数据，并将增量数据同步到oss上,incrementalModeInterval不建议配置成小于3600秒的值，会浪费很多请求次数，造成额外的开销(目前可配置的最小间隔为900秒)
   
2. isIncremental=false
   
3. incrementalModeInterval=86400
   
4. 
   
5. ##############################################################同步源端设置##############################################################
   
6. #同步源类型，目前支持：
   
7. #1.local(本地文件，此选项只需要填写srcPrefix，不需要填写srcAccessKey，srcSecretKey，srcDomain，srcBucket)
   
8. #2.oss(从oss的一个bucket迁移到另一个bucket)
   
9. #3.qiniu(七牛)
   
10. #4.bos(百度的云存储)
    
11. #5.ks3(金山的云存储)
    
12. #6.s3(亚马逊s3)
    
13. #7.youpai(又拍云，又拍云获取文件列表的接口比较特殊，在同步时list不支持断点，因此在list没有完成时杀掉同步进程会导致下次会重新全部list文件列表)
    
14. #8.http (通过提供的http链接列表同步数据，此选项不需要填写srcAccessKey，srcSecretKey，srcDomain，srcBucket，srcPrefix）
    
15. #9.cos(腾讯云)
    
16. #10.azure(微软blob)
    
17. srcType=qiniu
    
18. 
    
19. #源access key,同步本地文件以及通过http地址同步的不需要填,大部分云平台填写控制台获取的acceess key/accss key id,又拍云填写操作员账号
    
20. srcAccessKey=xxxxx
    
21. 
    
22. #源secrect key,同步本地文件以及通过http地址同步的不需要填,大部分云平台填写控制台获取的secret key/access key secret,又拍云填写操作员密码
    
23. srcSecretKey=xxxx
    
24. 
    
25. #源endpoint,同步本地文件以及通过http地址同步的不需要填
    
26. #1.oss: 从控制台获取域名(非带bucket前缀的二级域名),域名列表参考https://help.aliyun.com/document_detail/31834.html; 例:"srcDomain=http://oss-cn-hangzhou-internal.aliyuncs.com"; 如果用阿里云ecs虚拟机做迁移的，请使用internal域名，不计费且不受虚拟机带宽限制(非虚拟机无法使用)；例：http://oss-cn-hangzhou-internal.aliyuncs.com
    
27. #2.七牛: 从七牛控制台获取对应bucket的域名-注意是Cdn域名
    
28. #3.百度bos: http://bj.bcebos.com或者http://gz.bcebos.com
    
29. #4.金山ks3: http://kss.ksyun.com或者http://ks3-cn-beijing.ksyun.com或者http://ks3-us-west-1.ksyun.com
    
30. #5.亚马逊s3: 各个region的地址请参考http://docs.aws.amazon.com/general/latest/gr/rande.html#s3_region
    
31. #6.又拍云:  http://v0.api.upyun.com(自动判断最优线路)或者http://v1.api.upyun.com(电信线路)或者http://v2.api.upyun.com(联通网通线路)或者http://v3.api.upyun.com(移动铁通线路)
    
32. #7.腾讯云: cos v3版本不需要填写;cos v4版本需要填上bucket所在的区域，比如华南园区填写:gz,华北园区:tj,华东园区:sh
    
33. #8.微软blob: 连接字符串中的EndpointSuffix，如core.chinacloudapi.cn
    
34. srcDomain=http://image.xmspace.net
    
35. 
    
36. #源bucket名字，同步本地文件以及通过http地址同步的不需要填，不需要加上"/"；微软blob填container名称
    
37. srcBucket=xmspace
    
38. 
    
39. #源前缀，默认为空，如果srcType=local，则此目录是本地目录，如果是其他类型，则是源Bucket里需要同步的Object的前缀,注意如果是本地目录，需要完整目录路径(以'/'进行分割并且以'/'结尾,例: c:/example/)
    
40. srcPrefix=
    
41. 
    
42. ##############################################################同步目的端设置################################################################
    
43. #目的 access key
    
44. destAccessKey=xxxx
    
45. 
    
46. #目的 secret key
    
47. destSecretKey=xxxx
    
48. 
    
49. #目的endpoint,请根据您的实际oss区域填写，默认为杭州的域名,如果用阿里云ecs虚拟机做迁移的，请使用internal域名，不计费且不受虚拟机带宽限制(非虚拟机无法使用)；例：http://oss-cn-hangzhou-internal.aliyuncs.com
    
50. #注意:域名里不要带上bucket前缀,oss域名帮助页面:https://help.aliyun.com/document_detail/31837.html
    
51. destDomain=http://oss-cn-shanghai-internal.aliyuncs.com
    
52. 
    
53. #目的bucket，不需要加上"/"
    
54. destBucket=xmspace-att
    
55. 
    
56. #目标前缀，默认为空，直接放在bucket下(如果要将数据同步到oss的某个目录下，请以'/'结尾）,注意:oss不支持以 '/' 作为文件的开头，所以destPrefix请不要配置以'/'做为开头
    
57. #一个本地文件路径为 srcPrefix + relativePath的文件，迁移到oss的路径为destDomain/destBucket/destPrefix + relativePath
    
58. #一个云端文件路径为 srcDomain/srcBucket/srcPrefix + relativePath的文件，迁移到oss的路径为destDomain/destBucket/destPrefix + relativePath
    
59. destPrefix=
    
60. 
    
61. ##############################################################srcType=cos时的配置项###########################################################
    
62. #腾讯云的appId
    
63. appId=0
    
64. 
    
65. ##############################################################srcType=http时的配置选项########################################################
    
66. #srcType="http"时，需要提供http列表文件的绝对路径，此文件中的http链接需要划分成两列，分别代表前缀以及上传到oss后的相对路径
    
67. #例，有一个完整的http链接是127.0.0.1/aa/bb.jpg,不同的切分方法最后会导致上传到oss的路径会不一样：
    
68. #c:/example/http.list文件内容：
    
69. #127.0.0.1/aa/              bb.jpg
    
70. #127.0.0.1/                   aa/bb.jpg
    
71. # 第一行的文件导入到oss后的路径为 "destDomain/destBucket/destPrefix" + "bb.jpg"
    
72. # 第二行的文件导入到oss后的路径为 "destDomain/destBucket/destPrefix" + "aa/bb.jpg"
    
73. 
    
74. httpListFilePath=c:/example/http.list
    
75. httpPrefixColumn=1
    
76. relativePathColumn=2
    
77. 
    
78. ##############################################################任务配置，没有特殊需求不需要修改#################################################
    
79. #job名字，每个任务唯一，单机模式下请不要修改此项
    
80. jobName=local_test
    
81. 
    
82. #job类型(import/audit)，import为同步数据到oss，audit为校验源端数据和oss数据是否一致
    
83. jobType=import
    
84. 
    
85. #只导入源文件最后修改时间大于该时间的数据，默认为0，这个时间为unix时间戳（秒数）
    
86. importSince=0
    
87. 
    
88. #在校验时，如果文件的最后修改时间大于该值，则跳过此文件的校验，默认值0为关闭该功能，所有文件都需要校验，这个时间为unix时间戳（秒数），jobType为audit时此项不生效
    
89. lastModify=0
    
90. 
    
91. #数据迁移时，是否跳过已经存在的文件。当设置为true时，根据文件的size和LastModifiedTime判断是否跳过；为false时，总是覆盖OSS上已有文件。jobType为audit时此项不生效。
    
92. isSkipExistFile=true
    
93. 
    
94. # 每个子任务最大的文件个数限制，这个会影响到任务执行的并行度，一般配置为总的文件数/120
    
95. taskObjectCountLimit=1000
    
96. 
    
97. #每个子任务下载的最大文件大小限制(bytes)
    
98. taskObjectSizeLimit=1000000000
    
99. 
    
100. #并行扫描文件列表的线程数，只影响扫描文件的效率,没有特殊需求不要修改
     
101. scanThreadCount=1
     
102. 
     
103. #最大允许并行扫描目录的深度，默认为1就是只能在顶级目录间并行扫描,没有特殊需求不要修改,随意配置的过大会导致任务无法正常运行
     
104. maxMultiThreadScanDepth=1
     
105. 
     
106. #大于该值的文件使用分片上传，否则使用普通上传，请配置大于1MB以上；有效配置值如：50m/1024m/5g
     
107. multipartUploadThreshold=150m
     
108. 
     
109. #分配上传时分片大小，请配置大于100k的数据，否则无效，采用默认值50MB；有效配置值如：500k/50m/2g
     
110. multipartUploadPartSize=50m
     
111. 
     
112. #单个大文件分片上传并发数，默认超过150MB为大文件，分片为50MB，srcType=local时有效，其它情况该配置项无效
     
113. #uploadThreadNumPerLargeFile大于1时，workerRecordMd5无效
     
114. uploadThreadNumPerLargeFile=3
     
115. 
     
116. #存储在OSS上的数据否加密，默认不加密
     
117. isServerSideEncryption=false
     
118. 
     
119. #local模式时，链接文件是否上传，默认不上传；该选择仅支持链接文件不包括链接目录
     
120. isAllowSymbolicLink=false
     
121. 
     
122. # 七牛云存储获取Meta的方式，有效值head和stat，默认使用stat；head通过HTTP HEAD请求获取，stat通过BucketManager.stat
     
123. getObjectMetaMode=stat
     
124. 
     
125. #数据迁移后是否进行数据的正确性校验，默认校验
     
126. isAuditAfterImport=true
     
127. 
     
128. #数据校验方式，有效值为simple/general/detailed，默认值general；simple只校验文件的size，general校验文件的size/lastModify/header，detailed检验文件的CRC或MD5，开发中
     
129. auditMode=general
     

复制代码