BOS-FTP工具

简介

BOSFTP是一个基于Python实现的BOS的FTP server工具，将FTP协议的操作转化为对BOS中存储的对象、目录的操作。支持文件上传、下载、删除以及创建文件夹等操作。

主要的功能

BOSFTP支持的主要功能如下：

• 文件流式上传，大文件分块并行上传
• 文件流式下载
• 支持大部分FTP命令，满足FTP需求
• 服务配置化，满足性能要求

系统环境

• 操作系统：LINUX
• Python版本：Python 2
• 依赖：pyftpdlib>=1.5.0 bce-python-sdk>=0.8.23

安装

1. 使用pip安装pyftpdlib

   Shell 复制

   1pip install pyftpdlib

2. 安装python sdk及其依赖。

   Shell 复制

   1pip install pycryptodome
   2pip install future
   3pip install futures
   4
   5pip install bce-python-sdk

3. 下载BOSFTP, 并解压。

4. 验证是否安装好依赖

   Shell 复制

   1cd ..
   2python setup.py install

启动FTP server

执行命令启动一个FTP server， 默认监听端口为2121。

1bash start.sh
2> running ftp server at port 2121...

关闭

-执行命令ctrl + c关闭FTP Server服务。 -可以指定在后台运行sh start.sh&将服务启动，运行sh stop.sh 关闭服务。

配置文件

1[BOS_ACCOUNT]
2# 设置ak, sk, bucket
3access_key_id = <your access_key_id>
4secret_access_key = <your secret_access_key>
5bucket = <BucketName>
6# FTP Server 的工作目录。
7bos_user_home_dir = /home/users/xxx
8
9[FTP_ACCOUNT]
10# FTP 账户配置。配置格式为<用户名:密码:读写权限>，多个账户用分号分割。
11login_users = usr1:psw1:RW;usr2:psw2:R
12
13[NETWORK]
14# 设置endpoint,默认为http://bj.bcebos.com
15#endpoint = http://xx.bcebos.com
16# FTP监听端口号,默认为2121
17listen_port = 8081
18# HTTP连接超时时间，默认为3600
19connection_timeout_in_mills = 10000
20# 并行上传最大并行数，即线程池线程数， 默认为cpu_count * 4
21parallel_upload_num = 9
22# FTP server最大连接数，默认为1024
23max_connection_num = 1000
24# 三步上传将文件切割成每个multi_part_size后进行并行上传， 默认为10485760（10M）
25multi_part_size = 10485760
26masquerade_address = 127.0.0.1
27# passive_port可以设置passive模式下，端口的选择范围，默认在(60000, 65535)区间上选择
28passive_port = 60000,65535
29
30[LOG]
31# 设置日志级别
32log_level = INFO
33# 设置日志目录, 日志名为bosftp.log
34log_dir = ./log/

配置文件说明

• bos_user_home_dir: 本地文件夹路径，上传或是下载都在这个目录进行
• login_users: 为用户账户信息，启动服务时会验证用户名和密码是否存在于login_users1当中，例如: open 127.0.0.1 2121连接到server，提示输入用户名和密码，这里输入的信息必须存在login_users当中才会通过权限认证
• parallel_upload_num: 大文件上传会将文件分块（默认10M），然后并发的将这些文件块上传，这个参数用来控制并发度
• masquerade_address: 使用masquerade_address选项来唯一绑定一个passive模式下用于reply的IP
• log_dir: BOSFTP的运行日志文件所在目录。

测试

1sh start.sh& "启动后台服务
2cd test
3sh run_test.sh
4sh stop.sh

注意：配置AK/SK时，Bucket要实际存在，才会再后台启动服务。

常见问题

• 创建目录删除后导致父级目录被删除怎么办？

例如，执行如下操作：

1mkdir dir1/dir2
2cd dir1
3rm dir2
4cd ..

由于创建目录的实现方式是创建名为dir1/dir2的空Object，所以上述操作会导致dir1也被删除。建议创建目录时使用如下方式：

1mkdir dir1
2cd dir1
3mkdir dir2

• 执行 size file_name时， 显示'550 SIZE not allowed in ASCII mode'

执行type binary命令修改传输方式。

• 当connection_timeout_in_mills配置参数比较小的时候会导致rename一个大的文件对象超时失败

建议connection_timeout_in_mills配置参数值为10000，即10s。

• put一个大小为0的object显示成功，但是执行list操作缺显示不出。

pyftpdlib库本身不会去读取0大小的文件，所以无法上传0大小的文件。

• 启动ftp服务后，用其他机器连接，显示Connection refused怎么办？

显示如下

1227 Entering passive mode (127,0,0,1,97,183).
2ftp: connect: Connection refused

执行passive命令即可。

版本记录

• BOSFTP工具包 [2024-01-24] 版本号1.3.1

  • 兼容支持pyftpdlib v1.5.9+的版本

• BOSFTP工具包 [2018-03-08] 版本号1.2.0

  • 修复安装时的python sdk版本问题，优化日志目录配置

• BOSFTP工具包 [2018-03-08] 版本号1.0.1

  • 支持APPE接口实现断点续传功能

• BOSFTP工具包 [2018-11-09] 版本号1.0.0

  • 支持文件上传，下载，删除， 支持文件夹创建
  • 支持put、get、delete、mkdir、ls、cd、quite、size、rename命令
  • 自定义ftp配置
  • 大文件分块上传