云盘
Keepbay 不直接连接各家网盘。存放在网盘上的文件,需要先成为服务器上的一个文件夹,再添加给 Keepbay。本页介绍两种方式:同步到本地,或者挂载成本地文件夹。
S3 兼容的对象存储、WebDAV 和 SFTP,专业版可以直接添加为远程文件夹,不需要 rclone。国内网盘也可以先添加到 OpenList,再将它的 WebDAV 添加为远程文件夹,见经 OpenList 接入国内网盘。使用免费版,或者存储不在远程文件夹的支持范围内时,可以按本页的办法接入。
两种方式
同步到本地:用 rclone、群晖 Cloud Sync 等工具,定时把云上的文件下载到服务器的硬盘上。Keepbay 管理的是本地的副本。
挂载:用 rclone 把云盘挂载为一个文件夹,使用方式与本地文件夹相同,实际读取文件时才从云端下载。
Keepbay 添加文件夹后,会读取每个文件:计算哈希、生成缩略图、提取文字。如果使用挂载,这些读取都会从云端下载。
因此我们建议:
- 本地硬盘空间足够时,同步到本地。读取速度快,不受断网影响,网盘的接口也只在同步时调用
- 资料较多、本地空间不足时,用 rclone 挂载,并以只读方式添加给 Keepbay。请先阅读本页的注意事项
能接入的服务
下面的服务都可以用 rclone 同步或挂载。rclone 大多不支持国内网盘,需要先经 OpenList 转为 WebDAV,再交给 rclone。
S3 兼容的对象存储
用 rclone 的 S3 后端接入:
- 国内:阿里云 OSS、腾讯云 COS、华为云 OBS、七牛云 Kodo、移动云 EOS、UCloud US3、网易对象存储
- 海外:AWS S3、Cloudflare R2、Backblaze B2、Wasabi、群晖 C2、DigitalOcean Spaces、Linode、Scaleway、Hetzner、IDrive e2、IBM COS、Storj
- 自建:MinIO、Ceph、SeaweedFS
- 其他支持 S3 协议的服务,提供商选
Other
完整的提供商列表见 rclone 的 S3 文档。
其他对象存储
Azure Blob、Google Cloud Storage、OpenStack Swift、Oracle Object Storage、青云 QingStor,rclone 都有对应的后端。
海外网盘
rclone 直接支持:
- Google Drive、OneDrive(含 SharePoint)、Dropbox、Box、pCloud
- iCloud Drive、Proton Drive、Mega、Jottacloud、Koofr、Yandex Disk、HiDrive、kDrive
- Seafile、Zoho WorkDrive、PikPak
完整列表见 rclone 支持的存储,有 60 多种。
国内网盘
百度网盘、阿里云盘、115 网盘、夸克网盘、UC 网盘、天翼云盘、中国移动云盘、123 云盘、蓝奏云、迅雷云盘等,rclone 不支持。
可以先安装 OpenList,把这些网盘添加进去,由 OpenList 提供 WebDAV,再用 rclone 同步或挂载,见经 OpenList 接入国内网盘。
OpenList 支持的网盘见它的文档。
协议
- WebDAV:坚果云、Nextcloud、群晖和威联通的 WebDAV 服务等,用 rclone 的 WebDAV 后端。专业版可以直接添加为远程文件夹
- SFTP、FTP:用 rclone 对应的后端。SFTP 专业版可以直接添加为远程文件夹
- SMB、NFS:NAS 上的共享文件夹,直接用系统的
mount挂载,不需要 rclone,见 NAS 的共享文件夹
安装 rclone
用 rclone 官方的安装脚本:
sudo -v ; curl https://rclone.org/install.sh | sudo bash如需挂载,还需要安装 FUSE:
sudo apt install fuse3 # Debian、Ubuntu系统软件源和 Snap 里的 rclone 可能版本较旧,或者不能挂载,建议用官方脚本安装。
添加云存储
运行 sudo rclone config,按提示逐步添加。也可以用一条命令完成,比如 Cloudflare R2:
sudo rclone config create r2 s3 \
provider=Cloudflare \
access_key_id=您的AccessKey \
secret_access_key=您的SecretKey \
endpoint=https://您的账户ID.r2.cloudflarestorage.com阿里云 OSS 的 provider 是 Alibaba,腾讯云 COS 是 TencentCOS,其他服务见 rclone 的文档。
添加后,用 sudo rclone lsd r2: 列出存储桶,能列出存储桶即说明配置正确。
配置保存在 /root/.config/rclone/rclone.conf,其中包含密钥,请不要提供给他人。
方式一:同步到本地
用 rclone 定时同步
先手动同步一次:
sudo mkdir -p /srv/cloud/photos
sudo rclone sync r2:photos /srv/cloud/photos --transfers 4 --progressrclone sync 会让本地和云上完全一致:云上删除的文件,本地也会删除。如果只需下载、不删除本地文件,请使用 rclone copy。
然后用 systemd 定时器每小时同步一次。新建 /etc/systemd/system/rclone-sync-photos.service:
[Unit]
Description=同步云上的照片
After=network-online.target
Wants=network-online.target
[Service]
Type=oneshot
ExecStart=/usr/bin/rclone sync r2:photos /srv/cloud/photos --transfers 4 --config /root/.config/rclone/rclone.conf再新建 /etc/systemd/system/rclone-sync-photos.timer:
[Unit]
Description=每小时同步云上的照片
[Timer]
OnCalendar=hourly
Persistent=true
[Install]
WantedBy=timers.target启用定时器:
sudo systemctl daemon-reload
sudo systemctl enable --now rclone-sync-photos.timer最后在 Keepbay 中添加 /srv/cloud/photos,见添加给 Keepbay。
用 NAS 自带的工具
Keepbay 安装在 NAS 上时,可以用 NAS 自带的同步工具,不需要 rclone:
- 群晖:Cloud Sync,同步方向选"仅下载远程更改"。支持 C2、阿里云 OSS、腾讯云 COS、S3 兼容存储、Backblaze B2、百度网盘、Dropbox、Box、WebDAV 等
- 威联通:HBS 3 的单向同步,支持 Google Drive、OneDrive、Dropbox、Box、S3 兼容存储、WebDAV 等
OneDrive 也可以用 Linux 上的 onedrive 客户端 同步到本地。它会下载全部文件。
方式二:rclone 挂载
挂载命令
先手动试一次:
sudo mkdir -p /mnt/cloud/photos
sudo rclone mount r2:photos /mnt/cloud/photos \
--read-only \
--allow-other \
--vfs-cache-mode full \
--vfs-cache-max-size 50G \
--vfs-cache-max-age 720h \
--cache-dir /var/cache/rclone在另一个终端中运行 ls /mnt/cloud/photos,能看到文件即说明挂载成功。按 Ctrl + C 停止。
几个参数:
--read-only:只读挂载。Keepbay 以只读方式添加时不需要写入,只读挂载更安全--allow-other:让keepbay用户也能读取。不加此参数时,只有运行 rclone 的用户能看到文件--vfs-cache-mode full:读过的内容缓存在本地硬盘上,同一个文件只用下载一次--vfs-cache-max-size:缓存的上限,按硬盘的剩余空间设。实际占用可能会略超过这个值--vfs-cache-max-age 720h:缓存保留 30 天。默认只保留 1 小时,首次添加时文件需要排队处理,同一个文件两次读取的间隔可能超过 1 小时,缓存过期后需要重新下载--cache-dir:缓存的存放位置,请设在空间足够的硬盘上
云端的改动
云端新增、删除的文件(比如在手机 App 中新上传的照片),不会实时通知到 Keepbay。
Keepbay 按文件夹的"补扫间隔"完整读取整个目录,这时才会发现变化。补扫间隔最短 15 分钟。
rclone 自己还有一层目录缓存,--dir-cache-time 默认 5 分钟,过期之前列出的仍是旧的目录内容。因此云端的改动要等 rclone 的缓存刷新后,在下一次补扫时才能被发现。
补扫间隔从上一次扫描结束时算起。文件数量多或服务有限速时,单次扫描本身也需要较长时间。
补扫读的是目录列表,大小和修改时间都没变的文件,不会重新下载。
挂载更适合内容不常变的资料,比如历年的照片和文档归档。内容经常变化、需要及时看到改动的,建议同步到本地。
开机自动挂载
新建 /etc/systemd/system/rclone-photos.service:
[Unit]
Description=挂载云上的照片
After=network-online.target
Wants=network-online.target
[Service]
Type=notify
ExecStart=/usr/bin/rclone mount r2:photos /mnt/cloud/photos \
--config /root/.config/rclone/rclone.conf \
--read-only --allow-other \
--vfs-cache-mode full --vfs-cache-max-size 50G --vfs-cache-max-age 720h \
--cache-dir /var/cache/rclone
ExecStop=/bin/fusermount -uz /mnt/cloud/photos
Restart=on-failure
RestartSec=10
[Install]
WantedBy=multi-user.targetsystemd 中没有 HOME 环境变量,所以要用 --config 写明配置文件的位置。
Type=notify 使 systemd 在挂载完成后才将这个服务视为已启动。
启用:
sudo systemctl daemon-reload
sudo systemctl enable --now rclone-photos.service让 Keepbay 在挂载之后启动
如果 Keepbay 先于挂载启动,读取到的是一个空目录,会把文件夹标记为离线,挂载完成并检查通过后再恢复。如果希望开机时不出现这段离线状态,可以让 Keepbay 在挂载完成后再启动:
sudo systemctl edit keepbay加上:
[Unit]
After=rclone-photos.service
Wants=rclone-photos.service有多个挂载时,每个都需要写上。
经 OpenList 接入国内网盘
OpenList 是一个开源的网盘聚合程序,从 AList 分叉而来,支持几十种国内外网盘。
接入的过程是:在 OpenList 中添加网盘,OpenList 对外提供 WebDAV,rclone 再把 WebDAV 同步或挂载到本地。
使用专业版的,也可以不用 rclone,把 OpenList 的 WebDAV 直接添加为远程文件夹。这时下面第 4 步起不用做,OpenList 用户的权限要求见远程文件夹页。
- 按 OpenList 的文档 安装,并添加网盘
- 在 OpenList 中给一个用户打开「WebDAV 读取」权限。建议单独创建一个只读用户供 rclone 使用
- 网盘的 WebDAV 策略选「本地代理」,兼容性最好,但下载的流量会经过 OpenList 所在的机器
- 添加到 rclone:
sudo rclone config create openlist webdav \
url=http://127.0.0.1:5244/dav \
vendor=other \
user=OpenList用户名 \
pass=OpenList密码将 url 中的地址和端口替换为您的 OpenList 的地址和端口。密码会被 rclone 自动加密保存。
之后的同步和挂载与上文相同,把 r2:photos 换成 openlist:网盘名称/文件夹 即可。
OpenList 的 WebDAV 不提供文件哈希。
网盘的限速和风控
国内网盘大多限制第三方客户端:可能限速,频繁访问可能被暂时封禁,甚至封禁帐号。
经 rclone 同步或挂载、按默认的完整处理添加时,Keepbay 首次添加会读取每个文件,对网盘而言相当于一次大量下载。作为远程文件夹直接添加的,默认只建目录,后台不读取文件内容;改为完整处理或只认文件后才会读取,见处理程度。建议先用不重要的帐号和少量文件测试,并降低并发(rclone 加 --transfers 2 --tpslimit 2)。
这些限制由网盘服务自行规定,Keepbay 和 OpenList 都无法控制。
坚果云
坚果云提供 WebDAV。专业版可以直接添加为远程文件夹;免费版用 rclone 的 WebDAV 后端接入,vendor 填 other。密码要用坚果云网页上「安全选项 › 第三方应用管理」中生成的应用密码,不是登录密码。
坚果云限制了 WebDAV 的请求次数:免费版每 30 分钟 600 次,付费版 1500 次。挂载后由 Keepbay 扫描很容易超出限制,建议定时同步到本地,并加上 --tpslimit 1。
NAS 的共享文件夹
Keepbay 安装在一台机器上、文件在另一台 NAS 上时,用系统自带的 SMB 或 NFS 挂载即可,不需要 rclone。
SMB:
sudo apt install cifs-utils
sudo mkdir -p /mnt/nas/photos
sudo mount -t cifs //192.168.1.20/photos /mnt/nas/photos \
-o ro,username=NAS用户名,uid=keepbay,gid=keepbayNFS:
sudo apt install nfs-common
sudo mount -t nfs 192.168.1.20:/volume1/photos /mnt/nas/photos -o ro如需开机自动挂载,请写入 /etc/fstab,并加上 _netdev,使系统在网络就绪后再挂载。
在 Keepbay 中添加时,这类文件夹按网络盘处理,访问方式预先选为只读,见添加时的检查。
其他工具
- s3fs-fuse:把 S3 存储桶挂载成文件夹,维护活跃。只接入 S3 时也可以使用它,用法见它的文档
- davfs2:把 WebDAV 挂载成文件夹。它会把打开的文件整个缓存到本地,大文件和大目录效率不如 rclone
- JuiceFS:它把数据切块后存入对象存储,无法读取存储桶中原有的文件,不适合这里的用途
如无特殊需求,建议使用 rclone,它的功能和文档都最完整。
添加给 Keepbay
同步或挂载完成后,在「系统设置 › 存储」中添加这个文件夹,见文件夹。
- 访问方式选只读。同步的文件夹,在 Keepbay 中做的修改会被下一次同步覆盖或删除。挂载的文件夹,读写方式下大部分操作会失败,见注意事项。Keepbay 发现路径在网络盘或 FUSE 挂载上时,会自动选择只读,见添加时的检查
- 路径:添加时 Keepbay 会解析符号链接,保存真实路径。如果之后这个路径被替换为符号链接(比如更改了挂载位置,再用链接指向新位置),文件夹会显示"路径指向了别处"
- 定期补扫间隔:同步的文件夹,设为与同步频率相近。挂载的文件夹,如需更早发现云端的改动,可以调短,最短 15 分钟。每次补扫都要向云端列出一次目录,对于按请求次数收费或限制请求次数的服务(比如坚果云),不建议设得太短
- 权限:rclone 挂载的文件夹不支持
mount:grant那样的授权,通过挂载命令中的--allow-other使keepbay用户能够读取。请先用以下命令确认:sudo -u keepbay ls /mnt/cloud/photos
数据目录(数据库、缩略图)请确保放在本地硬盘上,不要放在挂载的云盘或网络磁盘上。SQLite 数据库放在网络文件系统上会出错。
添加时的检查
添加文件夹时,Keepbay 会检查它所在的文件系统。文件夹在 NFS、SMB 网络盘上,或者在 FUSE 挂载上(rclone、CloudDrive2、OpenList 的挂载、s3fs、sshfs 等)时,添加表单中会:
- 说明添加后要读取文件的内容,挂载的是网盘或对象存储时会产生下载流量,见注意事项。需要减少读取时,可以把处理程度改为只认文件或只建目录
- 把访问方式预先选为只读,因为这类磁盘上的改名、移动不一定可靠。已经手动选过访问方式的,不会被改动
在 Linux 上,以下几种把本机磁盘挂成 FUSE 的挂载不按网络盘处理:NTFS、exFAT 移动硬盘(文件系统类型为 fuseblk 或 fuse.ntfs-3g)和 Unraid 的 shfs。
其他 FUSE 挂载都按网络盘处理,包括 mergerfs,因为它合并的目录下面可能有网络盘。macOS 上 macFUSE 的挂载一律按网络盘处理。
挂载的注意事项
以下几点是 Keepbay 目前对挂载的云盘的实际表现,使用挂载前请先了解。同步到本地时不存在这些问题。
首次添加会读取大量数据。 以下按默认的完整处理计算。64 MB 以内的文件,Keepbay 会完整读取以计算哈希;更大的文件,计算哈希时只读取开头、中间、结尾几段。
此外,图片还需要再读取一次以生成缩略图,文档需要读取一次以提取文字,视频需要读取信息并取一帧做缩略图,这些不受 64 MB 的限制。
1 TB 的照片,大约需要从云端下载 1 到 2 TB。实际的下载量还取决于文件的格式和 rclone 的缓存。这些下载可能触发网盘的限速、风控,或者产生存储的流量费。
可以只挂载需要的子文件夹,或者用忽略规则排除不需要的文件夹,减少读取量。
不需要缩略图、全文搜索、AI 整理的文件夹,可以把处理程度改为只认文件(每个文件只读几段)或只建目录(不读取内容)。
保留完整处理时,可以让每个文件只下载一次,并控制下载速度:
- 加
--vfs-cache-mode full,把--vfs-cache-max-size设置得足够大,--vfs-cache-max-age设置得足够长。第一次处理一个文件时的几次读取,合并成一次下载 - 加
--bwlimit限速,比如--bwlimit 10M是每秒 10 MiB,避免触发网盘的限流
这部分流量主要在第一次处理时产生。之后的补扫主要读取新增和改动过的文件,之前没有处理完的文件也会补上。
新增的大文件如果与已有文件的大小、抽样哈希相同,为确认是否重复,Keepbay 会完整读取其中还没有算过完整哈希的文件,见技术架构。
重新挂载或重启服务器时,Keepbay 按文件的大小和修改时间识别文件,没有变化的文件不会再次读取。
建议以只读方式添加。 rclone 挂载不支持"不覆盖的改名",也不支持硬链接。Keepbay 改名、移动时依靠这两项功能确保不覆盖其他文件,不支持时不会执行这些操作。
因此在读写方式下,上传、改名、移动、移入回收站都会失败,提示"这个磁盘不支持安全改名"。可用的只有新建文件和文件夹,实际用途有限。
挂载断开时,文件夹显示离线。 rclone 停止运行、挂载点被卸载,或者无法读取目录时,Keepbay 会把文件夹标记为离线,不会清空索引,标签、AI 结果都保留。
重新挂载同一个云盘后,Keepbay 会抽查其中的文件,与索引一致时自动恢复在线,无需手动确认,设备号变化时也是如此。
前提是添加给 Keepbay 的是挂载点本身,比如上文的 /mnt/cloud/photos。如果添加的是挂载中的子文件夹,且重新挂载后设备号发生了变化,Keepbay 无法判断是否为同一块磁盘,需要手动确认。
如果离线期间云端的文件大部分被修改或删除,抽查结果与索引不一致,同样需要手动确认。
需要手动确认时,在「系统设置 › 存储」中点击「确认恢复」。
如果只是网络中断、rclone 仍在运行,由于目录列表有缓存,文件夹不一定显示离线。这时打开没有缓存的文件会失败,网络恢复后即可正常打开。
Keepbay 运行时可以卸载。 Keepbay 不会持续占用挂载点,用 fusermount -u 卸载、重启 rclone 服务前都不需要先停止 Keepbay。
S3 上的空文件夹。 S3 没有真正的文件夹,挂载后新建的空文件夹,重新挂载后会消失。如需保留空文件夹,rclone 挂载时加 --s3-directory-markers。
WebDAV 的修改时间。 经 OpenList 等 WebDAV 服务挂载时,可能不保留文件原来的修改时间,Keepbay 中显示的是上传到网盘的时间。