最新消息:关注人工智能 AI赋能新媒体运营

AWS推出S3文件系统,S3存储桶现在可挂载为文件系统

科技资讯 admin 浏览

AWS发布Amazon S3 Files,允许将通用的S3存储桶挂载为文件系统,供EC2实例、EKS工作负载和Lambda函数访问,并支持部分ECS部署。该服务底层基于Amazon EFS,活跃数据的延迟约为1毫秒,文件系统与S3存储桶之间可自动双向同步,目前已在所有AWS商业区域上线。

对象存储和文件系统长期以来是两种不同的存储架构:前者擅长大规模、低成本存储,后者则提供应用程序熟悉的目录结构和随机读写能力。过去用户必须根据工作负载特性二选一,或自行搭建数据迁移管道来连接两者。S3 Files的设计旨在降低对象存储与文件系统之间切换与同步的成本,使支持的AWS计算资源能够通过标准文件操作直接访问S3中的数据。

S3 Files支持NFS 4.1及以上版本的所有操作,包括文件和目录的创建、读取、更新与删除。系统采用智能分层访问策略,频繁使用的文件会自动存放在高性能存储层,以提供低延迟访问;而大文件的顺序读取则直接从S3读取,以最大化吞吐量。

通过文件系统接口写入的变更,会先聚合短时间内连续的写入操作,再同步为S3存储桶中的新对象或新版本。从S3端对对象所做的更改通常在数秒内同步到文件系统;但如果文件数据已从高性能存储层过期,则需等到下次访问时才会从S3拉取最新版本。S3 Files支持多个计算资源同时挂载访问,采用NFS的close-to-open一致性模型,适用于需要多节点协同读写的场景。

S3 Files集成IAM进行访问控制,支持身份和资源策略。文件系统使用POSIX权限模型,依据UID和GID检查文件级别的访问权限,相关权限信息作为S3对象的元数据存储。传输中的数据全程使用TLS 1.3加密,静态数据支持SSE-S3加密,或通过AWS KMS使用客户自管理密钥加密。

AWS强调,S3 Files与Amazon FSx系列服务的定位不同。S3 Files适用于数据本身存放在S3中,但需要通过文件系统接口进行交互式共享访问的场景,AWS特别指出AI代理系统、机器学习训练流水线及多计算资源协同等负载。而Amazon FSx则适用于从本地NAS环境迁移、HPC与GPU集群存储,或需要Lustre、NetApp ONTAP、OpenZFS、Windows文件服务器等特定文件系统功能的场景。