一种流式处理压缩文件并实时上传至存储服务的方法
翻译题名A Method for Streaming Processing of Compressed Files and Real-time Upload to a Storage Service
申请号CN202311340309.0
2023-10-17
公开(公告)号CN117290108A
公开日期2023-12-26
摘要

本申请公开了一种流式处理压缩文件并实时上传至存储服务的方法,所述方法包括:初始化流式读取环境;流式读取并解析压缩文件;对解析后的文件进行处理;将处理后的所述文件上传至存储服务,并保留所述压缩文件的文件目录结构。通过本申请的流式处理压缩文件并实时上传至存储服务的方案,在实时性方面,由于采用流式处理,数据可以在读取的同时被解压和上传,极大地提高了处理速度;在资源利用方面,不需要预加载整个ZIP文件,从而大大减少了内存和CPU的使用;在鲁棒性方面,集中的错误处理和自动重试机制确保了数据处理的可靠性,即使在网络不稳定或其他不确定性因素的影响下。

翻译摘要

This application discloses a method for streaming processing of compressed files and real-time uploading to a storage service. The method includes: initializing a streaming reading environment; streaming reading and parsing compressed files; processing the parsed files; uploading the processed files to a storage service, while preserving the directory structure of the compressed files. The streaming processing and real-time uploading solution presented in this application improves processing speed significantly by allowing data to be decompressed and uploaded simultaneously during reading. In terms of resource utilization, it eliminates the need to preload the entire ZIP file, thereby greatly reducing memory and CPU usage. In terms of robustness, centralized error handling and automatic retry mechanisms ensure the reliability of data processing, even under the influence of unstable network conditions or other uncertainties.

专利代理人茹凯
代理机构上海明伦知识产权代理事务所(普通合伙) 31369
专利申请人曜科智能科技(上海)有限公司
公开国别CN
公开国别简称CN
IPC 分类号G06F9/50 ; G06F16/11 ; G06F9/54 ; G06F16/172 ; H04L67/06 ; G06F11/07
CPC分类号G06F9/5027 ; G06F9/544 ; G06F16/122 ; G06F16/172 ; G06F11/079 ; H04L67/06
专利类型发明专利
专利类型字典1
当前法律状态实质审查的生效
文献类型专利
条目标识符https://kms.shanghaitech.edu.cn/handle/2MSLDSTB/370087
专题信息科学与技术学院_硕士生
作者单位
1.上海科技大学,
2.曜科智能科技(上海)有限公司,
推荐引用方式
GB/T 7714
田鹏斌,陈天友,石志儒. 一种流式处理压缩文件并实时上传至存储服务的方法. CN202311340309.0[P]. 2023-10-17.
条目包含的文件
文件名称/大小 文献类型 版本类型 开放类型 使用许可
Abstract.png(204KB)专利 限制开放CC BY-NC-SA请求全文
个性服务
查看访问统计
谷歌学术
谷歌学术中相似的文章
[田鹏斌]的文章
[陈天友]的文章
[石志儒]的文章
百度学术
百度学术中相似的文章
[田鹏斌]的文章
[陈天友]的文章
[石志儒]的文章
必应学术
必应学术中相似的文章
[田鹏斌]的文章
[陈天友]的文章
[石志儒]的文章
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。