ShanghaiTech University Knowledge Management System
一种流式处理压缩文件并实时上传至存储服务的方法 | |
翻译题名 | A Method for Streaming Processing of Compressed Files and Real-time Upload to a Storage Service |
申请号 | CN202311340309.0 |
2023-10-17 | |
公开(公告)号 | CN117290108A |
公开日期 | 2023-12-26 |
摘要 | 本申请公开了一种流式处理压缩文件并实时上传至存储服务的方法,所述方法包括:初始化流式读取环境;流式读取并解析压缩文件;对解析后的文件进行处理;将处理后的所述文件上传至存储服务,并保留所述压缩文件的文件目录结构。通过本申请的流式处理压缩文件并实时上传至存储服务的方案,在实时性方面,由于采用流式处理,数据可以在读取的同时被解压和上传,极大地提高了处理速度;在资源利用方面,不需要预加载整个ZIP文件,从而大大减少了内存和CPU的使用;在鲁棒性方面,集中的错误处理和自动重试机制确保了数据处理的可靠性,即使在网络不稳定或其他不确定性因素的影响下。 |
翻译摘要 | This application discloses a method for streaming processing of compressed files and real-time uploading to a storage service. The method includes: initializing a streaming reading environment; streaming reading and parsing compressed files; processing the parsed files; uploading the processed files to a storage service, while preserving the directory structure of the compressed files. The streaming processing and real-time uploading solution presented in this application improves processing speed significantly by allowing data to be decompressed and uploaded simultaneously during reading. In terms of resource utilization, it eliminates the need to preload the entire ZIP file, thereby greatly reducing memory and CPU usage. In terms of robustness, centralized error handling and automatic retry mechanisms ensure the reliability of data processing, even under the influence of unstable network conditions or other uncertainties. |
专利代理人 | 茹凯 |
代理机构 | 上海明伦知识产权代理事务所(普通合伙) 31369 |
专利申请人 | 曜科智能科技(上海)有限公司 |
公开国别 | CN |
公开国别简称 | CN |
IPC 分类号 | G06F9/50 ; G06F16/11 ; G06F9/54 ; G06F16/172 ; H04L67/06 ; G06F11/07 |
CPC分类号 | G06F9/5027 ; G06F9/544 ; G06F16/122 ; G06F16/172 ; G06F11/079 ; H04L67/06 |
专利类型 | 发明专利 |
专利类型字典 | 1 |
当前法律状态 | 实质审查的生效 |
文献类型 | 专利 |
条目标识符 | https://kms.shanghaitech.edu.cn/handle/2MSLDSTB/370087 |
专题 | 信息科学与技术学院_硕士生 |
作者单位 | 1.上海科技大学, 2.曜科智能科技(上海)有限公司, |
推荐引用方式 GB/T 7714 | 田鹏斌,陈天友,石志儒. 一种流式处理压缩文件并实时上传至存储服务的方法. CN202311340309.0[P]. 2023-10-17. |
条目包含的文件 | ||||||
文件名称/大小 | 文献类型 | 版本类型 | 开放类型 | 使用许可 | ||
Abstract.png(204KB) | 专利 | 限制开放 | CC BY-NC-SA | 请求全文 |
个性服务 |
查看访问统计 |
谷歌学术 |
谷歌学术中相似的文章 |
[田鹏斌]的文章 |
[陈天友]的文章 |
[石志儒]的文章 |
百度学术 |
百度学术中相似的文章 |
[田鹏斌]的文章 |
[陈天友]的文章 |
[石志儒]的文章 |
必应学术 |
必应学术中相似的文章 |
[田鹏斌]的文章 |
[陈天友]的文章 |
[石志儒]的文章 |
相关权益政策 |
暂无数据 |
收藏/分享 |
修改评论
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。