csv复制小程序开发心得—— 01 程序思路记录


嗯,因为第一次写程序的原因吧,思路可能真的比较多,也比较乱,所以就都写上来咯,顺便也是一个自我整理的过程!


1. 开发背景及目的

1.1 开发背景

嗯,其实前面的引言应该也说了,主要是工作需要,真的就是这样。所以首先说下工作相关背景吧!

1.1.1 工作背景

工作在某个半导体显示领域的工厂,经常会接触到一些工业设备产生的csv文件,而且自己这方面的工作经常要对这些数据的进行处理,虽然方向也是工业大数据方向吧,但是做的是比较基层的那一面,就是传统的数据处理!

1.1.2 任务背景

在日常的工作之中,经常会出于工作需要,需要处理一些CSV文件。具体的处理内容吧,那就是工作中需要经常复制大量csv数据文件中的一些区域到同一个Excel文件之中,然后进行统一的数据处理。因为csv文件有一些固定的特点吧,所以说感觉都是接触简单重复性的操作,工作效率不高,而且很繁琐。因此,思考之下,感觉应该可以用程序代替之前的工作。

嗯,第一步就是分析下自己接触的CSV文件,主要有下面的一些特点。

1.1.2.1 类型:生产数据 

围绕生产过程积累的数据,包括原材料、研发、生产过程、半成品、售后服务等。随着数控机床、自动生产线和SCADA系统的建设,这些数据也被大量记录下来。

1.1.2.2  特点:结构化

其实,根据之前接触的特点,数据应该有下面几类吧~

一些数据源是结构化的(例如传感器信号)

一些是半结构化的(例如人工操作的记录)

还有一些是完全非结构化的(例如图像文件)。

因为是生产数据,所以数据肯定是结构化的,虽然格式比较多,但是都是固定的格式,具有结构化的数据类型,容易分析,但是工作量较大~


嗯,其实任务背景真的很简单的哈,但是还是说的比较多了,还是说正题吧~


2019年12月16日18:27:10  未完待续