您所在的位置:模具网 > 管理大全 > 模具企业管理

模具企业数据迁移方案及评价分析

发布:2014-11-11 16:17:29  来源:模具网Molds.cn  编辑:佚名

 

模具企业数据迁移方案及评价分析

 


1引言

模具企业是典型的面向定单设计(engineering to order, ETO)销售模式,模具生产小具有重复性。 近年来,越来越多的模具企业应用CAPP/PDM/ ERP/MES等系统,一些企业还实施了基于数据库的 决策支持系统,如管理驾驶舱,这些信息化项目的 建设对缩短模具交货期、减少试模次数和提高模具

收稿日期014-02-25

作者筒介:何伟1988-),男(汉族江西丰城人,硕士研究生, 主要研究方向为模具数据化制造系统、计算机集成制造、企业信 息化管理等。 质量起到了重要的作用。而应用系统的数据库规 模越来越大,有可能影响系统的正常运行效率。很 多模具企业会选择将已经结算完成的订单数据迁 移至历史数据库,减少当前数据库的数据量,提高 系统运行效率。这种方法虽然对当前业务处理影 响很小,但是这些历史数据对企业的决策支持是非 常重要的。

针对数据迁移,大多数的研究成果集中在异构 数据库的数据迁移,参考文献[1-4]针对异构数据库 提出了几种数据迁移的方法,并对这几种方法的优 缺点进行了分析比较。边根庆针对数据库的迁移 提出了一种基于价值评估的数据迁移策略,构建迁 移指标以及价值评估模型,最后通过试验验证了该 评估模型相对其他模型的优越性[5]。黎展滔针对模 具企业数据库迁移方法进行了设计研究,提出了 3 种不同的方法并分别进行了优缺点评价,最后丌发 了一个迁移系统[6]。程罗锋针对现有数据库迁移工 具在数据转换、数据映射关系等方面存在的缺陷, 在对比分析现有主要数据库转换方式的优缺点基 础上,设计了一种基于Dataset的数据转换工具[7] 以上学者的研究大多集中在异构数据库迁移的规 则、算法模型以及基于某种规则的异构数据库迁移 工具的设计,在考虑与数据库集成方面进行数据库 迁移的研究还很少,现针对模具企业信息系统数据 库迁移过程中,如何保证数据库的完整性,提出了 一套模具企业信息系统数据库迁移的整体解决方 案。

2数据迁移的整体解决方案

订单生产型模具企业数据库的迁移首先要确 定迁移的订单,在订单不重复生产,数据量急剧膨 胀的情况下,为了提高数据迁移的效率,基于分类 数据抽取的研究特点[8],根据数据的容量和查询的 频率对数据进行分类,集中对业务数据进行迁移, 具体分类情况如下:

(1)              基础数据。数据量不大,在相当长的时间 内保持不变或者变动的情况很小,例如订单类型、客户、员工、设备、权限配置信息、供应商、工艺模板

等。

等。

(2)              业务数据即在业务过程中产生的数据。根 据数据在业务过程的利用程度(包括用户对业务数 据的查询频率以及统计分析等)分为2:业务数 据I :数据增加速度较慢,但数据利用程度较高,如生产订单表、BOM表等,这部分数据量不大,关联性 强,比较重要,一般情况下不建议迁移;业务数据 n :数据增长速度快,但数据的重用性不高,如车间 作业、加工记录反馈表等,这类数据数据量大、关联 性弱,建议迁移。

按照企业数据增长的情况,可以定为每隔一个 财务年度对数据库进行迁移,考虑到数据迁移过程 的安全性,在每次迁移前对当前数据库进行一次备 份,每年对数据库进行清理时都必须确定当年需要 迁移的订单,迁移的数据主要是与订单相关的业务 数据II。首先数据管理员根据各部门的需要初步确 定迁移的订单,然后根据每年迁移量选择需要迁移 的订单,利用SQL语句从数据库中查询与这些订单 相关的业务数据II放入到新建的历史数据库中,该 数据库只用来存放每年需要迁移的业务数据II,最 后在当前数据库中删除与迁移订单相关的业务数 II,形成新的当前数据库。以上方法能够解决历 史数据的迁移,但对于需要的历史数据建立数据 库,实现商务智能的企业,还需要进一步的解决方 案。考虑到对当前数据库进行数据迁移后,历史数 据被迁移,而这些历史数据对于商务智能的企业具 有重要意义。以上方法已经将每次需要迁移的业 务数据II放入到新建的历史数据库中,为了保证商 务智能企业数据库数据的全面,每次都以只存放业 务数据II的历史数据库和新的当前数据库作为数据 源,联合当前数据库和历史数据库进行数据抽取, 经过数据的清洗、转换以及加载将数据抽取后加载 到中央数据库,形成不同类型的数据集(DM),以便 进行数据挖掘和信息访问等前端应用,如多维分 析、报表以及预测模型等,整体迁移方案如图1 示。基于数据迁移对数据库的综合影响,在整体解 决方案的基础上,针对商务智能体系结构中数据访 问的数据抽取方式提出了增量式、覆盖式2种不同 的解决方案作为关键技术进行研究'构建各项评 价指标,设计试验对各项指标进行定量对比分析。

2.1增量式方案

每次迁移之前,将当前数据库进行备份,与订 单相关的业务数据II迁移到数据库,联合新的当前 数据库数据和数据库中迁移的数据II进行增量式抽 取,每次都抽取新的当前业务数据库新增的业务数 据,已经在数据库中的数据不再抽取。以部门维度 表和采购订单事实表的增量式数据抽取为例,实现 过程为对于部门维度表数据抽取、转换、加载(ex­traction transformation loadingETL),文本可以米 用简单增量方法,山于部门相对稳定,基本上历史 数据抽取完成之后不会发生变动,即使有部分特殊 情况影响统计查询结果,例如部门拆分,也可以再 进行人工处理[10]。部门维度表ETL控制流程如图2 所示,只有一个数据流任务组件,详细的数据流 程如图3所示。

3“OLE DB从数据源抽取数据,数据 转换是对数据类型进行转换,查找是在维度表 中查找业务键,如果查找不到,说明是新增数据。

2部门维度表ETL控制流程


 

[^据转换查找

1整体迁移方案


OLE DB

文本框: A查找错误输出

OLEDB 目标(j DimDepartment)

3部门维度表ETL数据流程

“OLE DB目标指定了部门维度表。这个数据流 程就可以将新增的部门加载到部门维度表中。对 于大部分事实表都是采用增量方式进行数据ETL 的,以采购订单事实表的ETL为例,介绍增量抽取 方法,图4所示为采购订单事实表ETL控制流程。

4采购订单事实表ETL控制流程


 

执行SQL任务的作用是查找事实表中的最 大丨丨期,然后以变量形式传到数据流任务中,以抽 取新增数据源。数据流任务具体过程如图5所示。

“OLE DB接收控制流传来的事实表最大 时间变量,以这个时间为基准在各个业务数据库中 抽取大于这个时间的源数据,实现了增量抽取。 是在维度表中查找业务键,转换不匹配对查 找失败的数据进行处理,即将所有查找失败的数据 赋予统一的代理键,联合key是将查找成功数据 与经过处理的、查找失败的数据全部联合在一起, 这样处理就不会丢失任何源数据“OLE DB目标指定了目标事实表Fact_Purchase_Order。增量式优 点是采用增量式的数据抽取能够明显提高数据抽 取转换速率,不需要额外构建数据库来存放迁移的 数据,用户只需要操作当前数据库山于增量式的 数据抽取在每次抽取之后维度表和事实表的历史 数据不会发生变化,除非抽取前业务变更或者操作 错误,一旦后期业务表结构发生改变也不会影响当 前在数据库中的历史数据■’同时在数据抽取完之后 将数据库的历史记录删除,降低了冗余率,迁移效 率明显提高。缺点是增量式抽取只对当前最新的 业务数据进行抽取,并且只对历史数据抽取一次, 一旦原来业务流程发生变更或者用户操作错误,维 度表的数据比较固定,影响不大,事实表的数据会 随业务数据的变化而不断变化,影响非常大,因此


( 2)

n)

v

(3)

n)

v

对于覆盖式抽取:R,,为第iETL数据抽取的 量,Rp = QpRp = Qp = QtE为第 i 次进行 ETL 总进程时间,那么第iETL速率v,为:

Rp

-(i =1,2,3,.

■(i =1,2,3,.

t

t

Qb

I

进程的时间。

冗余率^定义为(T,

,其中Qb,为第i次备

1)

n)

q,

其中Q,为数据从数据库4迁移到数据库B 数据量,为迁移的耗时。

源数据库的数据量大小为QAQ,表示第i 新增业务数据量。对于增量式抽取:R为第i ETL 数据抽取的量IR = AQ,R0= AQ0 = QtE i次进行ETL的总进程时间,那么第iETL v,:

Ri

(i =1,2,3,.

t

份数据库的总数据量,QPi为当前数据库的数据量。 迁移效率q,为:

q

x100%

(i = 1,2,3,........................... , n)                                                                                 

对于覆盖式抽取:第,次迁移前当前数据库的

数据量Qp,定义为Qp, = Q-Jq,-1-aq,-1)其中

i = 1

Qo = Q,第i次备份数据库的总数据量

Qb, = S[Q - S(Q,-1 - AQ, -1)]。冗余率 r,为:

i =1 i =1

S [Q -S (Q,-1--1)]

I

Qpi                          Q -^(Q,-1-aq, -1)

(i =1,2,3,............................ , n)

5数据流任务具体过程

总体上将影响关键绩效指标(key performance indi­cators KPI)的准确率。

2.2覆盖式方案

该方案与增量式方案差不多,只不过不是将迁 移的业务数据II放入数据库,而是将迁移的数据放 入历史数据库中,同样需要联合新的当前数据库数 据和历史数据库数据进行抽取,在数据访问的方式 上采用覆盖式抽取,每次进行抽取之前都将原数据 库中的数据删除,重新抽取。覆盖式的优点是迁移 效率比较高,针对原来业务流程发生变更或者用户 操作错误,很好地维护KPI指标的准确性;缺点是数 据抽取转换速率低,冗余率大,需要额外增加一个 数据库,对硬件系统要求比较高,同时在多个数据 库中操作,比较繁琐,表结构发生变更时会对维度 表和事实表历史数据造成影响。

3试验对比分析 3.1评价指标构建

根据以上2种方案的特点,构建以下指标以便 进行试验分析。

ETL速率v定义为= &,其中W,为每次进行

tE.

ETL数据抽取的数据量大小,tE为每次数据抽取总

对于增量式抽取:第i次迁移前当前数据库的

数据量为 Qp, = Q-±(Q,_,-AQ,_,),其中 Q0 = Q,第 i = 1

i次备份数据库的总数据量Qb:定义为

Qb, = H[Q-Q,                           Q-1-AQ,-i)]。那么对应冗余率

i=1                         i=1

(r,为:

S [Q - Q,-]l (Q,-1-AQ, -1)]

Qb

Qp

-x100%

Q -S(Q,-1-aq,-1)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 



 

基于边根庆等研究的价值数据迁移的评价模 型构建综合判断指标:IPt = aqt +召丄+ yvt [5],其中

a/3y为调节系数,qiaivt分别为迁移效率、 冗余率、数据抽取速率。

3.2试验过程

2 个源数据库 JL_Mould JL_Moule_TEST

始的数据库大小都为Q =1 266kB采用覆盖式方案 进行试验,将JL_Mould源数据库的数据迁移到 MiddleDB中间数据库,进行5次,每次迁移的数据 量为 Q, = 29,Q2 = 214,Q3 = 685,Q4 = 764,Q5 = 815 ( :kB),记录在每次迁移过程耗费的时间分别为 t,t2,t3.....t5,从第一次迁移之后开始产生新增数据,

以后试验中每次迁移之前都新增一定量的数据,分 别为 AQ=0AQ=113=55203=258AQ=536 (单位:kB)在每次迁移之后同时进行覆盖式的数 ,每 & RP2, Rp.-------RP5,其中 RPi = QPi& = Qp= Q,记录

在试验中每次数据抽取耗费的时间分别为tE1 tE2……tE5采用增量式方案进行试验,将 JL_Moule_TEST源数据库的数据迁移到数据库 DW进行5次,每次迁移的数据量为0=29Q2= 214<?3=685<?4=764(?5=81((单位:kB),记录在每次 迁移过程耗费的时间分别为t,'h,h..…t5,从第一 次迁移之后开始产生新增数据,以后试验中每次迁 移之前都新增一定量的数据,分别为」0=0,」01= H3,AQ2=552z!03=258zQ4=536(单位:kB),在每 次迁移之后同时进行增量式的数据抽取,每次数据 抽取的数据量分别为R0, R,, R2, R3,R4,其中 Ri = AQiR0= AQ0 = Q,记录在试验中每次数据抽 取耗费的时间分别为tE:,tE:,tE'--tE'。试验平台搭 建:数据库为SQL SERVER 2008,服务器为 HW-PC迁移工具为数据迁移系统,操作系统为 Window7 32位系统,源数据库为JL_Mould/ JL_Mould_TEST目标数据库为 DW/DW_TEST ETL 工具为微软 SQL SERVER 2008 R2 SSIS 成服务,其他软硬件设施相同。利用式1)(5) 2种方案的各项评价指标如表1、表2所示。

1表明采用增量式方案迁移效率和数据抽取 的效率等各项评价指标值都比覆盖式方案的各项 值要高,同时冗余率也比覆盖式的方案效率要低; 2表明在迁移量比较小的情况下,值相差不大, 随着迁移量的增大,值逐渐相差增大,增量式方 案的优势更加明显。因此通过试验得出增量式方 案优于覆盖式方案。

1 2种方案迁移结果对比

指标参数

q,(kB/s)

v,(kB/s)

 

增量式

 

0.29

8.45

1

2

1.25

25.05

1.758

3

9.36

40.96

1.95

4

18.45

59.49

2.21

5

27.17

72.45

2.68

覆盖式

 

0.28

8.43

1

2

0.95

20.64

1.993

3

7.12

35.27

2.5

4

14.32

52.23

3.01

5

20.42

64.86

3.45

 

2 IP值对比结果a = 0.2/3 = 0.3y = 0.5 )

Qi

IP1

IP2

29

4.512

4.499

214

13.014

10.705

685

23.388

19.851

764

35.37

31.071

815

45.126

38.614

 

4结束语

根据模具企业数据的特点建立了数据迁移的 整体解决方案,针对方案中的数据抽取提出了 2 不同的实现方法,分别对这2种方案进行优缺点分 析,通过对这2种方案的各项指标进行定量试验之 后,表明在数据迁移之后采用增量式的抽取方法明 显提高了整个迁移过程的各项指标值,增量式方案 具有一定的优越性。

参考文献:

[1]                罗林球,猛琦,李晓,等.异构数据库迁移的设计和实现[J].计算应用研究,200612(3)233-238.

[2]                杜军威,隋树林,吴鹏.异构数据库之间数据迁移的实现方法[J].青岛化工学院学报,2002,23(3):78-81.

[3]                姜倩,武桂香,管风旭.异构数据库间的动态数据迁移 [J].应用科技,2005,32(9):43-49.

[4]                #,黄光明.异构数据库间数据迁移的实现方法[J].研 究与设计-微型电脑应用,2002,18(3):10-12.

[5]                边根庆,王艳云,邵必林,等.基于价值评估的海量数据迁移策略研究[J].西安建筑科技大学学报自然科学版


冲模设计知识管理系统开发

周驰s柯爱心s李佺2 (1.华南理工大学机械与汽车工程学院,广东广州510641;

2.广州市翔翎金属制品有限公司,广东广州511450)

摘要:针对模具企业目前知识的获取及管理困难等问题,提出了 一种基于企业现行生产流程,将模具设 计成功案例、模具评审表以及修改模具记录统一纳入知识管理框架以便知识获取和重用,在CBR系统 的框架下,给出了基于关系型数据库的实例库设计以及相应的知识模型,并介绍了系统的具体知识管 理应用界面与普通的CBR系统相比该系统可以有效地发掘具体冲压工艺的设计和制造知识,在使用 上并不带来额外的负担,系统导入难度小。

关键词:人工智能;模具企业;知识管理;冲模

中图分类号:TG76;O242.21 文献标识码:B                                                        文章编号1001-2168(2014)06-0006-04

Development of knowledge management system for stamping die design

ZHOU Chi1, KE Ai-xin1, LI Quan2 (l.School of Mechanical and Automotive Engineering, South China University of Technology, Guangzhou, Guangdong 510641, China; 2.Guangzhou Xiangling Metal Product Co., Ltd.,

Guangzhou, Guangdong 511450, China)

Abstract: A method aimed to overcome the die enterprises difficulties in acquiring and man­aging knowledge in the processes of die designing and manufacturing was proposed in which successful die design cases, die evaluation forms and die revising records were incor­porated into a uniform knowledge management frame. Within the framework of a cased-based reasoning system, the knowledge model was built on the basis of a relational database. The application interface for implementing the knowledge management was also introduced. Compared with normal CBR system, this system is more effective in exploring knowledge from stamping processes and will not greatly increase the burden on users, hence reduce the difficulties of system implementation.

Key words: artificial intelligence; die enterprises; knowledge management; stamping die


 


1引言

知识工程(knowledge based engineeringKBE)

收稿日期2014-01-29

基金项目广东省科技攻关项目2008B010400042)

作者简介:周驰(1973-),男(汉族),浙江温州人,副教授,主要 从事模具设计制造、知识管理等研究。

2012,44(3):441-445.

[6]               黎展滔,洪福,陈庆新,等.基于模具企业数据库迁移的系统丌发和应用[J].模具工业,201339(3):1-6.

[7]               程罗锋.基于可伸缩矢量图形的数据迁移设计与实现[D]. 武汉:华中科技大学,2008:9-14.

[8]                                                                                                                                                                                                                                                                                                          ZHONGYU      CHENTING GUOZHONG SHENG QIANet al.Research on the method of data extraction based

20世纪后期出现的一种先进的设计思想,利用计 算机技术,以集成的方式,获取和重用零件和工艺 中的知识,目的在于减少丌发费用和缩短丌发周 [1]。对于一个知识管理系统,知识的获取是系统 的关键和基础。但山于冲模设计是一个主要依赖 经验,设计知识相对薄弱的领域,目前的人工智能

on categorye[J]. Computer                                                                and Information Science

(ICIS),2013 IEEE/ACIS 12th International Conference on2013:365-369.

[9]      舒琦,曾庆光,黄三伟.ETL过程优化与增量数据抽取的 研究[D].长沙:湖南大学,2011:6-8.

[10]  朱建辉,陈新.模具企业商业智能系统的设计与实现 [D].广州:广东工业大学,2012:36-41.

分享到:
写进Blog】 【点评留言】 【在线投稿】 【打印页面

相关文章

赞助商推广链接
Copyright © 2010-2012 Molds.Cn All rights reserved.