概述

很少做一个数据集的满足使用那些数据的需求100%。那里。我们说了出来。但是,正因为这样的现实难免不意味着没有办法解决它。

数据转换是将几个或许多的改变(你决定!)数据,使其对您有价值的过程。该类型的数据变换过程中可能发生的被合并,聚集,汇总,过滤,富集,分离,连接,或删除的复制数据的变化的一些例子。

往往是一个必不可少的步骤所需要的数据转换像其它数据管理任务数据转换数据集成.数据转换是每个过程中的关键步骤,因为它可以帮助形成、标准化和在不同数据集之间创建一致性。除了转换数据之外,是否需要将数据转换为新的文件格式取决于组织的需求。在许多情况下,不进行转换的转换就足够了。最终,数据转换将帮助您高效地将数据移动到目标目的地。

越来越多的企业和组织依赖于数据转换来处理新兴技术和新应用程序产生的海量数据。通过能够转换数据,组织不仅可以最大化其数据的价值,还可以以简单的方式管理数据,并减少信息过载的可怕感觉。

数据转换步骤

在数据转换中有五个基本步骤,对于了解您是否正在创建、实现或使用转换工作流非常重要。亚博亚博官网无论数据转换是简单还是复杂,都必须考虑这些步骤。通过遵循这个粗略的指导方针,您将能够正确地计划和处理数据,以实现数据目标。

1.发现和数据剖析

  • 解释和理解你正在处理的确切数据(这样你就可以把你拥有的变成你想要的)。
  • 注意:包含的数据,如属性,结构中的详细信息,以及什么是你需要改造知道文件的扩展名是不够的!
  • 下面是一些你可以问自己的问题:
    • 结构:我的数据是表格式、栅格(像素化)还是三维的?
    • 在属性:是否有其他元数据?列标题描述了什么?有数据丢失吗?
    • 在转型:测量记录的单位是什么,我想要更改它们吗?所有的数据是否以一致的方式记录?
  • 确定数据是否需要在转换之前进行任何清理。

2.数据映射

  • 建立一个深思熟虑的计划,用于识别何种数据的元素将被改造,如何会发生。
  • 如果您要变换由于兼容性原因,数据(所以你选择的应用程序可以访问数据),确定哪些部分数据应该改变,哪些需要保持原样。
  • 确保您的计划考虑到数据是否会在转换期间丢失,以及在需要时如何减少损失。

3.创建一个工作流程亚博亚博官网

  • 决定是否将通过编写脚本或通过使用数据转换工具转换数据。考虑其中的一些问题:
    • 什么是对球队目前的专业知识和是否会出现缺口填补成功地完成我们的数据转化项目?
    • 我的数据结构和转换需求会随着时间而改变吗?我是否能够轻松地更新工作流以满足这些不断变化的需求?亚博亚博官网
    • 我是否需要考虑其他人是否会使用我创建的工作流?亚博亚博官网万一我不在身边,我需要让别人容易理解吗?
    截图可视化数据转换工具
    FME是一个易于使用的可视化数据转换工具的例子
  • 在工作流程中找出您的输入和输出数据格式的文件。亚博亚博官网
  • 确定数据转换的需求(兼容性、丰富等),并确保这些需求在您的工作流程中得到满足。亚博亚博官网

4.运行您的工作流程亚博亚博官网

  • 将输入数据连接到您的工作流并测试您创建的内容。亚博亚博官网当您运行工作流时,它将重新构建数据以亚博亚博官网匹配您的目标格式。工作流本亚博亚博官网质上是一个数据重组过程。
  • 运行工作流应该会以一种新亚博亚博官网的方式显示旧数据。是否将数据转换为新的文件格式取决于您。例如:
    • 一个JSON文件,包含添加到每个对象的新键和值
    • 具有更新日期的CSV文件,以一致的方式记录
    • 一个Shapefile的属性作为一个只有关键标志的KML文件

5.查看数据

  • 查看输出数据的质量和准确性。
  • 创建列表,或者如果必要的审计问题。
  • 根据您的发现,如果需要,检查您创建的工作流,做出更改,然后再试一次。亚博亚博官网

用FME进行数据转换

其中的转换数据最简单的方法是通过数据集成软件平台,如FME,专门从事数据转换。FME带走编写脚本中,这样的人的需要,不管他们的技术背景,可以轻松地创建和执行他们自己的数据转换工作流程。亚博亚博官网

变压器是用来修改数据的任何你想要的方式FME的标准数据转换工具。你可以把变压器作为包装动作,功能或预先写好的代码片段。有各种各样的yabo sports 供您选择,您可以在任何逻辑顺序,你想,这样的数据恰好转化为您的需求将它们添加到您的工作流程。亚博亚博官网

如果你是一名开发人员,没有必要担心,FME是不是在这里代替你。就像任何一个人都不能什么都知道,没有一个单一的软件将永远是能够做到的一切。这就是为什么你可以将自己的代码段,如Python,R或JavaScript,直接进入工作流程,以便你一起和FME可以建立一些伟大的事情。亚博亚博官网现在,而不是写一个完整的数据转换脚本,您可以快速,轻松地创建工作流,让您有更多的时间来工作,更重要的任务。亚博亚博官网

总之,无论你是一个开发者或没有,FME的功能,并且内置变压器给你的灵活性和选择,以定制和,但是你想扩展您的工作流程。亚博亚博官网

下面是它的工作原理

变压器直接用于FME桌面.这很容易让你的变压器添加到您的工作流程来创建自己的自定义数据转化的过程。亚博亚博官网就是这样:

  1. 通过在工作区中的任何地方键入转换器的名称来添加转换器
  2. 将变压器拖放到你想要的地方
  3. 使用输入和输出端口将变压器连接在一起以链接您的工作流亚博亚博官网
Reprojector参数对话框的屏幕截图

每个变压器的参数,你可以控制给你的灵活性,你到底要如何转换数据。如果你是新来的数据转换,不用担心。有文件来帮助您理解参数是如何工作的。在您知道它之前,您的新的可视化工作流将完成!亚博亚博官网

现在您已经有了一个完整的数据转换工作流,您可以轻松地重用部分或全部工作流来完成额外的数据转换任务。亚博亚博官网为了让将来的您和其他人更容易理解您创建原始工作流背后的逻辑,可以使用annotation和Bookmark特性直接将注释添加到您的工作空间中。亚博亚博官网

就是这样!凭借你自己的创造性技能和数据专业知识,与FME一起工作可以让你到达你需要去的地方。

数据转换工作流的示例亚博亚博官网
要了解更多有关上述数据转换,看看我们的教程转换CSV到Microsoft Excel

什么是fme?

FME是目前公认的数据集成平台,对数据集成有最好的支持空间数据在全球范围内。但是,它不仅可以处理空间数据,而且it和业务专业人员很容易使用它。FME拥有一系列被称为变压器的支持性数据转换工具,可以轻松集成超过450种格式和应用程序。使用FME,您可以灵活地按照您想要的方式进行转换和集成。

亚博亚博官网FME的制造商Safe Software是科技界的领导者,他们努力走在数据集成趋势的前面。FME不断升级,以确保它能够支持新的数据格式、现有数据格式的更新版本和大量数据。单个部门必须在各自的数据竖井中工作的想法已经不复存在,IT结构限制了公司真正作为一个整体工作的潜力。数据应该能够在任何地方、任何时间、以任何方式自由流动。

相关资源

入门FME:添加变形金刚

如何选择合适的变压器

如何开发数据转换与FME服务器

什么是数据验证?

为什么要关注空间数据

什么是应用集成?