概述

一个数据集很少能满足使用该数据的用户的100%需求。在那里。我们说它。但是,仅仅因为这个事实是不可避免的并不意味着没有办法解决它。

数据转换是对数据应用少量或大量更改(由您决定!)以使其对您有价值的过程。在数据转换期间可能发生的更改类型的一些示例包括合并、聚合、汇总、过滤、浓缩、分割、连接或删除重复数据。

数据转换通常是进一步的数据管理任务所需的强制性步骤,如数据转换数据集成.数据转换是每个过程中的关键步骤,因为它可以帮助形成、标准化和在各种数据集之间创建一致性。除了转换之外,您是否需要将数据转换为新的文件格式,这取决于您组织的需求。在许多情况下,只需要转换就足够了。最终,数据转换将帮助您高效地将数据移动到目标目的地。

越来越多的企业和组织依赖于数据转换来处理由新兴技术和新应用程序生成的大量数据。通过转换数据,组织不仅可以最大化其数据的价值,还可以以简单的方式管理数据,减少信息超载的可怕感觉。

数据转换步骤

数据转换涉及到五个基本步骤,它们对于了解您是在创建、实现还是使用转换工作流非常重要。亚博亚博官网无论数据转换是简单还是复杂,都需要考虑这些步骤。通过遵循这个粗略的指导原则,您将能够适当地计划和处理数据,以实现您的数据目标。

1.数据发现和数据分析

  • 解释并理解你正在处理的确切数据(这样你就可以把你拥有的变成你想要的)。
  • 注意数据中包含的详细信息,比如属性、结构,以及需要转换的内容知道文件扩展名是不够的!
  • 下面是一些你可能会问自己的问题:
    • 结构:我的数据是表格、光栅(像素化)还是三维的?
    • 属性:是否有额外的元数据?列标题描述了什么?是否有数据丢失?
    • 转换:记录的度量单位是什么,我想要改变它们吗?所有的数据是否以一致的方式记录?
  • 确定数据在转换之前是否需要任何清理。

2.数据映射

  • 建立一个经过深思熟虑的计划,确定数据的哪些元素将被转换,以及如何进行转换。
  • 如果出于兼容性的原因转换数据(以便您选择的应用程序可以访问数据),那么确定数据的哪些部分应该更改,哪些部分需要保持原样。
  • 确保您的计划考虑在转换期间是否会丢失数据,以及在需要时如何减少损失。

3.创建一个工作流亚博亚博官网

  • 决定是通过编写脚本还是使用数据转换工具来转换数据。考虑以下几个问题:
    • 团队中目前的专业知识是什么?是否存在需要填补的空白,以成功地完成我们的数据转换项目?
    • 我的数据和转换需求的结构会随时间变化吗?我是否能够轻松地更新工作流程以满足这些不断变化的需求?亚博亚博官网
    • 我是否需要考虑其他人是否会使用我创建的工作流?亚博亚博官网如果我不在身边,我是否需要让别人容易理解?
    截图的可视化数据转换工具
    FME是一个易于使用的可视化数据转换工具的例子
  • 在工作流程中确定输入和输出数据文件格式。亚博亚博官网
  • 确定数据转换的需求(兼容性、充实等),并确保这些需求在您的工作流程中得到满足。亚博亚博官网

4.运行您的工作流亚博亚博官网

  • 将输入数据连接到您的工作流程,并测试您所创建的内容。亚博亚博官网当您运行您的工作流时,它将重新构建数亚博亚博官网据以匹配您的目标格式。工作流本亚博亚博官网质上是一个数据重构过程。
  • 运行工作流应该会导致旧数亚博亚博官网据以新的方式呈现。数据是否被转换成新的文件格式由您决定。例如:
    • 一个JSON文件,为每个对象添加了新的键和值
    • 以一致的方式记录日期更新的CSV文件
    • Shapefile的属性为只有关键地标的KML文件

5.检查数据

  • 审核输出数据的质量和准确性。
  • 如有必要,创建问题列表或审计。
  • 根据您的发现,如果需要,检查您创建的工作流,进行更改,并再次尝试。亚博亚博官网

利用FME进行数据转换

转换数据的一种最简单的方法是通过数据集成软件平台,比如FME,它专门从事数据转换。FME消除了编写脚本的需要,因此任何人,无论其技术背景如何,都可以轻松地创建和执行自己的数据转换工作流。亚博亚博官网

transformer是FME的标准数据转换工具,可用于以您喜欢的任何方式修改数据。您可以将转换器视为打包的动作、函数或预先编写的代码片段。有各种各样的yabo sports 供您选择,并且您可以按照您喜欢的任何逻辑顺序将它们添加到您的工作流中,以便数据完全按照您的需要进行转换。亚博亚博官网

如果你是一名开发人员,不用担心,FME不会取代你。就像没有一个人可以知道所有的事情一样,也没有一个软件可以做所有的事情。这就是为什么你可以插入你自己的代码片段,如Python, R或JavaScript,直接到一个工作流,这样你和FME可以一起构建一些伟大的东西。亚博亚博官网现在,您可以快速而简单地创建工作流,而不是编写整个数据转换脚本,从而为您提供更多的时间来处理更重要的任务。亚博亚博官网

总的来说,无论您是否是开发人员,FME的功能和内置转换器都为您提供了定制和扩展工作流的灵活性和选择余地。亚博亚博官网

下面是它的工作原理

变压器直接用于FME桌面.您可以很容易地将转换器添加到您的工作流中,以创建您自己的自定义数据转换过程。亚博亚博官网方法如下:

  1. 通过在工作区的任何地方输入转换器的名称来添加它
  2. 拖放你的变压器到你想要它的地方
  3. 使用输入和输出端口连接变压器以链接您的工作流程亚博亚博官网
投影参数对话框的截图

每个转换器都有您可以控制的参数,使您能够灵活地按照您想要的方式转换数据。如果您是数据转换新手,不用担心。有文档帮助您理解参数的工作原理。在您知道它之前,您的新的可视化工作流将完成!亚博亚博官网

现在,您已经完成了数据转换工作流程,您可以轻松地重用工作流程的部分或全部,以执行额外的数据转换任务。亚博亚博官网为了让以后您和其他人更容易理解您创建原始工作流背后的逻辑,可以使用注释和书签功能直接将注释添加到工作空间中。亚博亚博官网

这就是所有的事情!凭借你自己的创意技能和数据专业知识,与FME合作可以让你到达你想去的地方。

数据转换工作流的示例亚博亚博官网
要了解以上数据转换的更多信息,请查看我们的教程将CSV转换为Microsoft Excel

FME基金是什么?

FME是目前公认的数据集成平台空间数据在全球范围内。但是,它可以处理的不仅仅是空间数据,it和业务专业人员很容易使用它。FME有一系列支持的数据转换工具,称为转换器,可以轻松集成超过450种格式和应用程序。使用FME,您可以灵活地按照您想要的方式进行转换和集成。

亚博亚博官网Safe Software, FME的制造商,是技术世界的领导者,努力保持领先于数据集成趋势的一步。FME不断升级,以确保它能够支持新的数据格式、现有数据格式的更新版本和大量数据。各个部门必须在各自的数据竖井中工作的想法已经一去不复返了,IT结构限制了公司作为一个整体真正工作的潜力。数据应该能够自由流动,无论它在哪里、何时或如何被需要。

相关资源

开始使用FME:添加变形金刚

如何选择合适的变压器

如何用FME服务器开发数据转换

什么是数据验证?

为什么你应该关心空间数据

什么是应用集成?