阿里云MaxCompute 2018-5月刊

简介: 5月,MaxCompute提供全表扫描的设置操作,可允许或禁止全表扫描;支持OSS上的Hive文件格式;支持OSS压缩格式GZIP。。。更多新功能新体验,欢迎阅读本文了解。

5月MaxCompute又发布哪些新功能,优化了哪些产品体验呢?小编带你一起看~

image

【新功能】 MaxCompute提供全表扫描的设置操作

以开关的形式,通过设置允许或禁止全表扫描。true为允许,false为禁止 项目级别控制:setproject odps.sql.allow.fullscan=false/true Session级别控制:set odps.sql.allow.fullscan=false/true 参考文档

【体验优化】MaxCompute Optimizer - Join Grouping优化

用户query有多个连续的join时,并且这些join有共同的join key,MaxCompute Optimizer会将这些join合并成multi-way join,多路join的输入数据直接shuffle到同一个stage,在做multi-way join时直接将多路的数据来做join,能减少不需要的中间join的数据量,减少整个query的stage,加速query执行。

【新功能】MaxCompute非结构化功能支持RAM子账号

MaxCompute非结构化处理框架,新增支持RAM子账号创建外部表 参考文档

【新功能】MaxCompute支持OSS上的Hive文件格式

MaxCompute非结构化,新增支持读取OSS上的开源数据格式:PARQUET、RCFILE 参考文档

【新功能】MaxCompute支持OSS压缩格式GZIP

MaxCompute支持OSS压缩格式-内置StorageHandler支持gzip的读/写压缩 参考文档

【新功能】MaxCompute SQL支持STRUCT复杂类型的排序与比较

MaxCompute SQL支持 STRUCT类型,并且可以任意嵌套使用,同时Java UDF也同样支持STRUCT,用户可以直接将复杂类型传入UDF中 参考文档

【新功能】MaxCompute SQL 新语法 SEMI JOIN

MaxCompute SQL 新语法 SEMI JOIN,包括:LEFT SEMI JOIN,LEFT ANTI JOIN 参考文档

【新功能】MaxCompute SQL 支持 CASE/WHEN的隐式类型转换

新增MaxCompute SQL:CASE/WHEN 表达式的隐式转换规则 参考文档

【新功能】MaxCompute SQL支持更多的内置函数

聚合函数:VARIANCE/VAR_POP、VAR_SAMP、COVAR_POP、COVAR_SAMP、PERCENTILE 字符函数:TRANSLATE 窗口函数:NTILE 其他函数:NVL 参考文档

【新功能】MaxCompute SQL支持Select Transform语言功能

SELECT TRANSFORM 功能允许用户指定启动一个子进程,将输入数据按照一定的格式通过stdin输入子进程,并且通过parse子进程的stdout输出,来获取输出数据。适合实现MaxCompute SQL没有的功能又不想写UDF的情况。

【价格调整】MaxCompute 2.0 NewSQL新特性商业化收费

MaxCompute2.0 NewSQL 采用的计费标准为:一次 SQL 计算费用 = 计算输入数据量 SQL 复杂度 SQL 价格。当天的所有计量信息在第二天做一次性汇总收费,并直接体现在您的账户账单中。NewSQL范围:涉及MaxCompute2.0新的基本数据类型与内建函数、复杂类型的扩充、CTE,VALUES,SEMIJOIN 、脚本模式与参数化视图、SELECT TRANSFORM 等。

价格调整内容
涉及2.0新的基本数据类型与内建函数、复杂类型的扩充、CTE,VALUES,SEMIJOIN 、脚本模式与参数化视图、SELECT TRANSFORM 等。

如需了解更多关于MaxCompute, 欢迎加入“MaxCompute开发者交流”钉钉群,群号:11782920,或扫码入群

image

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
12天前
|
分布式计算 大数据 BI
MaxCompute产品使用合集之MaxCompute项目的数据是否可以被接入到阿里云的Quick BI中
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
12天前
|
分布式计算 大数据 MaxCompute
MaxCompute产品使用合集之使用pyodps读取OSS(阿里云对象存储)中的文件的步骤是什么
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
11天前
|
分布式计算 DataWorks Java
DataWorks产品使用合集之阿里云DataWorks专有云环境下,上传MaxCompute的UDF(用户自定义函数)的JAR包的步骤如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
21 0
|
12天前
|
SQL 分布式计算 DataWorks
MaxCompute产品使用合集之阿里云MaxCompute对SQL语句的长度的长度限制是多少
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
1月前
|
机器学习/深度学习 分布式计算 数据挖掘
阿里云 MaxCompute MaxFrame 开启免费邀测,统一 Python 开发生态
阿里云 MaxCompute MaxFrame 正式开启邀测,统一 Python 开发生态,打破大数据及 AI 开发使用边界。
733 1
|
12天前
|
SQL 分布式计算 大数据
MaxCompute产品使用合集之怎样可以将大数据计算MaxCompute表的数据可以导出为本地文件
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
12天前
|
分布式计算 DataWorks 关系型数据库
MaxCompute产品使用合集之可以使用什么方法将MySQL的数据实时同步到MaxCompute
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
11天前
|
分布式计算 DataWorks 数据库
DataWorks操作报错合集之DataWorks使用数据集成整库全增量同步oceanbase数据到odps的时候,遇到报错,该怎么处理
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
23 0
|
11天前
|
分布式计算 DataWorks 关系型数据库
DataWorks产品使用合集之在 DataWorks 中,使用Oracle作为数据源进行数据映射和查询,如何更改数据源为MaxCompute或其他类型
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
26 1
|
11天前
|
分布式计算 DataWorks 调度
DataWorks产品使用合集之在DataWorks中,查看ODPS表的OSS对象如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
27 1

热门文章

最新文章

相关产品

  • 云原生大数据计算服务 MaxCompute

  • http://www.vxiaotou.com