阿里云MaxCompute 2019-6月刊

简介: 6月MaxCompute新功能发布,精彩技术好文推荐,精彩活动回顾,尽在6月刊。

您好,MaxCompute 2019.6月刊为您带来6月产品、技术最新动态,欢迎阅读。

导读

【功能发布】6月产品重要发布

【文档更新】6月重要文档更新推荐

【干货精选】6月精选技术文章推荐

【活动回顾】6月活动回顾及干货整理




【功能发布】6月产品重要发布


1. 支持在阿里云的云监控服务中配置监控报警,以监测 MaxCompute 预付费资源组的使用情况。 查看详情>>>

发布功能

MaxCompute预付费资源组的监控数据已支持云监控,请开通云监控服务,配置MaxCompute监控指标,可实时看到各指标的变化趋势图,并支持设置报警阈值,当数据达到阈值,会通过邮件、钉钉、短信等多种渠道发送通知。

适用客户

公共云 MaxCompute 预付费客户

2. 支持生成建表DDL语句功能。  查看详情>>>

发布功能

SHOW CREATE TABLE ; 可生成创建table的SQL DDL语句,方便通过SQL重建schema。

适用客户

MaxCompute开发者

3. 参数化视图。  查看详情>>>

发布功能

创建带参数的VIEW,create view if not exists pv1(@a table (k string,v bigint), @b string) as select srcp.key,srcp.value from srcp join @a on srcp.key=a.k and srcp.p=@b;
支持用 subquery 作为参数的值: select * from view_name( (select 1 from src where a > 0), 1)
定义 view 时,支持 ANY 类型: create view view_name (@a ANY, @b TABLE (x ANY)) as …
定义 view 时,TABLE 定义支持 代表可变长列表: create view view_name(@a bigint, @b TABLE(x bigint, ANY)) as select from @b where x = @a; 这里第二个参数接受任何第一列是BIGINT的表,并且能通过 SELECT *,将变长部分返回到view调用者。

适用客户

MaxCompute SQL开发者

4. UDF支持分区裁剪。  查看详情>>>

发布功能

用户使用这一功能有2个方式:1、在编写UDF的时候,UDF类上加入annotation:@com.aliyun.odps.udf.annotation.UdfProperty(isDeterministic=true)
2、整个script设置flag: set odps.sql.udf.ppr.deterministic = true; 此时sql中所有udf均视为deterministic。结果回填存在一定的限制,即最多回填1000个partition,所以打开这个功能有可能会导致出现超过1000回填结果的报错。用户可以通过flag set odps.sql.udf.ppr.to.subquery = false; 来全局关闭这一功能?。

适用客户

使用UDF的开发者

5. UDTF/UDAF支持动态参数。  查看详情>>>

发布功能

annotation里面支持使用 来表示任意类型 ,可以写成 @Resolve("bigint, string, -> bigint,") ,或者@Resolve(" -> *") 。 在输入参数部分,可以表示为任意个数、任意类型、任意长度的参数;在返回值中,表示任意个数、任意长度的String类型的返回值。

适用客户

公共云上使用UDF开发客户

6. UDT支持函数重载。  查看详情>>>

发布功能

UDT 能够提供灵活的函数定义方式。某些情况下UDF 需要通过com.aliyun.odps.udf.ExecutionContext(在setup方法中传入)来获取一些上下文。而UDT也可以通过com.aliyun.odps.udt.UDTExecutionContext.get()方法来获取这样的一个 ExecutionContext 对象。UDT支持泛型,支持类继承,支持变长等功能。

适用客户

MaxCompute UDF开发者

7. MaxCompute UDT支持 Resource。  查看详情>>>

发布功能

MaxCompute UDT 中可以获取 ExecutionContext 对象,从而访问当前的execution context,访问资源等。如在SQL中,通过 com.aliyun.odps.udf.impl.UDTExecutionContext.get() 静态方法获取 ExecutionContext 对象。这个功能可以解决用户“只需要调用一次Java内置类的方法即可实现”的场景,避免通过繁杂的UDF方式解决,从4个步骤减少到1步,从而提升开发效率。

适用客户

MaxCompute 开发者


【文档更新】6月重要文档更新推荐  查看更多>>>


1. 构建与优化数据仓库的教程

2. 搭建互联网在线运营分析平台

3. Elasticsearch数据迁至MaxCompute最佳实践

4. PyODPS最佳实践参考示例

5. MaxCompute跨项目迁移的最佳实践


【干货精选】6月精选技术文章推荐  查看更多>>>


1.优酷背后的大数据秘密

2.MaxCompute客户端(odpscmd)在windows命令行下查询中文乱码问题处理实践???????

3.PyODPS DataFrame 处理笛卡尔积的几种方式


【活动回顾】6月活动回顾及干货整理


大数据技术公开课第二季四次课程系列视频回放

1.构建企业级大数据平台的经验和对未来的思考  观看回放>>>

2.基于阿里云MaxCompute构建企业云数据仓库CDW的最佳实践建议  观看回放>>>

3.优酷背后的大数据秘密  观看回放>>>

4.当各行各业遇到大数据  观看回放>>>

更多系列直播课程与话题讨论,欢迎加入“MaxCompute开发者社区2群”
点击链接申请加入或扫描二维码
https://h5.dingtalk.com/invite-page/index.html?bizSource=____source____&corpId=dingb682fb31ec15e09f35c2f4657eb6378f&inviterUid=E3F28CD2308408A8&encodeDeptId=0054DC2B53AFE745

123

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
12天前
|
分布式计算 大数据 BI
MaxCompute产品使用合集之MaxCompute项目的数据是否可以被接入到阿里云的Quick BI中
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
12天前
|
分布式计算 大数据 MaxCompute
MaxCompute产品使用合集之使用pyodps读取OSS(阿里云对象存储)中的文件的步骤是什么
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
12天前
|
分布式计算 DataWorks Java
DataWorks产品使用合集之阿里云DataWorks专有云环境下,上传MaxCompute的UDF(用户自定义函数)的JAR包的步骤如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
22 0
|
12天前
|
SQL 分布式计算 DataWorks
MaxCompute产品使用合集之阿里云MaxCompute对SQL语句的长度的长度限制是多少
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
1月前
|
机器学习/深度学习 分布式计算 数据挖掘
阿里云 MaxCompute MaxFrame 开启免费邀测,统一 Python 开发生态
阿里云 MaxCompute MaxFrame 正式开启邀测,统一 Python 开发生态,打破大数据及 AI 开发使用边界。
733 1
|
12天前
|
SQL 分布式计算 大数据
MaxCompute产品使用合集之怎样可以将大数据计算MaxCompute表的数据可以导出为本地文件
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
12天前
|
分布式计算 DataWorks 关系型数据库
MaxCompute产品使用合集之可以使用什么方法将MySQL的数据实时同步到MaxCompute
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
11天前
|
分布式计算 DataWorks 数据库
DataWorks操作报错合集之DataWorks使用数据集成整库全增量同步oceanbase数据到odps的时候,遇到报错,该怎么处理
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
24 0
|
11天前
|
分布式计算 DataWorks 关系型数据库
DataWorks产品使用合集之在 DataWorks 中,使用Oracle作为数据源进行数据映射和查询,如何更改数据源为MaxCompute或其他类型
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
27 1
|
12天前
|
分布式计算 DataWorks 调度
DataWorks产品使用合集之在DataWorks中,查看ODPS表的OSS对象如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
28 1

热门文章

最新文章

相关产品

  • 云原生大数据计算服务 MaxCompute

  • http://www.vxiaotou.com