最新公告
  • 欢迎您光临源码库,本站秉承服务宗旨 履行“站长”责任,销售只是起点 服务永无止境!立即加入
  • DataHub问题之同步篇

    Q:DataHub同步延迟很大,不符合5min/64m归档一次

    • 检查数据同步状态,若为EXECUTING代表同步任务正常
    • 可能原因:数据同步点位设置有误,页面创建默认从当前时间创建
    • 如何解决:创建同步时指定时间为数据最早写入时间

    Q:Datahub归档状态显示为hang?

    • DataHub问题之同步篇插图源码资源库

    点击问号按钮查看详情,会显示hang原因,进行更正

    DataHub归档状态为error

    • DataHub问题之同步篇插图源码资源库

    解决办法:查看失败原因,尝试重启归档

    Q:Odps partition not in partition config. partition:ts traceId: 20200331160333a838dc0bcc14e600]

    • MaxCompute中对应的分区信息不在DataHub的分区信息中。这个多见于使用SystemTime或者EventTime模式同步的方式,这种方式,需要MaxCompute中固定存在三级分区分别是ds/hh/mm,分区类型为String,如果匹配不上,就会报这个错误。

    maxcompute新加一个字段流程

    • 首先Topic schema需要使用appendField新加字段,然后connector也需要新加字段,最后调用connector reload方法进行重启,具体所用到的方法见https://help.aliyun.com/document_detail/158841.html?spm=a2c4g.11186623.6.589.6f621a12k5u2ia#h2-connector-10

    数据同步脏数据会自动清理的吗

    • 脏数据指的是在datahub里,写不到下游的数据【下游产品无法接收】,同步时候会自动跳过

    datahub里面在配置数据同步的页面的时候,出现了字段信息太多的问题,导致后面的页面无法上翻

    • 全屏即可下翻
    1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
    2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
    3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
    4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
    5. 如有链接无法下载、失效或广告,请联系管理员处理!
    6. 本站资源售价只是赞助,收取费用仅维持本站的日常运营所需!

    源码资源库 » DataHub问题之同步篇