ODPS - 如何提升吞吐量

XiaoyanWang1
XiaoyanWang1 LSEG
in 中文论坛

odps8.2.0.L1.linux.rrg

我们一个应用团队想知道，当使用ODPS把RIC翻译成PE代码时，如何提升此查询的吞吐量？

当配置成一个100RIC每批的情况下，他们现在发送350RIC时花费的时间大概是11秒：

16:46:59.187 OdpsQuery.cpp:104 OdpsQuery:: CURL request took 1366ms for 9 rics 16:47:02.191 OdpsQuery.cpp:104 OdpsQuery:: CURL request took 3004ms for 100 rics 16:47:04.696 OdpsQuery.cpp:104 OdpsQuery:: CURL request took 2505ms for 100 rics 16:47:08.202 OdpsQuery.cpp:104 OdpsQuery:: CURL request took 3506ms for 100 rics 16:47:10.204 OdpsQuery.cpp:104 OdpsQuery:: CURL request took 2002ms for 39 rics

是否又什么推荐的办法可以提高吞吐量呢？是否扩大每批次的RIC数有助于提高性能？并行多查询是否有助于提升效率？




Tagged:

Best Answer

  • XiaoyanWang1
    XiaoyanWang1 LSEG
    Answer ✓


    ODPS 设计之初就不是一个高性能服务器，而是作为一个方便DACS视图组件，省去了在自定义应用程序中积极整合OpenDACS API的工作。

    请参考 INSTALL AND DEVELOPERS GUIDE on MyRefinitiv 中，性能章节。推荐的性能配置设立部分的描述和在发版时被测试过的性能统计的案例。

    吞吐量的统计是类似的，对于不通的调用我们可以观察到每一个消息类型中sub-section部分都又对于itemToPE的统计。假设你用的是HTTP1.1, 就像推荐的一样，请查看HTTP1.1子章节。所以，对于itemToPE的性能大概预期，可以我们查看HTTPS1.1的统计。

    在集成设计方面，我会考虑一次性获取map并缓存这一信息，而不是在每次调用时都要求提供这一信息。这些信息不会经常变化，所以为了安全起见，应该进行定期检查，这样就足以保持map是最新的。

    希望以上信息对您有用。

Categories