Visszajelzés a stratégiáról 60 másodperc

In shuffle query, the default partitions number is the cluster nodes number.

Ez a visszajelzés a stratégiáról 60 másodperc felülbírálható a szintaxis használatával hint. This number can be overridden by using the syntax hint. Ez a mutató akkor hasznos, ha a fürtben kis számú fürtcsomópont található, ahol az alapértelmezett partíciók száma túl kicsi lesz, és a lekérdezés továbbra is meghiúsul, vagy hosszú végrehajtási időt vesz igénybe.

This hint is useful when the cluster has a small number of cluster nodes where the default partitions number will be small too and the query still fails or takes long execution time.

Megjegyzés A sok partíció több fürterőforrás felhasználható, és csökkenti a teljesítményt.

Visszajelzés

Having many partitions may consume more cluster resources and degrade performance. Ehelyett válassza ki a partíció számát a hint. Instead, choose the partition number carefully by starting with the hint. PéldákExamples Az alábbi példa bemutatja, hogyan javítja a shuffle a summarize teljesítményt jelentősen.

Győztes Stratégiák

The following example shows how shuffle summarize improves performance considerably. A forrástábla rekordot tartalmaz, a Group By Key értéke pedig 10 — 10 fürtcsomópont. The source table has M records and the cardinality of the group by key is 10M, which is spread over 10 cluster nodes. The following example shows the improvement on a cluster that has two cluster nodes, the table has 60M records, and the cardinality of the group by key is 2M.

Rangsorolt jutalmak

A lekérdezés futtatása anélkül hint. The following example shows how shuffle join improves performance considerably.

• Alapszintű szolgáltatás
• Földalatti milliomos bináris opció
• Esettanulmány: Hatékony helyi vezetési struktúrák egy globális szervezetben— Nokia Budapest dr.

A példák egy 10 csomóponttal rendelkező fürtön történtek, ahol az adat az összes ilyen csomóponton el van osztva. The examples were sampled on a cluster with 10 nodes where the data is spread over all these nodes. A bal oldali tábla 15M-es rekordokat tartalmaz, amelyekben a join kulcs számos értéke ~ 14M.

The left table has 15M records where the cardinality of the join key is ~14M. The right side of the join is with M records and the cardinality of the join key is 10M.

A normál stratégiájának futtatásával join a lekérdezés a ~ 28 másodperc után ér véget, a memóriahasználat csúcsa pedig 1,43 GB:Running the regular strategy of the join, the query ends after ~28 seconds and the memory usage peak is 1. Trying the same queries on a larger dataset where left side of the join is M and the cardinality of the key is M. A jobb oldalán az join 1.

A frissítés újdonságai

The right side of the join is 1. Az alapértelmezett stratégiát tartalmazó lekérdezés join Kusto-korlátokat és időkorlátot mutat 4 perc visszajelzés a stratégiáról 60 másodperc. The query with the default join strategy hits Kusto limits and times-out after 4 mins. A shuffle stratégia használata közben join a lekérdezés a ~ 34 másodperc után ér véget, a memóriahasználat maximális értéke pedig 1,23 GB.

While using shuffle join strategy, the query ends after ~34 seconds and the memory usage peak is 1.

Az alábbi példa egy olyan fürt fejlesztését mutatja be, amely két fürtcsomóponton rendelkezik, a táblának van 60M-rekordja, és a join kulcs sarkalatos értéke 2m. The following example shows the improvement on a cluster that has two cluster nodes, the table has 60M records, and the cardinality of the join key is 2M.