spark-optimization

Vue d’ensemble de la compétence spark-optimization

À quoi sert spark-optimization

La compétence spark-optimization est un guide ciblé pour diagnostiquer et améliorer les performances des jobs Apache Spark. Elle est particulièrement utile quand un pipeline fonctionne déjà sur le plan fonctionnel, mais s’exécute trop lentement, génère beaucoup de spills, effectue trop de shuffle, souffre de skew ou devient coûteux à grande échelle. Au lieu de donner des conseils génériques du type « rendre Spark plus rapide », elle structure l’optimisation autour du modèle d’exécution : jobs, stages, tasks, partitions, mémoire et comportement du shuffle.

À qui s’adresse cette compétence spark-optimization

Cette compétence convient aux data engineers, analytics engineers, équipes platform et utilisateurs d’agents qui ont besoin d’une aide concrète pour le tuning de performances sur Spark SQL ou PySpark. Elle est particulièrement utile si vous pouvez fournir un minimum de contexte sur la charge, par exemple les patterns de jointure, la taille des données, le nombre de partitions, les paramètres des executors ou des symptômes observés dans la Spark UI. Si vous débutez, elle peut quand même aider, mais elle donne le meilleur d’elle-même lorsqu’elle s’appuie sur des détails réels de job plutôt que sur une demande vague.

Le vrai besoin métier derrière l’usage

La plupart des utilisateurs ne cherchent pas à « optimiser Spark » de manière abstraite. Ils essaient plutôt de répondre à des questions comme :

• Pourquoi ce stage de jointure est-il bien plus lent que les autres ?
• Pourquoi les executors spillent-ils ou tombent-ils en OOM ?
• Pourquoi ce pipeline est-il devenu plus lent après une hausse du volume de données ?
• Faut-il repartition, mettre en cache, utiliser broadcast ou modifier les paramètres executor ?
• Comment réduire le coût du shuffle sans changer la logique métier ?

La valeur de la compétence spark-optimization vient du fait qu’elle reformule ces sujets comme des problèmes de performance qu’on peut diagnostiquer, et pas simplement comme des questions de style de code.

Ce qui la distingue d’un prompt générique

Un prompt générique de modèle a souvent tendance à empiler tous les conseils classiques de tuning Spark en une seule fois. La spark-optimization skill est mieux adaptée à un workflow plus resserré : comprendre d’abord le comportement d’exécution, puis choisir le bon levier. Ses points distinctifs les plus forts sont l’accent mis sur la stratégie de partitionnement, la réduction du shuffle, le tuning mémoire et le modèle d’exécution Spark qui permet d’expliquer pourquoi un changement devrait aider.

Comment utiliser la compétence spark-optimization

Contexte d’installation de spark-optimization

Cette compétence se trouve dans le dépôt wshobson/agents, à l’emplacement :

plugins/data-engineering/skills/spark-optimization

Si votre exécuteur de compétences prend en charge les installations directes depuis GitHub, un schéma courant est :

npx skills add https://github.com/wshobson/agents --skill spark-optimization

Si votre environnement utilise un autre installateur, ajoutez la compétence depuis ce dépôt et sélectionnez le slug spark-optimization. Les éléments visibles du dépôt ne montrent que SKILL.md ; attendez-vous donc à un usage centré sur la documentation, et non sur des scripts utilitaires ou des fichiers de référence.

Commencez par lire ce fichier

Commencez par :

• plugins/data-engineering/skills/spark-optimization/SKILL.md

Comme cette compétence n’expose pas de scripts de support, de règles ou de références visibles, l’essentiel de la valeur vient d’une lecture attentive du cadre principal d’optimisation. N’attendez pas d’automatisation qui inspecte votre Spark UI ou votre cluster à votre place ; c’est à vous d’apporter les faits d’exécution.

Les entrées nécessaires pour que la compétence fonctionne bien

La qualité d’usage de spark-optimization dépend fortement du niveau de détail fourni. Parmi les entrées utiles :

• API Spark utilisée : PySpark DataFrame, Spark SQL, Scala Spark, streaming, batch
• Taille des données : nombre de lignes, nombre de fichiers, taille des partitions, dynamique de croissance
• Topologie du cluster : mémoire executor, cœurs, nombre d’executors, comportement d’autoscaling
• Symptômes : tasks déséquilibrées, shuffle read long, spills, OOM, stragglers, pauses GC
• Structure de requête : jointures, agrégations, UDF, fonctions de fenêtre, repartitioning
• Format de stockage : Parquet, Delta, Iceberg, CSV, JSON
• Observations Spark UI : IDs de stages lents, volume de shuffle, répartition des tasks, taille des entrées
• Configuration actuelle : spark.sql.shuffle.partitions, seuils de broadcast, serializer

Sans ces informations, le modèle retombera sur des suggestions génériques.

Transformer un objectif vague en prompt solide

Prompt faible :

Optimize my Spark job.

Prompt plus solide :

Use the spark-optimization skill to diagnose a slow PySpark batch job. It reads 1.2 TB of Parquet, joins a 1.2 TB fact table with a 20 MB dimension table and a 40 GB history table, then aggregates by customer and day. The slowest stage shows high shuffle read and a few tasks run 10x longer than others. Cluster: 20 executors, 8 cores each, 32 GB memory each. Current spark.sql.shuffle.partitions=200. Suggest likely bottlenecks, code-level fixes, and config changes in priority order, with tradeoffs.

Ce prompt donne à la compétence suffisamment d’éléments pour raisonner sur les broadcast joins, le skew, le dimensionnement des partitions et la pression du shuffle.

Un workflow pratique avec spark-optimization

Un bon workflow est le suivant :

1. Décrivez la charge et le symptôme.
2. Partagez les caractéristiques du stage lent depuis la Spark UI.
3. Demandez un classement des goulets d’étranglement, pas juste une liste de conseils de tuning.
4. Demandez des changements par couches :
   • changements de requête/code
   • changements de partitionnement
   • changements de stratégie de jointure
   • changements mémoire/configuration
5. Appliquez d’abord la correction la plus petite avec le plus haut niveau de confiance.
6. Relancez puis comparez le comportement au niveau des stages.

Cela permet de garder le spark-optimization guide ancré dans des résultats mesurables, plutôt que dans du tuning appliqué par réflexe.

Les points forts de la compétence

Le texte du dépôt met clairement l’accent sur les sujets suivants :

• stratégie de partitionnement
• choix de cache
• optimisation du shuffle
• tuning mémoire
• passage à l’échelle des pipelines Spark
• réduction du skew des données

En pratique, cela signifie que la compétence est surtout utile pour le travail de performance en batch, quand la structure des stages et les mouvements de données sont les principaux facteurs de coût.

Ce qu’il faut demander explicitement

Demandez à la compétence des sorties faciles à exploiter, par exemple :

• un tableau d’hypothèses de goulets d’étranglement
• des changements de configuration recommandés avec l’effet attendu
• les points de skew probables et les vérifications à faire
• si un broadcast join est pertinent ou non
• si repartition ou coalesce est le plus adapté
• des recommandations de cache ou persist avec justification
• les anti-patterns dans vos transformations

C’est bien plus utile que de demander une simple « liste de bonnes pratiques ».

Les sujets du dépôt à cibler en priorité

D’après la source visible, les meilleurs axes à invoquer dans vos prompts sont :

• modèle d’exécution Spark
• facteurs clés de performance
• minimisation du shuffle
• gestion du skew des données
• choix de sérialisation
• réduction de la pression mémoire
• bon dimensionnement des partitions

Ce sont les concepts autour desquels la compétence est explicitement structurée ; vous avez donc plus de chances d’obtenir une réponse alignée en les nommant clairement.

Modèle de prompt pratique pour spark-optimization en Performance Optimization

Utilisez un prompt de ce type :

Use the spark-optimization skill for Performance Optimization. Analyze this Spark job for shuffle, skew, memory, and partition issues. Here is the job summary: [pipeline description]. Here are the slow stages and Spark UI symptoms: [details]. Here is current cluster config: [details]. Here is a simplified code excerpt: [code]. Recommend the top 3 changes by expected impact, explain why each helps in Spark’s execution model, and note any tradeoffs or validation steps.

Cette formulation produit en général une réponse bien plus exploitable pour décider que « improve performance ».

FAQ sur la compétence spark-optimization

spark-optimization est-il utile sans données Spark UI ?

Oui, mais les résultats sont moins fiables. La compétence peut quand même raisonner à partir de la structure du code, des tailles de jointure, de l’organisation des fichiers et des paramètres du cluster. En revanche, si vous voulez des recommandations solides sur le skew, les points chauds de shuffle ou la pression mémoire, les éléments issus de la Spark UI améliorent nettement la qualité de la réponse.

Cette compétence spark-optimization convient-elle aux débutants ?

Oui, si vous maîtrisez déjà les notions de base de Spark. La compétence explique l’optimisation à travers les jobs, stages, tasks, partitions et le comportement du shuffle, ce qui aide les profils intermédiaires à progresser vite. Les débutants complets peuvent toutefois avoir besoin d’une introduction générale à Spark avant que les recommandations deviennent vraiment actionnables.

Quand ne faut-il pas utiliser spark-optimization ?

N’utilisez pas spark-optimization comme outil principal si le problème vient en réalité de :

• logique métier incorrecte
• mauvaise qualité des données source
• échecs d’orchestration
• incidents sur la couche de stockage
• goulets d’étranglement non liés à Spark, en dehors du moteur

C’est aussi un mauvais choix si vous ne pouvez partager aucun fait d’exécution et cherchez seulement une checklist générique de tuning.

En quoi est-ce différent des conseils Spark classiques ?

Les prompts ordinaires produisent souvent des conseils très larges comme « mettre davantage en cache », « augmenter le nombre de partitions » ou « utiliser des broadcast joins ». La décision d’installation de spark-optimization vaut le coup si vous cherchez un workflow centré sur le diagnostic du levier à actionner en premier, et sur la raison de ce choix, à partir des concepts d’exécution Spark plutôt que d’astuces isolées.

La compétence remplace-t-elle les benchmarks ?

Non. Elle améliore la qualité de vos hypothèses et des changements recommandés, mais vous devez toujours tester avant et après. L’optimisation Spark dépend fortement de la charge, et certains changements qui améliorent un stage peuvent en dégrader un autre.

Comment améliorer l’usage de la compétence spark-optimization

Donnez des symptômes, pas seulement des objectifs

Le moyen le plus rapide d’améliorer l’usage de spark-optimization est de remplacer les objectifs abstraits par des symptômes précis :

• « le stage 14 a 2 tasks qui tournent 12 minutes alors que les autres finissent en 40 secondes »
• « le shuffle read est de 600 GB après un groupBy »
• « les executors spillent sur disque pendant un sortMergeJoin »
• « le job est devenu plus lent après être passé de 200 GB à 900 GB d’entrée quotidienne »

Ces indices permettent à la compétence de relier directement le problème à des causes de skew, de partitionnement, de mémoire ou de shuffle.

Incluez la forme du code qui crée le goulet d’étranglement

Vous n’avez pas besoin de coller tout votre projet. Un petit extrait montrant :

• les jointures
• les agrégations
• les appels à repartition
• l’usage de cache ou persist
• les UDF Python
• les lectures et écritures de fichiers

suffit généralement. Les problèmes de performance Spark se lisent souvent dans la forme des transformations, pas seulement dans la configuration.

Demandez des recommandations classées par priorité

Un mode d’échec fréquent consiste à recevoir dix suggestions sans aucun ordre. Demandez à la compétence de classer les corrections selon :

1. impact attendu sur les performances
2. effort d’implémentation
3. risque opérationnel

Cela force une réponse plus nette et facilite l’adoption.

Demandez des étapes de validation après chaque recommandation

Un bon usage du spark-optimization guide inclut la vérification. Demandez à la compétence comment confirmer que chaque correction a fonctionné, par exemple via :

• réduction du shuffle read/write
• durées de tasks plus homogènes
• moins de spills
• temps GC plus faible
• moins de stages
• meilleur équilibre des partitions d’entrée

Cela évite le « tuning à l’intuition ».

Donnez vos contraintes pour obtenir des conseils réalistes

Mentionnez des contraintes comme :

• impossible d’augmenter la taille du cluster
• impossible de réécrire en Scala
• obligation de conserver le format de table actuel
• objectif de latence fixe
• mémoire limitée pour les broadcast joins
• seuls des changements de configuration sont autorisés ce sprint

La compétence donnera des conseils beaucoup plus exploitables si elle sait clairement ce qui est hors périmètre.

Itérez après la première réponse de spark-optimization

Après un premier passage, revenez avec :

• ce qui a changé
• ce qui s’est amélioré
• ce qui s’est dégradé
• les observations Spark UI mises à jour

C’est là que la compétence devient vraiment utile. L’optimisation Spark est itérative ; la meilleure étape suivante dépend souvent des effets de bord du changement précédent.

Surveillez les erreurs de cadrage les plus fréquentes

Les résultats les moins bons apparaissent le plus souvent quand les utilisateurs :

• demandent une optimisation sans aucun détail sur la charge
• ignorent le skew et se concentrent uniquement sur la mémoire executor
• mettent en cache de gros jeux de données sans preuve de réutilisation
• changent le nombre de partitions à l’aveugle
• considèrent chaque jointure comme candidate au broadcast
• optimisent la configuration avant de corriger les transformations coûteuses

Si vous voulez de meilleurs résultats, faites raisonner la compétence à partir de faits, pas de préférences génériques.