Il prompt engineering è morto, lunga vita al context engineering.
"Le persone associano i prompt a brevi descrizioni di compiti che si vogliono far eseguire a un LLM.
Nella realtà, in ogni applicazione LLM di livello industriale, il 'context engineering' è la delicata arte e scienza di riempire la finestra di contesto con tutte e sole le informazioni utili per il passo successivo.
SCIENZA perché farlo bene implica descrizioni e spiegazioni dei compiti, esempi 'few-shot', RAG, dati correlati (anche multimodali), strumenti, stato, cronologia, compattazione... Ne dai troppo poco o nella forma sbagliata, e l'LLM non ha il contesto giusto per prestazioni ottimali. Ne dai troppo, o troppo irrilevante, e i costi dell'LLM potrebbero aumentare e le prestazioni diminuire. Farlo bene è un'attività tutt'altro che banale.
ARTE per via dell'intuizione che guida la 'psicologia' degli LLM." (Andrey Karpathy su Twitter)
I nostri LLM sono esperti di tutto tranne di quello che interessa a noi e cioè dove siamo, cosa vogliamo fare, cosa ci interessa, perché stiamo facendo quella domanda, quale è la nostra cultura, quali sono le nostre regole, cosa ci muove, cosa sappiamo che loro non sanno, cosa diamo per scontato mentre interagiamo...
Spostare il focus dal fare la domanda giusta a dare il giusto contesto potrebbe essere un passo nella direzione corretta. Qualunque cosa 'corretta' voglia dire 😉.
Discuss.
#ai #promptengineering #contextengineering #credem4innovation