Följande artikel hjälper dig: Låsa upp kraften hos konkava och konvexa funktioner i maskinen… – Mot AI
Ursprungligen publicerad på Mot AI.
En omfattande introduktion för nybörjare
Författare: Pratik Shukla
“Mod är att aldrig låta dina handlingar påverkas av dina rädslor.” — Arthur Koestler
Innehållsförteckning:
- Varför bryr vi oss så mycket om om en funktion är konvex eller konkav?
- Vad är en konkav och konvex funktion?
- Algebraiskt bevis på konkavitet
- Algebraiskt bevis på konvexitet
- Visuellt bevis på en konvex funktion med ett exempel
- Visuellt bevis på en konkav funktion med ett exempel
- Slutsats
- Resurser och referenser
Introduktion:
Konkava och konvexa funktioner är ett viktigt begrepp inom matematik och används i stor utsträckning inom olika områden, inklusive ekonomi, optimering och maskininlärning. Att förstå egenskaperna och beteendet hos dessa funktioner är avgörande för att lösa optimeringsproblem, göra förutsägelser och fatta välgrundade beslut. Emellertid kan ämnet konkava och konvexa funktioner vara utmanande för många människor på grund av dess abstrakta natur och komplexiteten i de matematiska begreppen involverade. I den här bloggen kommer vi att ge en inte så skonsam introduktion till konkava och konvexa funktioner som hjälper dig att få en bättre förståelse för deras egenskaper och beteende. Vi kommer att täcka grunderna för konkavitet och konvexitet, skillnaderna mellan de två och deras implikationer i verkliga tillämpningar. I slutet av den här bloggen kommer du att ha en solid grund för konkava och konvexa funktioner, vilket kommer att fungera som en språngbräda för att ytterligare utforska detta fascinerande ämne.
Varför bryr vi oss så mycket om om en funktion är konkav eller konvex?
När vi utför klassificering använder vi vanligtvis en gradientbaserad teknik för att hitta de optimala värdena för koefficienterna genom att minimera förlustfunktionen. Från nedanstående grafer kan vi säga att om funktionen inte är konvex så är det inte garanterat att vi når de globala minima. När det gäller icke-konvexa funktioner finns det en möjlighet att vi fastnar på lokala minima. För att undvika detta problem föredrar vi att vår förlustfunktion är konvex när vi använder algoritmen för gradientnedstigning.
Vad är en konkav och konvex funktion?
1. Konkav funktion:
En funktion av en enskild variabel kallas en konkav funktion om inga linjesegment som förenar två punkter på grafen ligger ovanför grafen vid någon punkt.
2. Konvex funktion:
En funktion av en enskild variabel kallas en konvex funktion om inga linjesegment som förenar två punkter på grafen ligger under grafen vid någon punkt.
3. Varken konkav eller konvex:
En funktion av en enskild variabel är varken en konvex eller konkav funktion om linjesegmenten ligger ovanför grafen vid vissa punkter och under grafen vid vissa punkter.
Hur kontrollerar man om en funktion är konkav eller konvex?
1. Algebraiskt bevis på konkavitet:
Låt oss säga att f(u) är en funktion definierad på intervallet [a, b]. Enligt definitionen är denna funktion konkav om, för varje par av tal X och Y med villkoret a ≤ X ≤ b och a ≤ Y ≤ b, linjesegmentet från (X, f(X)) till (Y, f(Y)) ligger på eller under grafen för funktionen. Detta illustreras tydligt i följande diagram. Nu, låt oss bevisa det algebraiskt!
1. Steg — 1:
Funktionen f(u) definieras över intervallet [a, b].
2. Steg — 2:
Låt oss ta två punkter X och Y så att a ≤ X ≤ b och a ≤ Y ≤ b. Motsvarande punkter på den vertikala axeln kan betecknas med f(X) respektive f(Y).
3. Steg — 3:
Valfri punkt P mellan [X, Y] kan skrivas på följande sätt.
Här är 0 ≤ λ ≤ 1. Om λ=0, då P=Y. Om λ=1 så P=X.
4. Steg — 4:
Rita sedan en rak linje som förbinder (X, f(X)) och (Y, f(Y)). Låt oss nu säga att höjden på linjesegmentet från (X, f(X)) till (Y, f(Y)) vid någon punkt P (X ≤ P ≤ Y) ges av,
5. Steg — 5:
Baserat på detta kan vi säga att höjden på linjesegmentet från (X, f(X)) till (Y, f(Y)) vid punkt X kommer att vara…
På liknande sätt kan vi säga att höjden på linjesegmentet från (X, f(X)) till (Y, f(Y)) vid punkt Y kommer att vara…
6. Steg — 6:
Baserat på detta kan vi säga att höjden på linjesegmentet från (X, f(X)) till (Y, f(Y)) vid punkt P kommer att vara…
7. Steg — 7:
Därefter förenklar vi ekvationen i steg — 6.
8. Steg — 8:
Därefter ersätter vi värdena för steg — 5 med steg — 7.
9. Steg — 9:
Därefter kan vi definiera värdet på f(P) som…
10. Steg — 10:
Enligt definitionen av en konkav funktion är funktionen f konkav om och endast om vi för varje par av tal X och Y med a ≤ X ≤ b och a ≤ Y ≤ b har…
11. Steg — 11:
Ovanstående villkor måste vara sant för varje värde 0≤ λ ≤1.
Sammanfattningsvis kan vi säga att en funktion är konkav när ovanstående villkor är uppfyllt.
2. Algebraiskt bevis på konvexitet:
Låt oss säga att f(u) är en funktion definierad på intervallet [a, b]. Enligt definitionen är denna funktion konvex om, för varje par av tal X och Y med villkoret a ≤ X ≤ y och a ≤ Y ≤ b, linjesegmentet från (X, f(X)) till (Y, f(Y)) ligger på eller ovanför funktionens graf. Detta illustreras tydligt i följande diagram. Nu, låt oss bevisa det algebraiskt!
De första nio stegen är desamma som beviset på konkavitet. Det finns bara en mindre förändring i det algebraiska beviset. Här går det…
1. Steg — 1:
Enligt definitionen av den konkava funktionen är funktionen f konkav om och endast om vi för varje par av tal X och Y med a≤ X ≤b och a≤ Y ≤b har…
2. Steg — 2:
Ovanstående villkor måste vara sant för varje värde 0≤ λ ≤1.
Sammanfattningsvis kan vi säga att en funktion är konvex när ovanstående villkor är uppfyllt.
Nu vet vi att det är svårt att rita en graf för en funktion eftersom dimensionaliteten för funktionen ökar. Så vi måste hitta ett annat sätt att ta reda på om en funktion är konvex eller konkav. Här kommer derivat till vår räddning!
En funktion f(x) sägs vara en konvex funktion om och endast om f”(x)>0 för alla x. Här hänvisar f”(x) till andraderivatan av funktionen f(x). Så om vi kan bevisa att andraderivatan av vår förlustfunktion är >0, så kan vi hävda att funktionen är en konvex funktion.
Visuellt bevis på en konvex funktion med ett exempel
1. Steg — 1:
Vi har vår funktion f(X)=X². I bilden nedan kan vi se hur funktionen f(X)=X² ändras för olika värden på X. Lägg märke till att värdet på f(X) alltid är positivt.
2. Steg — 2:
Här plottar vi derivatan av F(X). Den första derivatan av en funktion är förändringshastigheten för funktionen F(X). Som vi vet att förändringshastigheten för en funktion vid vilken punkt som helst ges av en tangentiell linje som dras till den punkten. I bilden ovan kan vi se att när X0 är förändringshastigheten positiv. Lägg också märke till att för alla värden på X, när X ökar, ökar också förändringshastigheten för f(x). Se följande tabell för att få en tydlig uppfattning.
3. Steg — 3:
Här ritar vi grafen för andraderivatan av funktionen F(X). 2:a derivatan av en funktion är förändringshastigheten för 1:a derivatan av funktionen. I bilden ovan kan vi se att för alla värden på X är förändringshastigheten alltid positiv. (Tangens till vilken punkt som helst är positiv.)
Visuellt bevis på en konkav funktion med ett exempel
Låt oss nu ta en konkav funktion som ett exempel för att lägga märke till skillnaderna mellan konkava och konvexa funktioner.
1. Steg — 1:
Vi har vår funktion f(X)=-X². I bilden nedan kan vi se hur funktionen f(X)=-X² ändras för olika värden på X. Lägg märke till att värdet på f(X) alltid är negativt.
2. Steg — 2:
Här plottar vi derivatan av F(X). Den första derivatan av en funktion är förändringshastigheten för funktionen F(X). Som vi vet att förändringshastigheten för en funktion vid vilken punkt som helst ges av en tangentiell linje som dras till den punkten. I bilden ovan kan vi se att när X0 är förändringshastigheten negativ. Lägg också märke till att för alla värden på X, när X ökar, minskar förändringshastigheten för f(x).
3. Steg — 3:
Här ritar vi grafen för andraderivatan av funktionen F(X). 2:a derivatan av en funktion är förändringshastigheten för 1:a derivatan av funktionen. I bilden ovan kan vi se att för alla värden på X är förändringshastigheten alltid negativ. (Tangens till vilken punkt som helst är negativ.)
Slutsats:
Vi kan dra följande slutsatser av det.
- Om f'(X)>0, så ökar f(X).
- Om f'(X)
- Om f”(X)>0, då är f(X) en konvex funktion.
- Om f”(X)
Baserat på ovanstående bevis och härledningar kan vi med säkerhet säga att när dubbelderivatan av en funktion är >0, då är funktionen konvex och när dubbelderivatan av en funktion är
Sammanfattningsvis är studiet av konkava och konvexa funktioner en viktig komponent i matematik och har långtgående tillämpningar inom många områden. Genom denna inte så milda introduktion till konkava och konvexa funktioner har vi utforskat de grundläggande begreppen, egenskaperna och beteendet hos dessa funktioner. Vi har sett hur begreppen konkavitet och konvexitet är relaterade till optimeringsproblem, och hur de används i verkliga tillämpningar som portföljoptimering, maskininlärning och ekonomi. Även om ämnet konkava och konvexa funktioner kan verka skrämmande till en början, är det ett otroligt värdefullt och kraftfullt verktyg för att lösa problem och fatta välgrundade beslut. Med en gedigen förståelse för konkava och konvexa funktioner kan du ta ditt första steg mot en mer omfattande förståelse av matematik, optimering och datavetenskap.
Citat:
För tillskrivning i akademiska sammanhang, vänligen citera detta arbete som:
Shukla, et al., “Unlocking the Power of Concave and Convex Functions in Machine Learning”, Mot AI, 2023
BibTex-citat:
@artikel{pratik_2023, title={Låsa upp kraften med konkava och konvexa funktioner i maskininlärning}, url={https://pub.towardsai.net/unlocking-the-power-of-concave-and-convex-functions-in-machine-learning-22b4adcdd690}, journal={Mot AI}, publisher={Mot AI Co.}, författare={Pratik, Shukla},editor={Binal, Dave}, år={2023}, månad={feb}}
Resurser och referenser:
- Konkav funktion — Wikipedia
- Konvex funktion — Wikipedia
Publicerad via Mot AI
