Subjects machine learning

Gradient Descent Speed

Step-by-step solutions with LaTeX - clean, fast, and student-friendly.

Search Solutions

Gradient Descent Speed


1. Το πρόβλημα ζητά να αξιολογήσουμε αν η ταχύτητα προσέγγισης του ελαχίστου στο gradient descent είναι σταθερή και ανεξάρτητη από τη μορφή της συνάρτησης. 2. Ο αλγόριθμος gradient descent ενημερώνει τις παραμέτρους με βάση το αρνητικό του gradient της συνάρτησης κόστους. 3. Η ταχύτητα σύγκλισης εξαρτάται από τη μορφή της συνάρτησης, ειδικά από την καμπυλότητα και το condition number του Hessian. 4. Για παράδειγμα, σε καμπύλες με διαφορετικές κλίσεις ή καμπυλότητες, το gradient descent μπορεί να συγκλίνει πιο γρήγορα ή πιο αργά. 5. Συνεπώς, η ταχύτητα προσέγγισης δεν είναι σταθερή ούτε ανεξάρτητη από τη μορφή της συνάρτησης. Τελική απάντηση: Λάθος.