Gradient Descent Speed
1. Το πρόβλημα ζητά να αξιολογήσουμε αν η ταχύτητα προσέγγισης του ελαχίστου στο gradient descent είναι σταθερή και ανεξάρτητη από τη μορφή της συνάρτησης.
2. Ο αλγόριθμος gradient descent ενημερώνει τις παραμέτρους με βάση το αρνητικό του gradient της συνάρτησης κόστους.
3. Η ταχύτητα σύγκλισης εξαρτάται από τη μορφή της συνάρτησης, ειδικά από την καμπυλότητα και το condition number του Hessian.
4. Για παράδειγμα, σε καμπύλες με διαφορετικές κλίσεις ή καμπυλότητες, το gradient descent μπορεί να συγκλίνει πιο γρήγορα ή πιο αργά.
5. Συνεπώς, η ταχύτητα προσέγγισης δεν είναι σταθερή ούτε ανεξάρτητη από τη μορφή της συνάρτησης.
Τελική απάντηση: Λάθος.