Jupyter - Erstellen und Bewerten von Aufgaben: Unterschied zwischen den Versionen

Anleitung
Anleitung
Informationen
Betriebssystem	Alle
Service	Jupyter
Interessant für	Gäste, Angestellte und Studierende
HilfeWiki des ZIM der Uni Paderborn

Aktuelle Version vom 19. September 2024, 12:14 Uhr

Jupyter

Allgemeine Informationen

In Jupyter können Notebooks erstellt und bearbeitet werden, die die Entwicklung, Dokumentation und Ausführung von Code, Visualisierungen und erläuternden Text enthalten können.

Eine detaillierte Anleitung zu den grundlegenden Funktionen und der Nutzung von JupyterHub finden Sie in der entsprechenden Anleitung: Jupyter - Allgemeine Informationen

Darüber hinaus bietet Jupyter eine integrierte Möglichkeit zur Erstellung und Bewertung von Aufgaben über den Grader Service. Dieses Tool unterstützt Lehrende dabei, notebook-basierte Aufgaben zu erstellen, die sowohl Programmieraufgaben als auch freie schriftliche Antworten umfassen können. Der Grader Service erleichtert zudem die automatische und manuelle Bewertung der Aufgaben

Die Erstellung und Bewertung von Aufgaben erfolgt über den Jupyter Grader Service. Diesen finden Sie unter „Assignments“ und können ihn über zwei verschiedene Launcher aufrufen:

„Assignments“ (1): Studierende können hier ihre Aufgaben abrufen und einreichen.
„Course Management (2)“: Lehrende können Aufgaben erstellen, bewerten und verwalten. Diese Option ist nur für Nutzer sichtbar, die die Rolle „Instructor“ oder „Tutor“ in einem Kurs innehaben.

Erstellen von Aufgaben (Assignments)[Bearbeiten | Quelltext bearbeiten]

1. Course Management öffnen: Um eine Aufgabe zu erstellen, starten Sie „Course Management“ und wählen den entsprechenden Kurs aus.

2. Aufgabenübersicht: Wenn Sie den Kurs aufgerufen haben, sehen Sie in einer tabellarischen Übersicht alle bereits erstellten Aufgaben des Kurses. Hier können Sie Aufgaben verwalten, die Deadlines und den Status einsehen und auch Aufgaben löschen.

3. Neue Aufgabe erstellen: Klicken Sie auf den „+ NEW“-Button und vergeben Sie einen Namen für die Aufgabe. Sie können hier bereits eine Deadline setzen, die Anzahl der Abgaben begrenzen und das „Auto-Grading-Behavior“ festlegen.

Das „Auto-Grading-Behavior“ legt das Verhalten der automatischen Bewertung für die Aufgabe fest. Damit bestimmen Sie, welche Aktion ausgeführt wird, wenn eine Abgabe eingereicht wird.
- No Automatic Grading: Keine automatische Bewertung.
- Automatic Grading: Die Aufgabe wird automatisch bewertet, sobald Studierende abgeben. Zellen des Typs „Autograded tests“ und „Autograded answer“ werden automatisch bewertet.
- Fully Automatic Grading: Die Abgabe wird vollständig automatisch bewertet und Feedback wird sofort generiert, vorausgesetzt, es gibt keine manuell zu bewertenden Zellen.

Diese Einstellungen können später noch unter „Settings“ angepasst werden.

4. Übersicht der neuen Aufgabe/des neuen Assignments: Wenn Sie eine erstellte Aufgabe öffnen, erscheint eine Übersicht. In dieser Übersicht können Sie:

den Status der Aufgabe einsehen (1),
die Anzahl der Studierenden des Kurses (2) und die Anzahl aller Abgaben (3) einsehen,
das Bewertungsverhalten (4) und den Assignment type (5) überprüfen
„Files“ aufrufen und hier Notebooks und Dateien erstellen und zur Bearbeitung freigeben (6)
alle Abgaben unter „Submissions“ einsehen (7)
sich Statistiken zur Aufgabe ansehen (8)
und die Einstellungen der Aufgabe aufrufen (9).

Wenn Sie eine Aufgabe neu erstellt haben, befindet sich diese im „Edit“-Status. Eine Aufgabe kann 3 verschiedene Status besitzen.

Edit
- Die Aufgabe ist in Bearbeitung und nicht für Studierende sichtbar. Sie können Dateien hinzufügen und die Aufgabe vor Veröffentlichung in der Studierendenansicht als Vorschau ansehen.

Released
- Die Aufgabe wird für die Studierenden freigegeben und diese können mit der Bearbeitung beginnen. Die freigegebenen Dateien sind identisch mit den Dateien, die sich zum Zeitpunkt der Freigabe im Release-Verzeichnis befinden.
- Hinweis: Es ist zwar möglich, die Freigabe rückgängig zu machen und einen neuen Release zu veröffentlichen. Es kann jedoch sein, dass einige Studierende die alte Version bereits heruntergeladen haben. In diesem Fall müssen die Studierenden ihre bereits bearbeiteten Aufgaben zurücksetzen und verlieren dabei möglicherweise Ihre Fortschritte. Ein neuer Release muss also unbedingt den Studierenden kommuniziert werden. Im Allgemeinen sollte eine erneuter Release vermieden werden.

Completed
- Der Bearbeitungszeitraum der Aufgabe ist beendet. Studierende können keine neuen Abgaben mehr einreichen, aber die Aufgabe bleibt sichtbar[MF1] . Dieser Status kann widerrufen werden, sodass sich die Aufgabe wieder im „Released“-Status befindet. Dadurch werden Abgaben wieder möglich.

Es wurde zwar ein neues „Assignment“ angelegt, es müssen aber noch die Notebooks, die die Aufgaben und Fragestellungen für die Studierenden enthalten, erstellt werden. Siehe dazu „Erstellen eines Notebooks für eine Aufgabe“.

Erstellen eines Notebooks für eine Aufgabe[Bearbeiten | Quelltext bearbeiten]

Um den Studierenden Aufgaben zur Verfügung zu stellen, die diese auch bearbeiten können, müssen dem Assignment Notebooks hinzugefügt werden. Notebooks können entweder über die Dateiansicht „Files“ (in der Übersicht der Aufgabe) oder mit dem JupyterLab Launcher erstellt werden.

Notebook erstellen[Bearbeiten | Quelltext bearbeiten]

Wenn Sie den Reiter „Files“ aufrufen, erhalten Sie die Sicht auf zwei Verzeichnisse (directories):

Source-Verzeichnis: Hier erstellen Lehrende die Notebooks.
Release-Verzeichnis: Die erstellten Notebooks werden in ihre Release-Version konvertiert, die Studierende sehen. Sie können diese Release-Version als Vorschau für die spätere Studierendenversion des Notebooks nutzen. Die Vorschau erfolgt durch Wechseln des Reiters von „Source“ auf „Release“. Dazu erhalten Sie auch den Hinweis „Generated Student Version Notebooks“.

Um ein Notebook zu erstellen, klicken Sie unten auf „+ ADD NEW”. Alternativ können Sie auch Notebooks über den Dateibrowser auf der linken Seite erstellen, indem Sie auf das + klicken und anschließend im Launcher das Notebook auswählen. Mit Rechtsklick auf den Titel des Notebooks können Sie dieses umbenennen. Hinweis: Achten Sie darauf, dass Sie die Dateien im richtigen Assignment-Verzeichnis anlegen.

Sie können auch bereits vorhandene Notebooks bzw. andere Dateien direkt in das Source-Verzeichnis über den Dateibrowser auf der linken Seite einfügen.

Zellen im Notebook[Bearbeiten | Quelltext bearbeiten]

In Ihrem erstellten Notebook können über den „Creation Mode“ die Zellen des Notebooks als bspw. manuell zu bewertende Aufgabe, automatisch bewertete Aufgabe oder als schreibgeschützt markiert werden. Die „Creation Mode“ wird über die obere Toolbar aktiviert.

Für jede Zelle erscheint ein Drop-Down-Menü, über das Sie den Aufgabentyp der Zelle auswählen können. Die Menü-Optionen unterscheiden sich jeweils für Markdown- und Code-Zellen.

„Read-only” Zelle[Bearbeiten | Quelltext bearbeiten]

Read-only” (verfügbar für Code- und Markdown-Zellen) markiert die Zellen als schreibgeschützt.

„Manually graded answer“ Zelle[Bearbeiten | Quelltext bearbeiten]

Die Option „Manually graded answer“ markiert die Zelle als eine manuell zu bewertende Antwort. Diese Antworten können nicht automatisch bewertet werden.
Dieser Typ ist sowohl für Markdown- als auch für Code-Zellen verfügbar, sodass Studierende entweder Code implementieren oder in Textform antworten können.
Dieser Typ kann z.B. für Freitext-Antworten genutzt werden (z. B. wenn die Ergebnisse von Code interpretiert werden sollen).
Zusätzlich muss angegeben werden, wie viele Punkte für die Antwort vergeben werden sollen. Optional kann ein Hinweis für Studierende hinterlegt werden.

„Manually graded task“ Zelle[Bearbeiten | Quelltext bearbeiten]

Bei der Option „Manually graded task“ kann in der Zelle eine Aufgabenstellung hinterlegt werden, die von Studierenden in eigenen Zellen gelöst wird.
Die „Manually graded task“ kann nur manuell bewertet werden. Eine Punktzahl muss festgelegt werden.
Der Unterschied zwischen der „Manually graded task“ (manuell bewertete Aufgabe) und der „Manually graded answer“ (manuell bewertete Antwort) besteht darin, dass die Zellen für „Manually graded task“ von Studierenden nicht bearbeitet werden. Dies heißt, dass bei einer „Manually graded answer“ Zelle die Studierenden dazu aufgefordert sind, eine Aufgabe in der Zelle zu lösen. Bei einer „Manually graded task“ werden die Studierenden aufgefordert, eine Aufgabe mit Zellen zu lösen.

„Autograded answer“ Zelle[Bearbeiten | Quelltext bearbeiten]

Nur für Codezellen

Die in der Zelle enthaltene Antwort wird automatisch bewertet.

In dieser Zelle geben Sie den Lösungsweg einer Fragestellung an, der für die automatische Bewertung dieser Zelle genutzt wird.

Den Lösungsweg der Frage geben Sie zwischen einer speziellen Syntax an: ### BEGIN SOLUTION und ### END SOLUTION. Wenn Sie dies weglassen, wird den Studierenden Ihr Lösungsweg angezeigt!

Code außerhalb dieser Syntax wird den Studierenden angezeigt. Dies kann dazu genutzt werden, wenn bspw. der Beginn eines Codes vorgegeben werden soll:

Im Gegensatz zu manuell bewerteten Antworten werden für automatisch bewertete Antworten keine Punkte festgelegt. Die Punktevergabe erfolgt mittels der „Autograder tests“ Zellen, die zur Bewertung dieser Antworten genutzt werden.

„Autograded tests” Zelle[Bearbeiten | Quelltext bearbeiten]

Testzellen zur Bewertung der „Autograded answer“: Die als „Autograded tests” markierten Zellen (nur für Code-Zellen verfügbar) enthalten Code, der während des automatischen Bewertungsprozesses ausgeführt wird und so zur Kontrolle und Bewertung der „Autograded answer“ dient.
Für die Zelle muss eine Punktzahl festgelegt werden. Eine Zelle erhält die volle Punktzahl, wenn während des automatischen Bewertungsprozesses keine Fehler auftreten, andernfalls werden null Punkte vergeben.
Der Code kann durch die Verwendung einer speziellen Syntax ganz oder in Teilen versteckt werden: ### BEGIN HIDDEN TESTS und ### END HIDDEN TESTS Bei der Erstellung der Release-Version (die die Studierenden bearbeiten) wird der Bereich zwischen den Zeilen mit dieser speziellen Syntax entfernt. Wenn diese nicht verwendet wird, wird der gesamte Inhalt der Zelle angezeigt.
Die „Autograded tests“-Zellen sind für Studierende übrigens schreibgeschützt. Dies ist wichtig, damit die Zellen später nicht von Studierenden aus dem Notebook gelöscht oder verändert werden.

Vorschau der Studierendenversion[Bearbeiten | Quelltext bearbeiten]

Nach dem Erstellen eines Notebooks kann eine Vorschau angezeigt werden, um sicherzustellen, dass alle Aufgaben korrekt dargestellt werden. Wechseln Sie unter „Files“ mit einem Klick auf den „Release“-Reiter, um eine Vorschau der Studierendenversion zu sehen. Durch das Wechseln auf Release wird das Notebook aus dem Source-Verzeichnis in das Release Verzeichnis konvertiert. Die Versionen des Release-Verzeichnisses sind die Aufgaben, die an die Studierenden weitergegeben werden. Somit erhalten Sie also eine Vorschau auf die Studierendenversion.

Wenn die Vorschau erfolgreich erstellt wurde, erhalten Sie folgende Meldung:

Sie können jederzeit zwischen „Source“ und „Release“ wechseln, um das Notebook zu aktualisieren und sich diese Neuerungen wieder als Vorschau anzeigen zu lassen.

Freigeben von Aufgaben[Bearbeiten | Quelltext bearbeiten]

Um Aufgaben zu veröffentlichen und somit für Studierende freizugeben, können Sie in der Übersicht („Overview“) der Aufgabe auf „RELEASE“ klicken. Geben Sie eine „Commit Message“ ein, z.B. „Release Notebook xy“.

Sie werden erneut aufgefordert den Release der Aufgabe zu bestätigen.

Nachdem Sie die Aufgabe freigegeben haben, ändert sich der Status der Aufgabe in „Released“. Studierende können die freigegebene Aufgabe nun herunterladen und bearbeiten.

Wenn die Freigabe einer Aufgabe rückgängig gemacht werden soll, kann auf die Schaltfläche „UNDO RELEASE“ geklickt werden.

Hinweis: Wenn Sie die Freigabe einer Aufgabe rückgängig machen, behalten Studierende, die die Aufgabe bereits heruntergeladen haben, weiterhin Zugriff auf die vorherige Version. Wenn die Freigabe einer Aufgabe zurückgezogen wird, wird lediglich verhindert, dass weitere Studierende die Aufgabe herunterladen können.

Bewerten von Aufgaben[Bearbeiten | Quelltext bearbeiten]

Um Abgaben zu bewerten, rufen Sie den Reiter „Submissions“ auf. Hier erhalten Sie eine Übersicht aller Abgaben und deren Ergebnisse und sehen den Status der automatischen und manuellen Bewertung sowie den Feedback-Status.

Sie können einzelne oder alle Abgaben auswählen, um Aktionen durchzuführen. Beispielsweise können alle oder mehrere Abgaben automatisch bewertet oder es kann zu allen oder mehreren Abgaben Feedback generiert werden (über die Schaltflächen „Autograde“ und „Generate Feedback“). Die manuelle Bewertung kann nur einzeln für jede Abgabe durchgeführt werden.

Der Bewertungsprozess gliedert sich in folgende Schritte:

Erhalten der Abgaben
Automatische Bewertung der Abgaben
Manuelle Bewertung der Abgaben
Generieren von Feedback und Veröffentlichung der Ergebnisse

Einzelansicht einer Abgabe[Bearbeiten | Quelltext bearbeiten]

Wenn Sie eine Abgabe im Detail ansehen und bewerten möchten, rufen Sie die Abgabe auf. Sie bekommen dann eine Übersicht der Abgabe. Im folgenden Beispiel wird jede Abgabe direkt automatisch bewertet (Automatic Grading). Durch das automatische Bewerten wurden der Abgabe bereits 5 von 14 Punkten zugewiesen. Die restlichen Punkte müssen durch die manuelle Bewertung vergeben werden. Sie haben in dieser Übersicht die Möglichkeit die Abgabe herunterzuladen und zu öffnen („Pull submission“) und sich die Abgabe in Detail anzusehen.

Automatische Bewertung[Bearbeiten | Quelltext bearbeiten]

Abhängig von den Einstellungen im „Auto-Grading-Behavior“ (siehe Erstellen von Aufgaben (Assignments)) wird die automatische Bewertung entweder direkt nach der Abgabe oder manuell durchgeführt. Sie können die automatische Bewertung über den Button „Autograde“ durchführen bzw. wiederholen.

Um mehrere Abgaben automatisch zu bewerten, wählen Sie die betroffenen Abgaben unter „Submissions“ aus. Klicken Sie dann auf „Autograde“.

Um nur einzelne Abgaben automatisch zu bewerten, klicken Sie die einzelne Abgaben unter „Submissions“ an. Daraufhin kann auf in der Übersicht dieser einzelnen Abgabe auf „Autograde“ geklickt werden.

Hinweis: Es ist zu empfehlen, die automatische Bewertung immer zu überprüfen. Öffnen Sie dafür die eingereichte Abgabe und überprüfen Sie die Punktevergabe der automatisch bewerteten Zellen.

Manuelle Bewertung[Bearbeiten | Quelltext bearbeiten]

Die manuelle Bewertung kann erst erfolgen, wenn eine Abgabe automatisch bewertet wurde.

Klicken Sie in der Einzelansicht der Abgabe unter „Submission Files“ auf „Pull submission“, um das Notebook zu öffnen. Aktivieren Sie den „Grading Mode“, um die Zellen zu bewerten. Nun wird angezeigt, welche Zelle welchen Aufgabentyp besitzt und wie viele Punkte maximal für die Aufgabe vergeben werden. Geben Sie Feedback und Punktzahlen ein und speichern Sie Ihre Bewertung.

Für automatisch bewertete Aufgaben werden die Punkte automatisch eingetragen. Sie haben die Möglichkeit Extrapunkte für automatisch bewertete Aufgaben zu vergeben.

Speichern Sie Ihre Bewertung und Ihre Kommentare, indem Sie in der Übersicht der einzelnen Abgabe auf „Finish Manual Grading“ klicken. Sie werden aufgefordert nochmals zu bestätigen.

Wenn Sie die Bewertungen vorgenommen haben, müssen Sie noch das Feedback für die Abgabe generieren. Vorher sehen die Studierenden die eingetragenen Bewertungen nicht.

Die hochgeladenen Dateien können von mehreren Lehrenden eingesehen und bewertet werden. Allerdings sollte nur eine Person das Assignment final „pushen“. Daher ist eine klare Absprache zwischen den Beteiligten erforderlich.

Autograding erfolgt nicht lokal, sondern auf dem Server. Manuelles Grading wird nach dem Push ebenfalls für alle sichtbar.
Alle Lehrenden haben Zugriff auf die aktuellen Versionen der Dateien. Unter „Files“ können Sie überprüfen, ob die Dateien auf dem neuesten Stand sind. Andernfalls sollte ein „Push“ durchgeführt werden.
Im Git-Log lässt sich nachvollziehen, wer welche Änderungen vorgenommen hat.

Zusammenfassend ist eine kooperative Arbeitsweise möglich, aber keine kollaborative Bearbeitung im Sinne gleichzeitiger Änderungen durch mehrere Personen.

Feedback zu Abgaben[Bearbeiten | Quelltext bearbeiten]

Nachdem die Bewertungen abgeschlossen sind, klicken Sie auf „Generate Feedback“, um die Ergebnisse zu veröffentlichen. Sie können Feedback entweder für einzelne Abgaben oder für alle Abgaben gleichzeitig generieren.

Um Feedback für mehrere Abgaben zu generieren und die Bewertungen für mehrere Studierende freizugeben, wählen Sie die betroffenen Abgaben unter „Submissions“ aus. Daraufhin kann auf „Generate Feedback“ geklickt werden:

In der Submission-Ansicht von einzelnen Studierenden kann einzeln Feedback gegeben werden:

Siehe auch[Bearbeiten | Quelltext bearbeiten]

Bei Fragen oder Problemen wenden Sie sich bitte telefonisch oder per E-Mail an uns:

Tel. IT: +49 (5251) 60-5544 • Tel. Medien: +49 (5251) 60-2821 • E-Mail: zim@uni-paderborn.de

Das Notebook-Café ist die Benutzerberatung des ZIM - Sie finden uns in Raum I0.401

Wir sind zu folgenden Zeiten erreichbar:

	Mo-Do	Fr
Vor-Ort-Support	08:30 - 16:00	08:30 - 14:00
Telefonsupport	08:30 - 16:00	08:30 - 14:00

Das ZIM:Servicecenter Medien auf H1 hat aktuell zu folgenden Zeiten geöffnet:

Mo-Do	Fr
08:00 - 16:00	08:00 - 14:30

@@ Zeile 2: / Zeile 2: @@
 |type=Anleitung
 |service=Service:Jupyter
-|targetgroup=Angestellte,Studierende,Gäste
+|targetgroup=Gäste, Angestellte, Studierende
+|displaytitle=Jupyter - Erstellen und Bewerten von Aufgaben (Lehrende)
 |hasdisambig=Nein
 }}
-{{template caller‏‎
-|marker=Stub
-}}
-In Jupyter können Notebooks erstellt und bearbeitet werden, die die Entwicklung, Dokumentation und Ausführung von Code, Visualisierungen und erläuternden Text enthalten können. Zum allgemeinen Arbeiten mit Notebooks und Erklärungen zu allen Funktionen siehe Anleitung zu JupyterHub.
-<br>
-Jupyter kann auch dazu verwendet werden, um über nbgrader und Formgrader Aufgaben für Studierende zu erstellen und zu bewerten.
+In '''Jupyter''' können Notebooks erstellt und bearbeitet werden, die die Entwicklung, Dokumentation und Ausführung von Code, Visualisierungen und erläuternden Text enthalten können.
-<br>
-[https://nbgrader.readthedocs.io/en/stable/#:~:text=nbgrader%20is%20a%20tool%20that,for%20quickly%20grading%20completed%20assignments. nbgrader] ist ein Tool, das die Erstellung und Bewertung von Aufgaben im Jupyter-Notebook erleichtert. Es ermöglicht Lehrenden mittels der Formgrader-Erweiterung die einfache Erstellung von Notebook-basierten Aufgaben, die sowohl Codierübungen als auch freie schriftliche Antworten beinhalten können. ''nbgrader'' bietet außerdem die Möglichkeit zur schnellen Benotung von Aufgaben.
+Eine detaillierte Anleitung zu den grundlegenden Funktionen und der Nutzung von JupyterHub finden Sie in der entsprechenden Anleitung: [[Jupyter - Allgemeine Informationen]]
-==Kurserstellung und Kursverwaltung==
+Darüber hinaus bietet Jupyter eine integrierte Möglichkeit zur Erstellung und Bewertung von Aufgaben über den '''Grader Service'''. Dieses Tool unterstützt Lehrende dabei, notebook-basierte Aufgaben zu erstellen, die sowohl Programmieraufgaben als auch freie schriftliche Antworten umfassen können. Der Grader Service erleichtert zudem die automatische und manuelle Bewertung der Aufgaben
-===Kursbeantragung===
+----Die Erstellung und Bewertung von Aufgaben erfolgt über den '''Jupyter Grader Service'''. Diesen finden Sie unter „Assignments“ und können ihn über zwei verschiedene Launcher aufrufen:
-Um einen Kurs in Jupyter zu erstellen, kontaktieren Sie das IMT (imt(at)upb(dot)de). Nachdem man Sie als Kursleiter (Instructor) zugewiesen hat, können Sie den Kurs verwalten und selbst weitere Teilnehmer*innen zum Kurs hinzufügen.
-<br>
-Zur Kursbeantragung werden die folgenden Informationen benötigt:
+* „'''Assignments'''“ (1): Studierende können hier ihre Aufgaben abrufen und einreichen.
-* Course ID (Kurstitel)
+* „'''Course Management''' (2)“: Lehrende können Aufgaben erstellen, bewerten und verwalten. Diese Option ist nur für Nutzer sichtbar, die die Rolle „Instructor“ oder „Tutor“ in einem Kurs innehaben.
-* Instructor ID (IMT-Account-ID)
-* Instructor first Name (Vorname der Lehrenden)
-* Instructor last name (Nachname der Lehrenden)
-* Instructor email address (E-Mail der Lehrenden)
-===Kursverwaltung===
+[[Datei:Jupyter_Launcher.png|alternativtext=|mini|650x650px|ohne]]
-====Erste Schritte====
-Legen Sie für jeden Ihrer Kurse einen eigenen Ordner im „File Browser“ anlegen. Der Name dieses Ordners muss der Kurs-ID entsprechen! In diesem Ordner werden automatisch alle Aufgaben und Bewertungen für den Kurs gespeichert.
-<br>
-Im File Browser (Homeverzeichnis) muss außerdem eine Python-Datei mit dem Titel „nbgrader_config.py“ angelegt werden (über Klick auf das Plus -> Other -> Python File; oder Rechtsklick im File Browser -> New File).
+== Erstellen von Aufgaben (Assignments) ==
-<br>
+'''1.      Course Management öffnen:''' Um eine Aufgabe zu erstellen, starten Sie „Course Management“ und wählen den entsprechenden Kurs aus.
-Dies hat folgenden Grund: Formgrader kann nicht mehrere Kurse gleichzeitig unterstützen. So können nur Aufgaben für einen Kurs nach dem anderen erstellt werden. Der Erweiterung Formgrader muss also in Jupyter mitgeteilt werden, in welchem Kurs Sie gerade arbeiten wollen, indem Sie explizit eine Kurs-ID in nbgrader_config.py zuweisen.
+[[Datei:Aufrufen_Course_Management.png|alternativtext=|mini|650x650px|ohne]]
-<br>
-Dafür kopieren Sie folgende Befehle in die Python-Datei:
+'''2.      Aufgabenübersicht''': Wenn Sie den Kurs aufgerufen haben, sehen Sie in einer tabellarischen Übersicht alle bereits erstellten Aufgaben des Kurses. Hier können Sie Aufgaben verwalten, die Deadlines und den Status einsehen und auch Aufgaben löschen.
-<br>
-<code>c.CourseDirectory.course_id='mycourseid'</code>
-<br>
-<code>c.CourseDirectory.root=f'./{c.CourseDirectory.course_id}/'</code>
-<br>
-Ersetzen Sie <span style="color:red">'mycourseid'</span> durch die ID des Kurses, den Sie verwalten möchten.
+[[Datei:Assignments_Übersicht.png|alternativtext=|mini|650x650px|ohne]]
-<br>
-Wenn Sie mehrere verschiedene Kurse besitzen, müssen Sie die Kurs-ID in der Datei nbgrader_config.py ändern, um Formgrader für verschiedene Kurse verwenden zu können. '''Sie müssen nach jeder Änderung jedes Mal Ihren Notebook-Server neu starten!'''
-<br>
-Weitere Informationen finden Sie auf der ngshare-Website.
-* https://ngshare.readthedocs.io/en/latest/user_guide/notes_instructor.html
-<br>
-Bild: 1 nbgrader_config.py Datei
+'''3.      Neue Aufgabe erstellen''': Klicken Sie auf den „+ NEW“-Button und vergeben Sie einen Namen für die Aufgabe. Sie können hier bereits eine Deadline setzen, die Anzahl der Abgaben begrenzen und das „Auto-Grading-Behavior“ festlegen.
-<br clear=all>
+[[Datei:Create_Assignment.png|alternativtext=|links|mini|650x650px]]
-====Hinzufügen von Studierenden====
+* Das „Auto-Grading-Behavior“ legt das Verhalten der automatischen Bewertung für die Aufgabe fest. Damit bestimmen Sie, welche Aktion ausgeführt wird, wenn eine Abgabe eingereicht wird.
-Verwenden Sie nicht Formgrader, um Studierende hinzuzufügen, da dies zu Problemen bei der Aktualisierung mit ''ngshare'' führt!
+** '''No Automatic Grading:''' Keine automatische Bewertung.
-<br>
+** '''Automatic Grading''': Die Aufgabe wird automatisch bewertet, sobald Studierende abgeben. Zellen des Typs „Autograded tests“ und „Autograded answer“ werden automatisch bewertet.
+** '''Fully Automatic Grading:''' Die Abgabe wird vollständig automatisch bewertet und Feedback wird sofort generiert, vorausgesetzt, es gibt keine manuell zu bewertenden Zellen.
-Bitte verwenden Sie die im folgenden aufgeführten Befehle (das ngshare-course-management tool), wenn Sie Studierende zu einem Kurs hinzufügen oder aus einem Kurs entfernen.
+Diese Einstellungen können später noch unter „Settings“ angepasst werden.
-* https://ngshare.readthedocs.io/en/latest/user_guide/course_management.html
+<br clear="all">
-<br>
-'''Hinweis:''' Da die Jupyter-Erweiterung Formgrader nur lokal für Lehrende läuft, werden Aufgaben und deren Bewertung und Feedback in Kursen nur lokal gespeichert. Daher ist keine Synchronisation zwischen mehreren Lehrenden möglich.
+'''4.      Übersicht der neuen Aufgabe/des neuen Assignments''': Wenn Sie eine erstellte Aufgabe öffnen, erscheint eine Übersicht. In dieser Übersicht können Sie:
-<br>
-<br>
-====Hinzufügen einzelner Studierender====
+* den Status der Aufgabe einsehen (1),
-Um einen Studierenden zu einem Kurs hinzuzufügen, müssen die untenstehenden Befehle im Terminal im JupyterHub eingegeben werden.
+* die Anzahl der Studierenden des Kurses (2) und die Anzahl aller Abgaben (3) einsehen,
-Ein Terminal kann im Notebook Dashboard über den Reiter ''File Browser -> Klick auf das Plus „New Launcher“'' aufgerufen werden.
+* das Bewertungsverhalten (4) und den Assignment type (5) überprüfen
-<br>
+* „Files“ aufrufen und hier Notebooks und Dateien erstellen und zur Bearbeitung freigeben (6)
+* alle Abgaben unter „Submissions“ einsehen (7)
+* sich Statistiken zur Aufgabe ansehen (8)
+* und die Einstellungen der Aufgabe aufrufen (9).
-Um einen Studierenden zu einem Kurs hinzuzufügen, führen Sie folgenden Befehl aus:
+[[Datei:Overview_einer_Aufgabe.png|alternativtext=|mini|650x650px|ohne]]
-<br>
-<code>ngshare-course-management add_student COURSE_ID STUDENT_ID</code>
-<br>
-Dadurch wird der Studierende sowohl zu ''ngshare'' als auch zum lokalen ''nbgrader-Gradebook'' hinzugefügt. Course-ID entspricht dem Kursnamen. Die Student-ID ist der JupyterHub-Benutzername des Studierenden (Uni-Account).
+Wenn Sie eine Aufgabe neu erstellt haben, befindet sich diese im „Edit“-Status. Eine Aufgabe kann 3 verschiedene Status besitzen.
-<br>
-Sie können auch <code>-f FIRST_NAME</code>, <code>-l LAST_NAME</code> und <code>-e EMAIL</code> für den Studierenden angeben(siehe unten). Falls der Studierende bereits existiert, werden der Name und die E-Mail-Adresse aktualisiert. Wenn Sie den Studierenden nicht zum lokalen ''nbgrader-Gradebook'' hinzufügen möchten, können Sie <code>--no-gb</code> angeben.
+* '''Edit'''
-<br>
+** Die Aufgabe ist in Bearbeitung und nicht für Studierende sichtbar. Sie können Dateien hinzufügen und die Aufgabe vor Veröffentlichung in der Studierendenansicht als Vorschau ansehen.
-Hinzufügen einzelner Studierender:
+* '''Released'''
-<br>
+** Die Aufgabe wird für die Studierenden freigegeben und diese können mit der Bearbeitung beginnen. Die freigegebenen Dateien sind identisch mit den Dateien, die sich zum Zeitpunkt der Freigabe im Release-Verzeichnis befinden.
-<code>ngshare-course-management add_student COURSE_ID STUDENT_ID</code>
+** '''Hinweis''': Es ist zwar möglich, die Freigabe rückgängig zu machen und einen neuen Release zu veröffentlichen. Es kann jedoch sein, dass einige Studierende die alte Version bereits heruntergeladen haben. In diesem Fall müssen die Studierenden ihre bereits bearbeiteten Aufgaben zurücksetzen und verlieren dabei möglicherweise Ihre Fortschritte. Ein neuer Release muss also unbedingt den Studierenden kommuniziert werden. Im Allgemeinen sollte eine erneuter Release vermieden werden.
-<br>
-Hinzufügen einzelner Studierender mit zusätzlichen Informationen:
+* '''Completed'''
-<br>
+** Der Bearbeitungszeitraum der Aufgabe ist beendet. Studierende können keine neuen Abgaben mehr einreichen, aber die Aufgabe bleibt sichtbar[MF1] . Dieser Status kann widerrufen werden, sodass sich die Aufgabe wieder im „Released“-Status befindet. Dadurch werden Abgaben wieder möglich.
-<code>ngshare-course-management add_student COURSE_ID STUDENT_ID -f FIRST_NAME -l LAST_NAME -e EMAIL</code>
-<br>
-Bild: 2 Hinzufügen von Studierenden im Terminal
+Es wurde zwar ein neues „Assignment“ angelegt, es müssen aber noch die Notebooks, die die Aufgaben und Fragestellungen für die Studierenden enthalten, erstellt werden. Siehe dazu „Erstellen eines Notebooks für eine Aufgabe“.
-<br clear=all>
-====Hinzufügen mehrerer Studierender====
+== Erstellen eines Notebooks für eine Aufgabe ==
-Um mehrere Studierende auf einmal hinzuzufügen, erstellen Sie eine CSV-Datei mit dem folgenden Inhalt:
+Um den Studierenden Aufgaben zur Verfügung zu stellen, die diese auch bearbeiten können, müssen dem Assignment Notebooks hinzugefügt werden. Notebooks können entweder über die Dateiansicht „Files“ (in der Übersicht der Aufgabe) oder mit dem JupyterLab Launcher erstellt werden.
-<br>
-<code>student_id,first_name,last_name,email</code>
-<br>
-Die Kopfzeile muss student_id,first_name,last_name,email lauten.
+=== Notebook erstellen ===
-<br>
+Wenn Sie den Reiter „'''Files'''“ aufrufen, erhalten Sie die Sicht auf zwei Verzeichnisse (directories):
-Danach geben Sie die Studierenden in einer Zeile nacheinander ein. Sie können den Vornamen, den Nachnamen und/oder die E-Mail-Adresse bei Bedarf weglassen, aber es sollten 3 Kommas pro Zeile stehen (z. B. ist <code>student,,,</code> ein Student ohne Namen oder E-Mail-Adresse).
+* '''Source-Verzeichnis:''' Hier erstellen Lehrende die Notebooks.
-<br>
+* '''Release-Verzeichnis:''' Die erstellten Notebooks werden in ihre Release-Version konvertiert, die Studierende sehen. Sie können diese Release-Version als Vorschau für die spätere Studierendenversion des Notebooks nutzen. Die Vorschau erfolgt durch Wechseln des Reiters von „Source“ auf „Release“. Dazu erhalten Sie auch den Hinweis „Generated Student Version Notebooks“.
-Ein Beispiel für die CSV-Datei wäre:
+[[Datei:Files_directories.png|alternativtext=|mini|650x650px|ohne]]
-<br>
-student_id,first_name,last_name,email
-<br>
-maxm, Max, Mustermann, max@mail.de
-<br>
-test, Tessa, Testerin, test@mail.de
-<br>
-student,,,
-<br>
-Nachdem Sie die CSV-Datei erstellt haben, führen Sie folgenden Befehl im Terminal aus:
+Um ein Notebook zu erstellen, klicken Sie unten auf „+ ADD NEW”. Alternativ können Sie auch Notebooks über den Dateibrowser auf der linken Seite erstellen, indem Sie auf das + klicken und anschließend im Launcher das Notebook auswählen. Mit Rechtsklick auf den Titel des Notebooks können Sie dieses umbenennen. '''Hinweis:''' Achten Sie darauf, dass Sie die Dateien im richtigen Assignment-Verzeichnis anlegen.
-<br>
-<code>ngshare-course-management add_students COURSE_ID PATH_TO_CSV_FILE</code>
-<br>
-Dadurch werden die Studierenden auch dem lokalen ''nbgrader-Gradebook'' hinzugefügt. Wenn Sie dies nicht wünschen (nur Studierende zu ''ngshare'' hinzufügen, nicht zum Gradebook), können Sie <code>--no-gb</code> angeben.
+[[Datei:Notebook_über_dateibrowser.png|alternativtext=|mini|650x650px|ohne]]
-<br>
-<br>
-====Entfernen von Studierenden====
+Sie können auch bereits vorhandene Notebooks bzw. andere Dateien direkt in das Source-Verzeichnis über den Dateibrowser auf der linken Seite einfügen.
-<br>
-Um Studierende aus einem Kurs zu entfernen, führen Sie diesen Befehl im Terminal aus.
-<br>
-<code>ngshare-course-management remove_students COURSE_ID STUDENT [STUDENT ...]</code>
-<br>
-Ersetzen Sie <code>COURSE_ID</code> durch Ihre '''Kurs-ID''' und <code>STUDENT</code> durch den '''Benutzernamen''' vom Uni-Account des Studierenden. Sie können mehrere Studierende in demselben Befehl angeben. Dadurch werden die Studierenden sowohl aus ''ngshare'' als auch aus dem lokalen ''nbgrader-Gradebook'' entfernt.
+=== Zellen im Notebook ===
-<br>
+In Ihrem erstellten Notebook können über den „Creation Mode“ die Zellen des Notebooks als bspw. manuell zu bewertende Aufgabe, automatisch bewertete Aufgabe oder als schreibgeschützt markiert werden. Die „Creation Mode“ wird über die obere Toolbar aktiviert.
-<br>
-====Liste aller Studierenden====
+[[Datei:Creation_Mode_aktivieren.png|alternativtext=|mini|650x650px|ohne]]
-<br>
-Eine Liste aller Studierenden im Kurs kann über das Hub Control Panel (''File -> Hub Control Panel, Services -> ngshare'') abgerufen werden. Unter '''List course students''' kann die Kurs-ID eingegeben werden und per Klick auf '''Get students''' werden alle Studierenden des Kurses angezeigt.
-<br>
-Bild: 3 Liste der Studierenden im Hub Control Panel
+Für jede Zelle erscheint ein Drop-Down-Menü, über das Sie den Aufgabentyp der Zelle auswählen können. Die Menü-Optionen unterscheiden sich jeweils für Markdown- und Code-Zellen.
-<br clear=all>
-==Erstellen von Aufgaben in Formgrader==
+==== „Read-only” Zelle ====
-Das Erstellen von Aufgaben und das Bewerten dieser erfolgt über die ''nbgrader'' und die Formgrader-Erweiterung (über den Reiter ''Formgrader''). Um mit Aufgaben in Kursen arbeiten zu können, benötigen Sie einen Ordner mit dem Namen des Kurses und eine konfigurierte nbgrader_config.py-Datei. Befolgen Sie dazu die Schritte unter „Erste Schritte“.
+* Read-only” (verfügbar für Code- und Markdown-Zellen) markiert die Zellen als schreibgeschützt.
-===Zugriff auf die Formgrader-Erweiterung===
+[[Datei:Screenshot Read only Zelle.png|alternativtext=|mini|650x650px|Read-only Zelle|ohne]]
-Um Zugriff auf die Formgrader-Erweiterung zu bekommen, muss vom Hub aus auf die klassische Ansicht von Jupyter Notebook gewechselt werden. Dies kann über das Menü ''Help -> Launch Classic Notebook'' erreicht werden.
-<br>
-Bild: 4 Zugriff auf die klassische Ansicht von Jupyter Notebook
+==== „Manually graded answer“ Zelle ====
-<br clear=all>
+* Die Option „Manually graded answer“ markiert die Zelle als eine manuell zu bewertende Antwort. Diese Antworten können nicht automatisch bewertet werden.
+* Dieser Typ ist sowohl für Markdown- als auch für Code-Zellen verfügbar, sodass Studierende entweder Code implementieren oder in Textform antworten können.
-Ein neuer Tab mit der klassischen Ansicht öffnet sich. Hier befinden sich die Reiter „Files“, „Running“, „Clusters“, „Formgrader“, „Courses“ und „Assignments“:
+* Dieser Typ kann z.B. für Freitext-Antworten genutzt werden (z. B. wenn die Ergebnisse von Code interpretiert werden sollen).
-* Die Reiter '''"Files und Running"''' entsprechen dem Dashboard aus dem JupyterHub (siehe Anleitung zu JupyterHub).
+* Zusätzlich muss angegeben werden, wie viele Punkte für die Antwort vergeben werden sollen. Optional kann ein Hinweis für Studierende hinterlegt werden.
-* Unter dem Reiter '''"Formgrader"''' kann die Erweiterung zum Erstellen, Verbreiten und Bewerten von Aufgaben für Studierende genutzt werden.
-* '''"Courses"''' zeigt eine Übersicht aller Kurse.
-* '''"Assignments"''' listet alle Aufgaben auf, die erstellt wurden und unterteilt dabei in "Released assignments" (Veröffentlichte Aufgaben), "Downloaded assignments" (Heruntergeladene Aufgaben) und "Submitted assignments" (Abgegebene Aufgaben).
-<br>
-Bild: 5 Ansicht Classic Notebook
-<br clear=all>
-===Erstellen von Aufgaben mit Formgrader===
+[[Datei:Screenshot Beispiel manuell bewertete Antwort.png|alternativtext=|links|mini|650x650px|Beispiel: Manuell bewertete Antwort (Ansicht Lehrende)]]
-Um eine neue Aufgabe zu erstellen, wird die Formgrader-Erweiterung verwendet. Dazu klicken Sie auf den Reiter „Formgrader“ und die Übersicht „Manage Assignments“ öffnet sich.
-<br>
-In der Übersicht „Manage Assignments“ werden alle erstellten Aufgaben gelistet.
+[[Datei:Jupyter-Lehrende-13.png|links|mini|650x650px|Beispiel: Manuell bewertete Code-Zelle (Ansicht Studierende)|alternativtext=]]
-<br>
+<br clear="all">
-Bild: 6 Funktionen im Reiter "Manage Assignments"
+==== „Manually graded task“ Zelle ====
-<br clear=all>
+* Bei der Option „Manually graded task“ kann in der Zelle eine Aufgabenstellung hinterlegt werden, die von Studierenden in eigenen Zellen gelöst wird.
+* Die „Manually graded task“ kann nur manuell bewertet werden. Eine Punktzahl muss festgelegt werden.
+* Der Unterschied zwischen der „Manually graded task“ (manuell bewertete Aufgabe) und der „Manually graded answer“ (manuell bewertete Antwort) besteht darin, dass die Zellen für „Manually graded task“ von Studierenden nicht bearbeitet werden. Dies heißt, dass bei einer „Manually graded answer“ Zelle die Studierenden dazu aufgefordert sind, eine Aufgabe '''in''' der Zelle zu lösen. Bei einer „Manually graded task“ werden die Studierenden aufgefordert, eine Aufgabe '''mit''' Zellen zu lösen.
-* Mit Klick auf den Namen der Aufgabe (1) kann die unveröffentlichte Version der Aufgabe bearbeitet werden.
+[[Datei:Screenshot Beispiel manuell bewertete Aufgabe.png|alternativtext=|links|mini|650x650px|Beispiel: Manuell bewertete Aufgabe]]
-* Falls angegeben findet sich hier die Frist für die Aufgabe (2).
+<br clear="all">
-* (3) zeigt den Status der Aufgabe an.
-* Unter „Edit“ (4) können die Metadaten der Aufgabe (Name, Frist) bearbeitet werden.
-* „Generate“ (5) generiert eine Version der Aufgabe, die die Studierenden erhalten werden (im folgenden auch Release-Version oder Studierendenversion genannt).
-* Unter „Preview“ (6) kann sich eine Vorschau-Version angesehen werden.
-* „Release“ (7) veröffentlicht die fertige, generierte Version der Aufgabe und kann so von den Studierenden bearbeitet werden.
-* Mit „Collect“ (8) werden alle Abgaben von Studierenden automatisch gesammelt.
-* Die Abgaben von Studierenden können sich unter „Submissions“ (9) angesehen und bewertet werden.
-* Bei „Generate Feedback“ (10) werden HTML-Dateien im lokalen Verzeichnis des Lehrenden erstellt.
-* Bei „Release Feedback“ (11) werden diese HTML-Dateien in den nbgrader-exchange kopiert und an die Studierenden weitergeleitet.
-<br>
-Über die Schaltfläche „Add new assignment...“ kann eine neue Aufgabe hinzugefügt werden. Daraufhin muss der Namen der Aufgabe angegeben werden. Angaben wie bspw. das Fälligkeitsdatum sind optional. Mit einem Klick auf „Save“ werden diese Angaben gespeichert. Unter „Edit“ können diese Angaben im Nachhinein noch geändert werden.
+==== „Autograded answer“ Zelle ====
-<br>
+Nur für Codezellen
-Bild: 7 Hinzufügen einer neuen Aufgabe
+Die in der Zelle enthaltene Antwort wird automatisch bewertet.
-<br clear=all>
-Bild: 8 Erstellen einer neuen Aufgabe
+In dieser Zelle geben Sie den Lösungsweg einer Fragestellung an, der für die automatische Bewertung dieser Zelle genutzt wird.
-<br clear=all>
-Nachdem eine Aufgabe erstellt wurde, wird mit Klick auf den Namen der Aufgabe ein neuer Tab geöffnet, der im „File Browser“ das Verzeichnis der Aufgabe öffnet. Das Verzeichnis der Aufgabe wird automatisch im Kursordner angelegt, in dem die Aufgabe erstellt wurde (siehe Erste Schritte). Hier können Aufgaben in Form von Dateien wie bspw. ein Notebook angelegt werden oder bereits existierende Dateien hinzugefügt werden. '''Hinweis:''' Die Aufgaben sollten immer im dementsprechenden Ordner gespeichert werden.
+Den Lösungsweg der Frage geben Sie zwischen einer speziellen Syntax an:  <code>### BEGIN SOLUTION</code> und <code>### END SOLUTION</code>. '''Wenn Sie dies weglassen, wird den Studierenden Ihr Lösungsweg angezeigt!'''
-<br>
-Um in einem Notebook einzelne Aufgaben zu erstellen, die Studierende lösen sollen, muss zunächst die ''Create Assignment-Toolbar'' aufgerufen werden. Über das Menü ''View -> Cell Toolbar -> Create Assignment'' kann die Toolbar aufgerufen werden. Diese Toolbar markiert die Zellen des Notebooks als bspw. manuell zu bewertende Aufgabe, automatisch bewertete Aufgabe oder als schreibgeschützt.
+Code außerhalb dieser Syntax wird den Studierenden angezeigt. Dies kann dazu genutzt werden, wenn bspw. der Beginn eines Codes vorgegeben werden soll:[[Datei:Screenshot Beispiel Automatisch bewertete Antwort aus Sicht des Lehrenden.png|alternativtext=|mini|750x750px|Beispiel: Automatisch bewertete Antwort aus Sicht der Lehrenden|ohne]]
-<br>
-Bild: 9 Aufrufen der "Create Assignment" Toolbar
+[[Datei:Jupyter-Lehrende-16.png|links|mini|653x653px|Beispiel: Automatisch bewertete Antwort aus Sicht der Studierenden|alternativtext=]]
 <br clear=all>
-Durch die Toolbar erscheint in jeder Zelle ein Drop Down-Menü:
+* Im Gegensatz zu manuell bewerteten Antworten werden für automatisch bewertete Antworten keine Punkte festgelegt. '''Die Punktevergabe erfolgt mittels der „Autograder tests“ Zellen, die zur Bewertung dieser Antworten genutzt werden.'''<br>
-<br>
-Bild: 10 Drop Down Menü der "Create Assignment" Toolbar
+==== „Autograded tests” Zelle ====
-<br clear=all>
+* Testzellen zur Bewertung der „Autograded answer“: Die als „Autograded tests” markierten Zellen (nur für Code-Zellen verfügbar) enthalten Code, der während des automatischen Bewertungsprozesses ausgeführt wird und so zur Kontrolle und Bewertung der „Autograded answer“ dient.
+* Für die Zelle muss eine Punktzahl festgelegt werden. Eine Zelle erhält die volle Punktzahl, wenn während des automatischen Bewertungsprozesses keine Fehler auftreten, andernfalls werden null Punkte vergeben.
+* Der Code kann durch die Verwendung einer speziellen Syntax ganz oder in Teilen versteckt werden:  <code>### BEGIN HIDDEN TESTS</code> und <code>### END HIDDEN TESTS</code>  Bei der Erstellung der Release-Version (die die Studierenden bearbeiten) wird der Bereich zwischen den Zeilen mit dieser speziellen Syntax entfernt. Wenn diese nicht verwendet wird, wird der gesamte Inhalt der Zelle angezeigt.
+* Die „Autograded tests“-Zellen sind für Studierende übrigens schreibgeschützt. Dies ist wichtig, damit die Zellen später nicht von Studierenden aus dem Notebook gelöscht oder verändert werden.<br>
-Standardmäßig ist in jedem Dropdown-Menü das Element <code> - </code> ausgewählt. Die Menü-Optionen unterscheiden sich für Markdown-Zellen und Code-Zellen.
+[[Datei:Jupyter-Lehrende-17.png|links|mini|635x635px|Beispiel: „Autograder-Tests“-Zelle|alternativtext=]]
-<br>
-Für Markdown-Zellen gibt es drei Optionen zur Auswahl, entweder „Manually graded answer”, „Manually graded task” oder „Read-only”. Für Code-Zellen stehen fünf Optionen zur Auswahl, darunter „Manually graded answer“, „Manually graded task“, „Autograded answer“, „Autograder tests“ und „Read-only“.
-<br>
-Bild: 11 Optionen der "Create Assignment" Toolbar für Zellen
 <br clear=all>
-===„Manually graded answer“ Zelle===
+== Vorschau der Studierendenversion ==
-Die Option „Manually graded answer“ (verfügbar sowohl für Markdown- als auch für Code-Zellen) markiert die Zelle als eine manuell zu bewertende Antwort.
+Nach dem Erstellen eines Notebooks kann eine Vorschau angezeigt werden, um sicherzustellen, dass alle Aufgaben korrekt dargestellt werden. Wechseln Sie unter „Files“ mit einem Klick auf den „Release“-Reiter, um eine Vorschau der Studierendenversion zu sehen. Durch das Wechseln auf Release wird das Notebook aus dem Source-Verzeichnis in das Release Verzeichnis konvertiert. Die Versionen des Release-Verzeichnisses sind die Aufgaben, die an die Studierenden weitergegeben werden. Somit erhalten Sie also eine Vorschau auf die Studierendenversion.
-<br>
-Der häufigste Verwendungszweck für diese Art von Zelle sind frei formulierte Antworten (z. B. solche, die die Ergebnisse von Code interpretieren).
+Wenn die Vorschau erfolgreich erstellt wurde, erhalten Sie folgende Meldung:
-<br>
-Zusätzlich muss angegeben werden, wie viele Punkte für die Antwort vergeben werden sollen. Studierenden wird in diesen Zellen ein Code oder Text angezeigt, der anzeigt, dass sie ihre Antwort oder Lösung dort eingeben sollen:
+[[Datei:Vorschau_erstellt.png|mini|650px|alternativtext=|ohne]]
-<br>
-Bild: 12 Beispiel: Manuell bewertete Antwort (Ansicht Lehrende)
+Sie können jederzeit zwischen „Source“ und „Release“ wechseln, um das Notebook zu aktualisieren und sich diese Neuerungen wieder als Vorschau anzeigen zu lassen.<br clear="all">
-<br clear=all>
-Beispiel: Manuell bewertete Code-Zelle (Ansicht Studierende)
+==Freigeben von Aufgaben==
-<br clear=all>
+Um Aufgaben zu veröffentlichen und somit für Studierende freizugeben, können Sie in der Übersicht („Overview“) der Aufgabe auf „RELEASE“ klicken. Geben Sie eine „Commit Message“ ein, z.B. „Release Notebook xy“.
-===„Manually graded task“ Zelle===
+[[Datei:Commit_files2.png|mini|650px|alternativtext=|ohne]]
-Wenn die Option „Manually graded task“ ausgewählt wird, markiert die nbgrader-Erweiterung diese Zelle als eine Zelle, die die Beschreibung einer Aufgabe enthält, die die Studierenden ausführen müssen. Sie müssen manuell benotet und eine Punktzahl muss festgelegt werden.
-<br>
-Der Unterschied zwischen der „Manually graded task“ (manuell bewertete Aufgabe) und der „Manually graded answer“ (manuell bewertete Antwort) besteht darin, dass die Zellen für manuell bewertete Aufgaben von Studierenden nicht bearbeitet werden. Dies heißt, dass bei einer „Manually graded answer“ Zelle die Studierenden dazu aufgefordert sind, eine Aufgabe in der Zelle zu lösen. Bei einer „Manually graded task“ werden die Studierenden aufgefordert, eine Aufgabe mit Zellen auszuführen. Dies wird z.B. verwendet, wenn Studierende selbst Zellen zur Beantwortung einer Aufgabe erstellen müssen.
+Sie werden erneut aufgefordert den Release der Aufgabe zu bestätigen.
-<br>
-Bild: 14 Beispiel: Manuell bewertete Aufgabe
+Nachdem Sie die Aufgabe freigegeben haben, ändert sich der Status der Aufgabe in „Released“. Studierende können die freigegebene Aufgabe nun herunterladen und bearbeiten.
-<br clear=all>
-===„Autograded answer“===
+Wenn die Freigabe einer Aufgabe rückgängig gemacht werden soll, kann auf die Schaltfläche „UNDO RELEASE“ geklickt werden.
-Wenn die Option „Autograded answer“ (nur für Codezellen verfügbar) gewählt wird, wird die in der Zelle enthaltenen Antwort automatisch bewertet.
-<br>
-Wie die nächste Abbildung zeigt, können durch eine spezielle Syntax wie <code>### BEGIN SOLUTION</code> und <code>### END SOLUTION</code> angegeben werden, ab welcher Stelle die Studierenden ihre Lösung angeben sollen. Somit stellt der Bereich zwischen dieser Syntax den Lösungsbereich dar. Code außerhalb dieser Syntax wird den Studierenden in der Aufgabe angezeigt. Dies kann dazu genutzt werden, wenn bspw. der Beginn eines Codes vorgegeben soll:
+'''Hinweis:''' Wenn Sie die Freigabe einer Aufgabe rückgängig machen, behalten Studierende, die die Aufgabe bereits heruntergeladen haben, weiterhin Zugriff auf die vorherige Version. Wenn die Freigabe einer Aufgabe zurückgezogen wird, wird lediglich verhindert, dass weitere Studierende die Aufgabe herunterladen können.<br>
-<br>
-Bild: 15 Beispiel: Automatisch bewertete Antwort aus Sicht des Lehrenden
+== Bewerten von Aufgaben ==
-<br clear=all>
+Um Abgaben zu bewerten, rufen Sie den Reiter „Submissions“ auf. Hier erhalten Sie eine Übersicht aller Abgaben und deren Ergebnisse und sehen den Status der automatischen und manuellen Bewertung sowie den Feedback-Status.
-Bild: 16 Beispiel: Automatisch bewertete Antwort aus Sicht der Studierenden
+[[Datei:Submissions.png|mini|750x750px|alternativtext=|ohne]]
-<br clear=all>
-Wenn diese spezielle Syntax nicht verwendet wird, wird Studierenden nur <code># YOUR CODE HERE</code>angezeigt.
+Sie können einzelne oder alle Abgaben auswählen, um Aktionen durchzuführen. Beispielsweise können alle oder mehrere Abgaben automatisch bewertet oder es kann zu allen oder mehreren Abgaben Feedback generiert werden (über die Schaltflächen „Autograde“ und „Generate Feedback“). Die manuelle Bewertung kann nur einzeln für jede Abgabe durchgeführt werden.
-<br>
-Im Gegensatz zu manuell bewerteten Antworten werden für automatisch bewertete Antworten keine Punkte festgelegt. Die Punktevergabe erfolgt mittels der „Autograder tests“ Zellen, die diese Antworten bewerten.
+'''Der Bewertungsprozess gliedert sich in folgende Schritte:'''
-<br>
-===„Autograder tests” Zelle===
+* Erhalten der Abgaben
-Die als „Autograder tests” markierten Zellen (nur für Code-Zellen verfügbar) enthalten Tests, die während des automatischen Bewertungsprozesses ausgeführt werden und so zur Kontrolle und Bewertung der automatisch bewerteten Aufgaben dienen. Im Prinzip dient dies als eine Kontrollinstanz, die den Code der Studierenden auf Funktion prüft.
+* Automatische Bewertung der Abgaben
-<br>
+* Manuelle Bewertung der Abgaben
+* Generieren von Feedback und Veröffentlichung der Ergebnisse
-Für die Zelle muss eine Punktzahl festgelegt werden. Eine Zelle erhält die volle Punktzahl, wenn während des automatischen Bewertungsprozesses keine Fehler auftreten, andernfalls werden null Punkte vergeben.
+=== Einzelansicht einer Abgabe ===
-<br>
+Wenn Sie eine Abgabe im Detail ansehen und bewerten möchten, rufen Sie die Abgabe auf. Sie bekommen dann eine Übersicht der Abgabe. Im folgenden Beispiel wird jede Abgabe direkt automatisch bewertet (Automatic Grading). Durch das automatische Bewerten wurden der Abgabe bereits 5 von 14 Punkten zugewiesen. Die restlichen Punkte müssen durch die manuelle Bewertung vergeben werden. Sie haben in dieser Übersicht die Möglichkeit die Abgabe herunterzuladen und zu öffnen („Pull submission“) und sich die Abgabe in Detail anzusehen.
-Die Zellen sind für Studierende schreibgeschützt. Dies ist wichtig, damit die Zellen später nicht von Studierenden aus dem Notebook gelöscht oder verändert werden.
+[[Datei:Einzelansicht_abgabe.png|mini|750x750px|alternativtext=|ohne]]
 <br>
-Tests in „Autograder-Tests“-Zellen können durch die Verwendung einer speziellen Syntax versteckt werden, z.B. <code>### BEGIN HIDDEN TESTS</code> und <code>### END HIDDEN TESTS</code>:
+===Automatische Bewertung===
-<br>
+Abhängig von den Einstellungen im „Auto-Grading-Behavior“ (siehe [https://hilfe.uni-paderborn.de/Jupyter_-_Erstellen_und_Bewerten_von_Aufgaben#Erstellen_von_Aufgaben_.28Assignments.29 Erstellen von Aufgaben (Assignments)]) wird die automatische Bewertung entweder direkt nach der Abgabe oder manuell durchgeführt. Sie können die automatische Bewertung über den Button „Autograde“ durchführen bzw. wiederholen.
-Bild: 17 Beispiel: „Autograder-Tests“-Zelle
+Um '''mehrere''' Abgaben automatisch zu bewerten, wählen Sie die betroffenen Abgaben unter „Submissions“ aus. Klicken Sie dann auf „Autograde“.
-<br clear=all>
-Bei der Erstellung der Release-Version (die die Studierenden bearbeiten) wird der Bereich zwischen den Zeilen mit der speziellen Syntax entfernt. Wenn diese spezielle Syntax nicht verwendet wird, wird der gesamte Inhalt der Zelle angezeigt und die Testzelle ist für die Studierenden sichtbar.
+[[Datei:Für_alle_Abgaben_Autograde.png|alternativtext=|mini|750x750px|ohne]]
-<br>
-===„Read-only” Zellen===
-Wenn die Option „Read-only” gewählt wird (verfügbar für Code- und Markdown-Zellen), markiert dies Zellen als schreibgeschützt. Dies wird durch ein Schlosssymbol in der Zelle angezeigt.
-<br>
-Bild: 18 Read-only Zelle
-<br clear=all>
-===Validieren der Aufgaben===
-Um sicherzustellen, ob alle Aufgaben korrekt sind und Studierende Aufgaben erhalten, die sie auch bestehen können, können die Aufgaben mit „Validate“ überprüft werden:
-<br>
-Bild: 19 Validieren der Aufgabe über die Toolbar
-<br clear=all>
-Wenn die Aufgaben die Überprüfung bestanden haben, erscheint folgendes Pop-Up:
-<br>
-Bild: 20 Pop up-Fenster nach dem Validieren
-<br clear=all>
-Wenn einer der Zellen Fehler enthält, erscheint eine Fehlermeldung, die auch angibt, wo der Fehler liegt:
-<br>
-Bild: 21 Fehlermeldung nach dem Validieren
-<br clear=all>
-===Generieren einer Aufgabe===
-Nachdem ein Notebook erstellt wurde, in dem die Zellen mittels der „Create assignment“-Toolbar als Aufgaben markiert wurden, muss die Version generiert werden, die die Studierenden erhalten. Dies kann mit einem Klick auf das Icon „Generate“ in der „Managing Assignments“ Übersicht realisiert werden.
-<br>
-Bild: 22 Icon zum Generieren von Aufgaben in der "Manage Assignments" Übersicht
-<br clear=all>
-Daraufhin erscheint folgendes Fenster, welches das erfolgreiche Generieren der Aufgabe anzeigt:
-<br>
-Bild: 23 Pop up-Fenster nach erfolgreichem Generieren einer Aufgabe
-<br clear=all>
-===Vorschau der Studierendenversion===
-Nach dem Erstellen der Studierendenversion der Aufgabe (siehe Generieren einer Aufgabe), kann eine Vorschau angezeigt werden, um sicherzustellen, dass alle Aufgaben korrekt dargestellt werden. Die Vorschau kann mit einem Klick auf das Icon „Preview“ in der „Managing Assignments“ Übersicht angezeigt werden:
-<br>
-Bild: 24 Icon zur Vorschau von Aufgaben in der "Manage Assignments" Übersicht
-<br clear=all>
-Diese Version der Aufgabe liegt nun nicht mehr im Ordner source, sondern im Ordner release (im Verzeichnis des Kurses), der die aktuellen Versionen der Aufgabe enthält. Die Versionen in diesem Ordner sind die Aufgaben, die an die Studierenden weitergegeben werden.
-<br>
-===Freigeben von Aufgaben===
-Um Aufgaben zu veröffentlichen und für Studierende freizugeben, muss auf das Icon bei „Release“ geklickt werden:
-<br>
-Bild: 25 Icon zum Veröffentlichen von Aufgaben in der "Manage Assignments" Übersicht
-<br clear=all>
-Um Aufgaben freigeben zu können, muss ein Kurs vorhanden sein, dem die Aufgabe zugewiesen werden kann (siehe Kurserstellung und Kursverwaltung).
-<br>
-Wenn die Freigabe einer Aufgabe rückgängig gemacht werden soll, kann erneut auf die Schaltfläche „Release“ geklickt werden (nach Freigabe ändert sich das Icon und zeigt nun ein „x“ ).
-<br>
-'''Hinweis:''' Allerdings sollte beachtet werden, dass Studierende, die die Aufgabe bereits heruntergeladen haben, weiterhin Zugriff auf ihre heruntergeladene Kopie haben. Wenn die Freigabe einer Aufgabe aufgehoben wird, wird lediglich verhindert, dass weitere Studierende die Aufgabe herunterladen können.
-<br>
-==Bewerten von Aufgaben==
-Da die Jupyter-Erweiterung Formgrader nur lokal für Lehrende läuft, werden Aufgaben und deren Bewertung und Feedback nur lokal gespeichert. Daher ist keine Synchronisation zwischen mehreren Lehrenden möglich!
-<br>
-'''Hinweis:''' Erst nachdem die automatische Bewertung erfolgt ist, kann die manuelle Bewertung stattfinden.
+Um nur '''einzelne''' Abgaben automatisch zu bewerten, klicken Sie die einzelne Abgaben unter „Submissions“ an. Daraufhin kann auf in der Übersicht dieser einzelnen Abgabe auf „Autograde“ geklickt werden.
-===Sammeln der Abgaben von Studierenden===
+[[Datei:Für_einzelne_Abgaben_Autograde.png|alternativtext=|mini|750x750px|ohne]]
-Um Abgaben bewerten zu können, müssen zunächst alle Abgaben gesammelt werden. In der „Managing Assignments“ Übersicht können alle Abgaben gesammelt werden, indem auf das Icon „Collect“ geklickt wird:
-<br>
-Bild: 26 Icon zum Sammeln von Aufgaben in der "Manage Assignments" Übersicht
+'''Hinweis''': Es ist zu empfehlen, die automatische Bewertung immer zu überprüfen. Öffnen Sie dafür die eingereichte Abgabe und überprüfen Sie die Punktevergabe der automatisch bewerteten Zellen.
-<br clear=all>
-Nach Abschluss des Vorgangs wird ein Pop-up-Fenster angezeigt, welches unter anderem aufführt, wie viele Abgaben vorhanden sind.
+=== Manuelle Bewertung ===
-<br>
+'''Die manuelle Bewertung kann erst erfolgen, wenn eine Abgabe automatisch bewertet wurde.'''
-<br>
-===Automatisches Bewerten===
+Klicken Sie in der Einzelansicht der Abgabe unter „Submission Files“ auf „Pull submission“, um das Notebook zu öffnen. Aktivieren Sie den „'''Grading Mode'''“, um die Zellen zu bewerten. Nun wird angezeigt, welche Zelle welchen Aufgabentyp besitzt und wie viele Punkte maximal für die Aufgabe vergeben werden. Geben Sie Feedback und Punktzahlen ein und speichern Sie Ihre Bewertung.
-Sie können einzelne Abgaben direkt in Formgrader automatisch bewerten lassen. Klicken Sie dazu in der Ansicht „Managing Assignments“ auf die Anzahl der Abgaben:
-<br>
-Bild: 27 Anzahl von Abgaben in der "Manage Assignments" Übersicht
+Für automatisch bewertete Aufgaben werden die Punkte automatisch eingetragen. Sie haben die Möglichkeit Extrapunkte für automatisch bewertete Aufgaben zu vergeben.
-<br clear=all>
-Es öffnet sich eine neue Seite, die Übersicht „Manage Submissions“. Hier sind alle Abgaben gelistet. Der Status dieser Abgaben steht auf „needs autograding“.
+[[Datei:Bewertungsansicht.png|alternativtext=|mini|450x450px|ohne]]
-<br>
-Um eine Abgabe automatisch bewerten zu lassen, muss auf das Icon unter „Autograde“ geklickt werden:
+Speichern Sie Ihre Bewertung und Ihre Kommentare, indem Sie in der Übersicht der einzelnen Abgabe auf „Finish Manual Grading“ klicken. Sie werden aufgefordert nochmals zu bestätigen.
-<br>
-Bild: 28 Bewertungsansicht „Manage Submissions“
+Wenn Sie die Bewertungen vorgenommen haben, müssen Sie noch das '''Feedback''' für die Abgabe generieren. Vorher sehen die Studierenden die eingetragenen Bewertungen nicht.<br><br clear="all">
-<br clear=all>
-Nach Abschluss der automatisierten Bewertung wird ein Popup-Fenster angezeigt:
-<br>
-Bild: 29 Pop up-Fenster nach erfolgreicher automatisierter Bewertung
+<bootstrap_alert color="info">Die hochgeladenen Dateien können von mehreren Lehrenden eingesehen und bewertet werden. Allerdings sollte nur eine Person das Assignment final „pushen“. Daher ist eine klare Absprache zwischen den Beteiligten erforderlich.
-<br clear=all>
+* Autograding erfolgt nicht lokal, sondern auf dem Server. Manuelles Grading wird nach dem Push ebenfalls für alle sichtbar.
+* Alle Lehrenden haben Zugriff auf die aktuellen Versionen der Dateien. Unter „Files“ können Sie überprüfen, ob die Dateien auf dem neuesten Stand sind. Andernfalls sollte ein „Push“ durchgeführt werden.
+* Im Git-Log lässt sich nachvollziehen, wer welche Änderungen vorgenommen hat.
+Zusammenfassend ist eine '''kooperative''' Arbeitsweise möglich, aber '''keine kollaborative''' Bearbeitung im Sinne gleichzeitiger Änderungen durch mehrere Personen.
+</bootstrap_alert>
-Zurück in der Übersicht „Manage Submissions“ ist dann zu sehen, dass sich der Status der Abgabe in „needs manual grading“ geändert hat. Die durch das automatische Bewerten erreichte Punktzahl wird bereits angezeigt:
+==Feedback zu Abgaben==
-<br>
+Nachdem die Bewertungen abgeschlossen sind, klicken Sie auf „Generate Feedback“, um die Ergebnisse zu veröffentlichen. Sie können Feedback entweder für einzelne Abgaben oder für alle Abgaben gleichzeitig generieren.
-Bild: 30 Ergebnisse der automatischen Bewertung in der „Manage Submissions“-Übersicht
+Um Feedback '''für mehrere''' Abgaben zu generieren und die Bewertungen für mehrere Studierende freizugeben, wählen Sie die betroffenen Abgaben unter „Submissions“ aus. Daraufhin kann auf „Generate Feedback“ geklickt werden:<br>[[Datei:Jupyter-Lehrende-34.png|links|mini|ohne|650px|Generieren von Feedback für alle Abgaben]]
 <br clear=all>
-Zu diesem Zeitpunkt sind alle Zellen, die für das automatische Bewerten markiert wurden (Autograded Answer), bewertet. Erst nachdem die automatische Bewertung erfolgt ist, kann die manuelle Auswertung stattfinden.
+In der Submission-Ansicht von einzelnen Studierenden kann '''einzeln''' Feedback gegeben werden:<br>
-<br>
-<br>
-===Manuelles Bewerten von Aufgaben===
-Unter „Manual Grading“ können die Abgaben manuell bewertet werden. Dies betrifft vor allem die Zellen, die mit den Aufgabentypen „Manually graded answer“ und „Manually graded task“ markiert wurden.
-<br>
-Damit eine Abgabe manuell bewertet werden kann, muss die Aufgabe zuerst automatisch bewertet werden (siehe Automatisches Bewerten).
+[[Datei:Jupyter-Lehrende-35.png|links|mini|ohne|650px|Generieren von Feedback für einzelne Abgaben]]
-<br>
-Im Tab „Manual Grading“ in Formgrader werden mit Klick auf den Namen der Aufgabe alle Abgaben angezeigt:
-<br>
-Bild: 31 Abgaben einer Aufgabe im "Manual Grading" Tab
 <br clear=all>
-In jeder Abgabe kann bei den manuell zu bewertenden Aufgaben die Punktzahl eingetragen werden. Zusätzlich können Kommentare hinzugefügt werden, die im Feedback angezeigt werden.
-<br>
-Bild: 32 Beispiel: Manuelles Bewerten einer Aufgabe
-<br clear=all>
-Nach dem automatischen und manuellen Bewerten wird die Abgabe als „graded“ markiert.
-<br>
-Bild: 33 Ansicht einer komplett bewerteten Aufgabe
-<br clear=all>
-===Feedback zu Abgaben===
-Die Erstellung von Feedback für Studierende gliedert sich in zwei Teile:
-* Feedback generieren
-* Feedback veröffentlichen
-<br>
-Beim Generieren des Feedbacks werden HTML-Dateien im lokalen Verzeichnis des Lehrenden erstellt. Beim Freigeben des Feedbacks werden diese HTML-Dateien in den nbgrader-exchange kopiert und an die Studierenden freigegeben.
-<br>
-Um Feedback für alle Abgaben zu generieren und für alle Studierenden freizugeben, kann in der „Manage Assignments“ Übersicht auf die Icons „Generate Feedback“ und „Release Feedback“ geklickt werden:
-<br>
-Bild: 34 Generieren von Feedback für alle Abgaben
-<br clear=all>
-In der „Managing Submissions“ Übersicht kann auch zu '''einzelnen''' Aufgaben Feedback gegeben werden:
-<br>
-Bild: 35 Generieren von Feedback für alle Abgaben
-<br clear=all>
-===Der Tab „Manage Students“===
-Hier wird eine Liste aller Studierender des Kurses angezeigt.
-<br>
-'''Wichtig:'''
-* Bitte verwenden Sie das '''ngshare-course-management tool''', wenn Sie Studierende zu einem Kurs hinzufügen oder aus einem Kurs entfernen. Verwenden Sie nicht Formgrader, um Studierende hinzuzufügen, da ''ngshare'' dadurch nicht aktualisiert wird (siehe Kursverwaltung).
-* https://ngshare.readthedocs.io/en/latest/user_guide/course_management.html
 == Siehe auch ==
 * [[Jupyter]]
+* [[Jupyter - Allgemeine Informationen]]
+* [[Jupyter - Bearbeiten und Abgeben von Aufgaben]]