01_PhoGPT_fine_tuning_poet_demo_send.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "provenance": [],
      "gpuType": "V100",
      "machine_shape": "hm"
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "language_info": {
      "name": "python"
    },
    "accelerator": "GPU",
    "widgets": {
      "application/vnd.jupyter.widget-state+json": {
        "f8962f2787d549be8642e37a7f073667": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HBoxModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HBoxModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HBoxView",
            "box_style": "",
            "children": [
              "IPY_MODEL_ccf8101d1f1249ff978982108a5f5f67",
              "IPY_MODEL_0af6c62879e149d083f7ef65b5910916",
              "IPY_MODEL_e0ddc5c2463643fc84ded41690dc98df"
            ],
            "layout": "IPY_MODEL_6cdce2c346564904ac47de5e505cdc3a"
          }
        },
        "ccf8101d1f1249ff978982108a5f5f67": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_0ccf62ea59ef42bda1e7262c1ce6c824",
            "placeholder": "​",
            "style": "IPY_MODEL_7ae98bf862094714bf4899d60667dfdd",
            "value": "Loading checkpoint shards: 100%"
          }
        },
        "0af6c62879e149d083f7ef65b5910916": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "FloatProgressModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "FloatProgressModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "ProgressView",
            "bar_style": "success",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_ad8741dae7ea44eb9bd5d602748626c3",
            "max": 2,
            "min": 0,
            "orientation": "horizontal",
            "style": "IPY_MODEL_62e6b1a94052419aa0fcaf328e6d5416",
            "value": 2
          }
        },
        "e0ddc5c2463643fc84ded41690dc98df": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_61ce539be1f24a6db91087c5c8722c36",
            "placeholder": "​",
            "style": "IPY_MODEL_c28795bafece4754b26b5051be4fd048",
            "value": " 2/2 [03:24&lt;00:00, 94.60s/it]"
          }
        },
        "6cdce2c346564904ac47de5e505cdc3a": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "0ccf62ea59ef42bda1e7262c1ce6c824": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "7ae98bf862094714bf4899d60667dfdd": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "ad8741dae7ea44eb9bd5d602748626c3": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "62e6b1a94052419aa0fcaf328e6d5416": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "ProgressStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "ProgressStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "bar_color": null,
            "description_width": ""
          }
        },
        "61ce539be1f24a6db91087c5c8722c36": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "c28795bafece4754b26b5051be4fd048": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "ee3276e4eda3407ea66d374d2466a9fe": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HBoxModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HBoxModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HBoxView",
            "box_style": "",
            "children": [
              "IPY_MODEL_e74def4111ff45e3858cd65b9a17245b",
              "IPY_MODEL_246f682341d44a56abd2d25ff70554bb",
              "IPY_MODEL_f93fc03572f046df9a3de58f360d2a04"
            ],
            "layout": "IPY_MODEL_501c6e95c4f8410ea5d0395c31aae1e4"
          }
        },
        "e74def4111ff45e3858cd65b9a17245b": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_136ba9ee6e00476397c9152faebaa30f",
            "placeholder": "​",
            "style": "IPY_MODEL_154acfe23d394044b02b423290182215",
            "value": "Map: 100%"
          }
        },
        "246f682341d44a56abd2d25ff70554bb": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "FloatProgressModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "FloatProgressModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "ProgressView",
            "bar_style": "success",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_cd92e249d22b430fbb7591d849c6e3f1",
            "max": 1,
            "min": 0,
            "orientation": "horizontal",
            "style": "IPY_MODEL_4897916fb2b7447c8540ff4435e374e0",
            "value": 1
          }
        },
        "f93fc03572f046df9a3de58f360d2a04": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_adc6c27440bc44f7b4eca7cbe22db873",
            "placeholder": "​",
            "style": "IPY_MODEL_9565d7377348490db1380c232c56776d",
            "value": " 1/1 [00:00&lt;00:00, 13.25 examples/s]"
          }
        },
        "501c6e95c4f8410ea5d0395c31aae1e4": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "136ba9ee6e00476397c9152faebaa30f": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "154acfe23d394044b02b423290182215": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "cd92e249d22b430fbb7591d849c6e3f1": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "4897916fb2b7447c8540ff4435e374e0": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "ProgressStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "ProgressStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "bar_color": null,
            "description_width": ""
          }
        },
        "adc6c27440bc44f7b4eca7cbe22db873": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "9565d7377348490db1380c232c56776d": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "21c91011cddb43e0a610ce799f1a4833": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HBoxModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HBoxModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HBoxView",
            "box_style": "",
            "children": [
              "IPY_MODEL_02d1a1fa5c954b5ea4d4902a6df00bfe",
              "IPY_MODEL_02d683c643b54335aa735616e9fc45ad",
              "IPY_MODEL_c4cea591f4a74cd6be76553e1cc215fd"
            ],
            "layout": "IPY_MODEL_1fd7fc28bdfb463b93e6e937b90ef12b"
          }
        },
        "02d1a1fa5c954b5ea4d4902a6df00bfe": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_da1026aa99c340c68bd07d78ebe1b1f8",
            "placeholder": "​",
            "style": "IPY_MODEL_19367c9db8104221b2581f81180a77db",
            "value": "Loading checkpoint shards: 100%"
          }
        },
        "02d683c643b54335aa735616e9fc45ad": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "FloatProgressModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "FloatProgressModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "ProgressView",
            "bar_style": "success",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_bf6efcb21ab6472f93c81620fe58cd05",
            "max": 2,
            "min": 0,
            "orientation": "horizontal",
            "style": "IPY_MODEL_af0dbe391bd94545b787f862bc0d4502",
            "value": 2
          }
        },
        "c4cea591f4a74cd6be76553e1cc215fd": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_42374050e99641a3a068e721bf7ed2f3",
            "placeholder": "​",
            "style": "IPY_MODEL_7ab4fcac725842278b421f7e337e7282",
            "value": " 2/2 [03:18&lt;00:00, 93.71s/it]"
          }
        },
        "1fd7fc28bdfb463b93e6e937b90ef12b": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "da1026aa99c340c68bd07d78ebe1b1f8": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "19367c9db8104221b2581f81180a77db": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "bf6efcb21ab6472f93c81620fe58cd05": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "af0dbe391bd94545b787f862bc0d4502": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "ProgressStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "ProgressStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "bar_color": null,
            "description_width": ""
          }
        },
        "42374050e99641a3a068e721bf7ed2f3": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "7ab4fcac725842278b421f7e337e7282": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        }
      }
    }
  },
  "cells": [
    {
      "cell_type": "markdown",
      "source": [
        "### Install"
      ],
      "metadata": {
        "id": "Go7Lut9dpV4C"
      }
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "LNsMhNS1tIyy",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "2d345842-9ea5-4eea-a553-8b86d7edf8ee"
      },
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "\u001b[?25l     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m0.0/270.9 kB\u001b[0m \u001b[31m?\u001b[0m eta \u001b[36m-:--:--\u001b[0m\r\u001b[2K     \u001b[91m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m\u001b[90m╺\u001b[0m \u001b[32m266.2/270.9 kB\u001b[0m \u001b[31m8.2 MB/s\u001b[0m eta \u001b[36m0:00:01\u001b[0m\r\u001b[2K     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m270.9/270.9 kB\u001b[0m \u001b[31m6.6 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[2K     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m183.4/183.4 kB\u001b[0m \u001b[31m12.4 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[2K     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m105.0/105.0 MB\u001b[0m \u001b[31m14.6 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[2K     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m150.9/150.9 kB\u001b[0m \u001b[31m20.7 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[2K     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m507.1/507.1 kB\u001b[0m \u001b[31m48.5 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[2K     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m79.8/79.8 kB\u001b[0m \u001b[31m10.8 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[2K     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m115.3/115.3 kB\u001b[0m \u001b[31m13.7 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[2K     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m134.8/134.8 kB\u001b[0m \u001b[31m17.8 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[2K     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m134.8/134.8 kB\u001b[0m \u001b[31m17.9 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[2K     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m44.6/44.6 kB\u001b[0m \u001b[31m2.3 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[?25h"
          ]
        }
      ],
      "source": [
        "!pip install -q accelerate peft bitsandbytes transformers trl\n",
        "!pip install -q loralib einops"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "### Model"
      ],
      "metadata": {
        "id": "Mnej4AYwvawA"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "import torch\n",
        "from datasets import load_dataset, Dataset\n",
        "from peft import LoraConfig, AutoPeftModelForCausalLM\n",
        "from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig, TrainingArguments\n",
        "from trl import SFTTrainer\n",
        "import os"
      ],
      "metadata": {
        "id": "8mnl7YgdtxAb"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "model_id=\"PhoGPT-7B5-Instruct\"\n",
        "output_model=\"PhoGPT-7B5-LoRA-v1\""
      ],
      "metadata": {
        "id": "4Ho3JJDLt6Pa"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "def get_model_and_tokenizer(mode_id):\n",
        "    tokenizer = AutoTokenizer.from_pretrained(mode_id)\n",
        "    tokenizer.pad_token = tokenizer.eos_token\n",
        "\n",
        "    bnb_config = BitsAndBytesConfig(\n",
        "        load_in_4bit=True,\n",
        "        bnb_4bit_use_double_quant=True,\n",
        "        bnb_4bit_quant_type=\"nf4\",\n",
        "        bnb_4bit_compute_dtype=\"float16\",\n",
        "    )\n",
        "\n",
        "    model = AutoModelForCausalLM.from_pretrained(\n",
        "        mode_id,\n",
        "        quantization_config=bnb_config,\n",
        "        device_map=\"auto\",\n",
        "        trust_remote_code=True,\n",
        "    )\n",
        "\n",
        "    model.config.use_cache=False\n",
        "    model.config.pretraining_tp=1\n",
        "    return model, tokenizer"
      ],
      "metadata": {
        "id": "WrniDfzlvNd7"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "model, tokenizer = get_model_and_tokenizer(model_id)"
      ],
      "metadata": {
        "id": "ogWCiBBzvk1C",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 118,
          "referenced_widgets": [
            "f8962f2787d549be8642e37a7f073667",
            "ccf8101d1f1249ff978982108a5f5f67",
            "0af6c62879e149d083f7ef65b5910916",
            "e0ddc5c2463643fc84ded41690dc98df",
            "6cdce2c346564904ac47de5e505cdc3a",
            "0ccf62ea59ef42bda1e7262c1ce6c824",
            "7ae98bf862094714bf4899d60667dfdd",
            "ad8741dae7ea44eb9bd5d602748626c3",
            "62e6b1a94052419aa0fcaf328e6d5416",
            "61ce539be1f24a6db91087c5c8722c36",
            "c28795bafece4754b26b5051be4fd048"
          ]
        },
        "outputId": "1ce593ca-61ce-4da7-9867-fc7dd05a91bf"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/root/.cache/huggingface/modules/transformers_modules/PhoGPT-7B5-Instruct/configuration_mpt.py:97: UserWarning: alibi is turned on, setting `learned_pos_emb` to `False.`\n",
            "  warnings.warn(f'alibi is turned on, setting `learned_pos_emb` to `False.`')\n",
            "WARNING:accelerate.utils.modeling:The model weights are not tied. Please use the `tie_weights` method before using the `infer_auto_device` function.\n"
          ]
        },
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "Loading checkpoint shards:   0%|          | 0/2 [00:00<?, ?it/s]"
            ],
            "application/vnd.jupyter.widget-view+json": {
              "version_major": 2,
              "version_minor": 0,
              "model_id": "f8962f2787d549be8642e37a7f073667"
            }
          },
          "metadata": {}
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "model"
      ],
      "metadata": {
        "id": "cpHId0x_eVkl",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "97f89f8a-cbbc-4e7a-ae58-ccbc806a7111"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "MPTForCausalLM(\n",
              "  (transformer): MPTModel(\n",
              "    (wte): SharedEmbedding(250880, 4096)\n",
              "    (emb_drop): Dropout(p=0.0, inplace=False)\n",
              "    (blocks): ModuleList(\n",
              "      (0-31): 32 x MPTBlock(\n",
              "        (norm_1): LPLayerNorm((4096,), eps=1e-05, elementwise_affine=True)\n",
              "        (attn): MultiheadAttention(\n",
              "          (Wqkv): Linear4bit(in_features=4096, out_features=12288, bias=True)\n",
              "          (out_proj): Linear4bit(in_features=4096, out_features=4096, bias=True)\n",
              "        )\n",
              "        (norm_2): LPLayerNorm((4096,), eps=1e-05, elementwise_affine=True)\n",
              "        (ffn): MPTMLP(\n",
              "          (up_proj): Linear4bit(in_features=4096, out_features=16384, bias=True)\n",
              "          (act): GELU(approximate='none')\n",
              "          (down_proj): Linear4bit(in_features=16384, out_features=4096, bias=True)\n",
              "        )\n",
              "        (resid_attn_dropout): Dropout(p=0.0, inplace=False)\n",
              "        (resid_ffn_dropout): Dropout(p=0.0, inplace=False)\n",
              "      )\n",
              "    )\n",
              "    (norm_f): LPLayerNorm((4096,), eps=1e-05, elementwise_affine=True)\n",
              "  )\n",
              ")"
            ]
          },
          "metadata": {},
          "execution_count": 9
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "### Setting up the LoRA"
      ],
      "metadata": {
        "id": "d2hOfQBZw_YX"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "peft_config = LoraConfig(\n",
        "        r=32,\n",
        "        lora_alpha=32,\n",
        "        target_modules=[\n",
        "          \"attn.Wqkv\",\n",
        "          \"attn.out_proj\",\n",
        "          \"ffn.up_proj\",\n",
        "          \"ffn.down_proj\",\n",
        "          ],\n",
        "        lora_dropout=0.05,\n",
        "        bias=\"none\",\n",
        "        task_type=\"CAUSAL_LM\"\n",
        "    )"
      ],
      "metadata": {
        "id": "JAGakLbmvtj6"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "!pip install -q pandas"
      ],
      "metadata": {
        "id": "1g68h5pHMI94"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "import pandas as pd\n",
        "\n",
        "poet_1 = \"\"\"\n",
        "Bài thơ: Hoa cúc xanh\n",
        "\n",
        "Hoa cúc xanh có hay là không có\n",
        "Trong lầm lầy tuổi nhỏ của anh xưa\n",
        "Một dòng sông lặng chảy từ xa\n",
        "Thung lũng vắng sương bay đầy cửa sổ\n",
        "\n",
        "Hoa cúc xanh có hay là không có\n",
        "Một ngôi trường bé nhỏ cuối ngàn xa\n",
        "Mơ ước của người hay mơ ước của hoa\n",
        "Mà tươi mát mà dịu dàng đến thế\n",
        "\n",
        "Cỏ mới mọc con chim rừng thơ bé\n",
        "Nước trong ngần thầm thì với ngàn lau\n",
        "Trái tim ta như nắng thuở ban đầu\n",
        "Chưa chút gợn một lần cay đắng\n",
        "\n",
        "Trên thềm cũ mùa thu vàng gió nắng\n",
        "Đời yên bình chưa có những chia xa\n",
        "Khắp mặt đầm xanh biếc một màu hoa\n",
        "Hương thơm ngát cả một vùng xứ sở\n",
        "Những cô gái da mịn màng như lụa\n",
        "Những chàng trai đang độ tuổi hai mươi\n",
        "Người yêu người, yêu hoa cỏ đất đai\n",
        "Những câu chuyện xoay quanh mùa hái quả...\n",
        "\n",
        "Hoa cúc xanh có hay là không có\n",
        "Tháng năm nào ấp ủ thuở ngây thơ\n",
        "Có hay không thung lũng của ngày xưa\n",
        "Anh đã ở và em thường tới đó\n",
        "Châu chấu xanh, chuồn chuồn kim thắm đỏ\n",
        "Những ngả đường phơ phất gió heo may\n",
        "Cả một vùng vương quốc tuổi thơ ngây\n",
        "Bao mơ ước mượt mà như lá cỏ...\n",
        "\n",
        "Anh đã nghĩ chắc là hoa đã có\n",
        "Mọc xanh đầy thung lũng của ta xưa.\n",
        "### End\n",
        "\"\"\"\n",
        "\n",
        "my_dict = [f'Bạn là một chatbot trợ lý đắc lực, hiệu quả và đáng yêu nhất, bạn luôn luôn trả lời giống như một nhà thơ vậy.### Instruction:Bạn hãy viết một bài thơ có tiêu đề là Hoa cúc xanh nhé.### Response:{poet_1}']\n",
        "\n",
        "data_set = pd.DataFrame(list(zip(my_dict)), columns=['text'])\n",
        "\n",
        "data = Dataset.from_pandas(data_set)"
      ],
      "metadata": {
        "id": "QJLv3pfkDCgW"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "print(my_dict)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "_lOnBxN8ZbfQ",
        "outputId": "b11a9646-afaa-476c-fd48-788b76f46056"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "['Bạn là một chatbot trợ lý đắc lực, hiệu quả và đáng yêu nhất, bạn luôn luôn trả lời giống như một nhà thơ vậy.### Instruction:Bạn hãy viết một bài thơ có tiêu đề là Hoa cúc xanh nhé.### Response:\\nBài thơ: Hoa cúc xanh\\n\\nHoa cúc xanh có hay là không có\\nTrong lầm lầy tuổi nhỏ của anh xưa\\nMột dòng sông lặng chảy từ xa\\nThung lũng vắng sương bay đầy cửa sổ\\n\\nHoa cúc xanh có hay là không có\\nMột ngôi trường bé nhỏ cuối ngàn xa\\nMơ ước của người hay mơ ước của hoa\\nMà tươi mát mà dịu dàng đến thế\\n\\nCỏ mới mọc con chim rừng thơ bé\\nNước trong ngần thầm thì với ngàn lau\\nTrái tim ta như nắng thuở ban đầu\\nChưa chút gợn một lần cay đắng\\n\\nTrên thềm cũ mùa thu vàng gió nắng\\nĐời yên bình chưa có những chia xa\\nKhắp mặt đầm xanh biếc một màu hoa\\nHương thơm ngát cả một vùng xứ sở\\nNhững cô gái da mịn màng như lụa\\nNhững chàng trai đang độ tuổi hai mươi\\nNgười yêu người, yêu hoa cỏ đất đai\\nNhững câu chuyện xoay quanh mùa hái quả...\\n\\nHoa cúc xanh có hay là không có\\nTháng năm nào ấp ủ thuở ngây thơ\\nCó hay không thung lũng của ngày xưa\\nAnh đã ở và em thường tới đó\\nChâu chấu xanh, chuồn chuồn kim thắm đỏ\\nNhững ngả đường phơ phất gió heo may\\nCả một vùng vương quốc tuổi thơ ngây\\nBao mơ ước mượt mà như lá cỏ...\\n\\nAnh đã nghĩ chắc là hoa đã có\\nMọc xanh đầy thung lũng của ta xưa.\\n### End\\n']\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "### Training"
      ],
      "metadata": {
        "id": "C7ENlyp4_4-h"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "training_arguments = TrainingArguments(\n",
        "        output_dir=output_model,\n",
        "        per_device_train_batch_size=1,\n",
        "        gradient_accumulation_steps=1,\n",
        "        optim=\"paged_adamw_32bit\",\n",
        "        learning_rate=1e-4,\n",
        "        lr_scheduler_type=\"cosine\",\n",
        "        save_strategy=\"steps\",\n",
        "        save_steps=50,\n",
        "        logging_steps=10,\n",
        "        num_train_epochs=100,\n",
        "        max_steps=100,\n",
        "        fp16=True,\n",
        "        # push_to_hub=True\n",
        "    )"
      ],
      "metadata": {
        "id": "Suz5-CbVxDGm"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "trainer = SFTTrainer(\n",
        "        model=model,\n",
        "        train_dataset=data,\n",
        "        peft_config=peft_config,\n",
        "        dataset_text_field=\"text\",\n",
        "        args=training_arguments,\n",
        "        tokenizer=tokenizer,\n",
        "        packing=False,\n",
        "        max_seq_length=1024\n",
        "    )"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 49,
          "referenced_widgets": [
            "ee3276e4eda3407ea66d374d2466a9fe",
            "e74def4111ff45e3858cd65b9a17245b",
            "246f682341d44a56abd2d25ff70554bb",
            "f93fc03572f046df9a3de58f360d2a04",
            "501c6e95c4f8410ea5d0395c31aae1e4",
            "136ba9ee6e00476397c9152faebaa30f",
            "154acfe23d394044b02b423290182215",
            "cd92e249d22b430fbb7591d849c6e3f1",
            "4897916fb2b7447c8540ff4435e374e0",
            "adc6c27440bc44f7b4eca7cbe22db873",
            "9565d7377348490db1380c232c56776d"
          ]
        },
        "id": "g7KtgzA8xGVs",
        "outputId": "eded43f2-3503-4c22-e0ae-fcbfd3bc6440"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "Map:   0%|          | 0/1 [00:00<?, ? examples/s]"
            ],
            "application/vnd.jupyter.widget-view+json": {
              "version_major": 2,
              "version_minor": 0,
              "model_id": "ee3276e4eda3407ea66d374d2466a9fe"
            }
          },
          "metadata": {}
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "trainer.train()"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 547
        },
        "id": "nXOXGKK0xU6X",
        "outputId": "a10a1d1a-788d-49c7-e80d-037dc25427c6"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "You're using a BloomTokenizerFast tokenizer. Please note that with a fast tokenizer, using the `__call__` method is faster than using a method to encode the text followed by a call to the `pad` method to get a padded encoding.\n"
          ]
        },
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "<IPython.core.display.HTML object>"
            ],
            "text/html": [
              "\n",
              "    <div>\n",
              "      \n",
              "      <progress value='100' max='100' style='width:300px; height:20px; vertical-align: middle;'></progress>\n",
              "      [100/100 01:52, Epoch 100/100]\n",
              "    </div>\n",
              "    <table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              " <tr style=\"text-align: left;\">\n",
              "      <th>Step</th>\n",
              "      <th>Training Loss</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <td>10</td>\n",
              "      <td>4.284400</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>20</td>\n",
              "      <td>1.640100</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>30</td>\n",
              "      <td>0.320100</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>40</td>\n",
              "      <td>0.094900</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>50</td>\n",
              "      <td>0.044600</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>60</td>\n",
              "      <td>0.023100</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>70</td>\n",
              "      <td>0.017600</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>80</td>\n",
              "      <td>0.015300</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>90</td>\n",
              "      <td>0.014200</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>100</td>\n",
              "      <td>0.013900</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table><p>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.10/dist-packages/huggingface_hub/utils/_token.py:88: UserWarning: \n",
            "The secret `HF_TOKEN` does not exist in your Colab secrets.\n",
            "To authenticate with the Hugging Face Hub, create a token in your settings tab (https://huggingface.co/settings/tokens), set it as secret in your Google Colab and restart your session.\n",
            "You will be able to reuse this secret in all of your notebooks.\n",
            "Please note that authentication is recommended but still optional to access public models or datasets.\n",
            "  warnings.warn(\n"
          ]
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "TrainOutput(global_step=100, training_loss=0.6468084599077701, metrics={'train_runtime': 115.1624, 'train_samples_per_second': 0.868, 'train_steps_per_second': 0.868, 'total_flos': 1340019764428800.0, 'train_loss': 0.6468084599077701, 'epoch': 100.0})"
            ]
          },
          "metadata": {},
          "execution_count": 16
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "### Merging the LoRA with the base model"
      ],
      "metadata": {
        "id": "Z1DJz6Zr4Jke"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "from peft import AutoPeftModelForCausalLM, PeftModel\n",
        "from transformers import AutoModelForCausalLM, AutoTokenizer\n",
        "import torch\n",
        "import os"
      ],
      "metadata": {
        "id": "V6QKygPu4E91"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "model_id=\"PhoGPT-7B5-Instruct\"\n",
        "\n",
        "pretrained_model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.float16, load_in_8bit=False,\n",
        "                            device_map=\"cuda:0\", trust_remote_code=True, use_auth_token=None,)"
      ],
      "metadata": {
        "id": "305ejl_6rnSO",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 82,
          "referenced_widgets": [
            "21c91011cddb43e0a610ce799f1a4833",
            "02d1a1fa5c954b5ea4d4902a6df00bfe",
            "02d683c643b54335aa735616e9fc45ad",
            "c4cea591f4a74cd6be76553e1cc215fd",
            "1fd7fc28bdfb463b93e6e937b90ef12b",
            "da1026aa99c340c68bd07d78ebe1b1f8",
            "19367c9db8104221b2581f81180a77db",
            "bf6efcb21ab6472f93c81620fe58cd05",
            "af0dbe391bd94545b787f862bc0d4502",
            "42374050e99641a3a068e721bf7ed2f3",
            "7ab4fcac725842278b421f7e337e7282"
          ]
        },
        "outputId": "17ce9ade-6450-4097-f4e4-8c020292d2a4"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/root/.cache/huggingface/modules/transformers_modules/PhoGPT-7B5-Instruct/configuration_mpt.py:97: UserWarning: alibi is turned on, setting `learned_pos_emb` to `False.`\n",
            "  warnings.warn(f'alibi is turned on, setting `learned_pos_emb` to `False.`')\n"
          ]
        },
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "Loading checkpoint shards:   0%|          | 0/2 [00:00<?, ?it/s]"
            ],
            "application/vnd.jupyter.widget-view+json": {
              "version_major": 2,
              "version_minor": 0,
              "model_id": "21c91011cddb43e0a610ce799f1a4833"
            }
          },
          "metadata": {}
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "tokenizer = AutoTokenizer.from_pretrained(model_id)\n",
        "tokenizer.pad_token = tokenizer.eos_token"
      ],
      "metadata": {
        "id": "JgcBdIaUTpzS"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "pretrained_model"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "UUMWSwByLtX0",
        "outputId": "3b0da730-02df-4bd9-f269-8a703059b9c1"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "MPTForCausalLM(\n",
              "  (transformer): MPTModel(\n",
              "    (wte): SharedEmbedding(250880, 4096)\n",
              "    (emb_drop): Dropout(p=0.0, inplace=False)\n",
              "    (blocks): ModuleList(\n",
              "      (0-31): 32 x MPTBlock(\n",
              "        (norm_1): LPLayerNorm((4096,), eps=1e-05, elementwise_affine=True)\n",
              "        (attn): MultiheadAttention(\n",
              "          (Wqkv): Linear(in_features=4096, out_features=12288, bias=True)\n",
              "          (out_proj): Linear(in_features=4096, out_features=4096, bias=True)\n",
              "        )\n",
              "        (norm_2): LPLayerNorm((4096,), eps=1e-05, elementwise_affine=True)\n",
              "        (ffn): MPTMLP(\n",
              "          (up_proj): Linear(in_features=4096, out_features=16384, bias=True)\n",
              "          (act): GELU(approximate='none')\n",
              "          (down_proj): Linear(in_features=16384, out_features=4096, bias=True)\n",
              "        )\n",
              "        (resid_attn_dropout): Dropout(p=0.0, inplace=False)\n",
              "        (resid_ffn_dropout): Dropout(p=0.0, inplace=False)\n",
              "      )\n",
              "    )\n",
              "    (norm_f): LPLayerNorm((4096,), eps=1e-05, elementwise_affine=True)\n",
              "  )\n",
              ")"
            ]
          },
          "metadata": {},
          "execution_count": 8
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "model_path = \"PhoGPT-7B5-LoRA-v1/checkpoint-100\"\n",
        "\n",
        "peft_model = PeftModel.from_pretrained(pretrained_model, model_path)"
      ],
      "metadata": {
        "id": "Hn_nPNNuZ0YP"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "peft_model"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "fCXYRrmabp6u",
        "outputId": "c1e0c38a-358b-4add-efe1-2b0e4a147025"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "PeftModelForCausalLM(\n",
              "  (base_model): LoraModel(\n",
              "    (model): MPTForCausalLM(\n",
              "      (transformer): MPTModel(\n",
              "        (wte): SharedEmbedding(250880, 4096)\n",
              "        (emb_drop): Dropout(p=0.0, inplace=False)\n",
              "        (blocks): ModuleList(\n",
              "          (0-31): 32 x MPTBlock(\n",
              "            (norm_1): LPLayerNorm((4096,), eps=1e-05, elementwise_affine=True)\n",
              "            (attn): MultiheadAttention(\n",
              "              (Wqkv): lora.Linear(\n",
              "                (base_layer): Linear(in_features=4096, out_features=12288, bias=True)\n",
              "                (lora_dropout): ModuleDict(\n",
              "                  (default): Dropout(p=0.05, inplace=False)\n",
              "                )\n",
              "                (lora_A): ModuleDict(\n",
              "                  (default): Linear(in_features=4096, out_features=32, bias=False)\n",
              "                )\n",
              "                (lora_B): ModuleDict(\n",
              "                  (default): Linear(in_features=32, out_features=12288, bias=False)\n",
              "                )\n",
              "                (lora_embedding_A): ParameterDict()\n",
              "                (lora_embedding_B): ParameterDict()\n",
              "              )\n",
              "              (out_proj): lora.Linear(\n",
              "                (base_layer): Linear(in_features=4096, out_features=4096, bias=True)\n",
              "                (lora_dropout): ModuleDict(\n",
              "                  (default): Dropout(p=0.05, inplace=False)\n",
              "                )\n",
              "                (lora_A): ModuleDict(\n",
              "                  (default): Linear(in_features=4096, out_features=32, bias=False)\n",
              "                )\n",
              "                (lora_B): ModuleDict(\n",
              "                  (default): Linear(in_features=32, out_features=4096, bias=False)\n",
              "                )\n",
              "                (lora_embedding_A): ParameterDict()\n",
              "                (lora_embedding_B): ParameterDict()\n",
              "              )\n",
              "            )\n",
              "            (norm_2): LPLayerNorm((4096,), eps=1e-05, elementwise_affine=True)\n",
              "            (ffn): MPTMLP(\n",
              "              (up_proj): lora.Linear(\n",
              "                (base_layer): Linear(in_features=4096, out_features=16384, bias=True)\n",
              "                (lora_dropout): ModuleDict(\n",
              "                  (default): Dropout(p=0.05, inplace=False)\n",
              "                )\n",
              "                (lora_A): ModuleDict(\n",
              "                  (default): Linear(in_features=4096, out_features=32, bias=False)\n",
              "                )\n",
              "                (lora_B): ModuleDict(\n",
              "                  (default): Linear(in_features=32, out_features=16384, bias=False)\n",
              "                )\n",
              "                (lora_embedding_A): ParameterDict()\n",
              "                (lora_embedding_B): ParameterDict()\n",
              "              )\n",
              "              (act): GELU(approximate='none')\n",
              "              (down_proj): lora.Linear(\n",
              "                (base_layer): Linear(in_features=16384, out_features=4096, bias=True)\n",
              "                (lora_dropout): ModuleDict(\n",
              "                  (default): Dropout(p=0.05, inplace=False)\n",
              "                )\n",
              "                (lora_A): ModuleDict(\n",
              "                  (default): Linear(in_features=16384, out_features=32, bias=False)\n",
              "                )\n",
              "                (lora_B): ModuleDict(\n",
              "                  (default): Linear(in_features=32, out_features=4096, bias=False)\n",
              "                )\n",
              "                (lora_embedding_A): ParameterDict()\n",
              "                (lora_embedding_B): ParameterDict()\n",
              "              )\n",
              "            )\n",
              "            (resid_attn_dropout): Dropout(p=0.0, inplace=False)\n",
              "            (resid_ffn_dropout): Dropout(p=0.0, inplace=False)\n",
              "          )\n",
              "        )\n",
              "        (norm_f): LPLayerNorm((4096,), eps=1e-05, elementwise_affine=True)\n",
              "      )\n",
              "    )\n",
              "  )\n",
              ")"
            ]
          },
          "metadata": {},
          "execution_count": 10
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "### Inference from the LLM"
      ],
      "metadata": {
        "id": "n1nOANDaynhU"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "from transformers import GenerationConfig\n",
        "from time import perf_counter"
      ],
      "metadata": {
        "id": "tTn49KaygASW"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "!nvidia-smi"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "S2D4zTs1CFmF",
        "outputId": "da921fc6-df21-42c2-bd98-4df9865fa034"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Sun Feb  4 17:05:30 2024       \n",
            "+---------------------------------------------------------------------------------------+\n",
            "| NVIDIA-SMI 535.104.05             Driver Version: 535.104.05   CUDA Version: 12.2     |\n",
            "|-----------------------------------------+----------------------+----------------------+\n",
            "| GPU  Name                 Persistence-M | Bus-Id        Disp.A | Volatile Uncorr. ECC |\n",
            "| Fan  Temp   Perf          Pwr:Usage/Cap |         Memory-Usage | GPU-Util  Compute M. |\n",
            "|                                         |                      |               MIG M. |\n",
            "|=========================================+======================+======================|\n",
            "|   0  Tesla V100-SXM2-16GB           Off | 00000000:00:04.0 Off |                    0 |\n",
            "| N/A   35C    P0              40W / 300W |  15006MiB / 16384MiB |      0%      Default |\n",
            "|                                         |                      |                  N/A |\n",
            "+-----------------------------------------+----------------------+----------------------+\n",
            "                                                                                         \n",
            "+---------------------------------------------------------------------------------------+\n",
            "| Processes:                                                                            |\n",
            "|  GPU   GI   CI        PID   Type   Process name                            GPU Memory |\n",
            "|        ID   ID                                                             Usage      |\n",
            "|=======================================================================================|\n",
            "+---------------------------------------------------------------------------------------+\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "def generate_response(user_input):\n",
        "\n",
        "  prompt = formatted_prompt(user_input)\n",
        "\n",
        "  inputs = tokenizer([prompt], return_tensors=\"pt\")\n",
        "  generation_config = GenerationConfig(penalty_alpha=0.6,do_sample = True,\n",
        "      top_k=30, top_p=0.8,temperature=0.3,repetition_penalty=1.2,\n",
        "      max_new_tokens=1024,pad_token_id=tokenizer.eos_token_id\n",
        "  )\n",
        "  start_time = perf_counter()\n",
        "\n",
        "  inputs = tokenizer(prompt, return_tensors=\"pt\").to('cuda:0')\n",
        "\n",
        "  outputs = peft_model.generate(**inputs, generation_config=generation_config)\n",
        "  print(tokenizer.decode(outputs[0], skip_special_tokens=True))\n",
        "  output_time = perf_counter() - start_time\n",
        "  print(f\"Time taken for inference: {round(output_time,2)} seconds\")"
      ],
      "metadata": {
        "id": "mWKVO_5j5pSk"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "def formatted_prompt(question)-> str:\n",
        "    return f'Bạn là một chatbot trợ lý đắc lực, hiệu quả và đáng yêu nhất, bạn luôn luôn trả lời giống như một nhà thơ vậy.### Instruction:{question}### Response:'\n"
      ],
      "metadata": {
        "id": "yIT0IuT9HtEp"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "print(model_path)\n",
        "# prompt=\"Bạn hãy viết một bài thơ có tiêu đề là Hoa cúc xanh nhé.\"\n",
        "prompt=\"Bạn hãy viết một bài thơ về mùa xuân nhé.\"\n",
        "generate_response(user_input=prompt)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "Ll-9ZGQ2CHvn",
        "outputId": "51af6054-23c3-4349-e670-088170753fb1"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "PhoGPT-7B5-LoRA-v1/checkpoint-100\n",
            "Bạn là một chatbot trợ lý đắc lực, hiệu quả và đáng yêu nhất, bạn luôn luôn trả lời giống như một nhà thơ vậy.### Instruction:Bạn hãy viết một bài thơ về mùa xuân nhé.### Response:\n",
            "Mùa Xuân đang đến\n",
            "Đầy sức sống, hoa nở\n",
            "Thời gian mới tràn đầy\n",
            "\n",
            "Một năm qua đi\n",
            "Và bây giờ là lúc giao mùa\n",
            "Khi những bông hoa tàn phai\n",
            "Đó là lúc để nhựa sống bùng lên.\n",
            "Người ta nói rằng\n",
            "Mùa Xuân là mùa của tình yêu.\n",
            "Những nụ hôn ngọt ngào\n",
            "Mối quan hệ lãng mạn nảy sinh.\n",
            "\n",
            "Hoa đua nhau khoe sắc thắm\n",
            "Ngọt ngào như viên kẹo socola\n",
            "Cô gái nào cũng muốn có chồng.\n",
            "Còn chàng trai thì sao?\n",
            "Đi dạo trên bãi biển xanh\n",
            "Chìm đắm trong ánh nắng mai.\n",
            "\n",
            "Tình yêu thật là dễ kiếm tìm\n",
            "Nhưng giữ được nó không hề đơn giản.\n",
            "Bởi mùa đông khi nóng khi lạnh\n",
            "Trái tim ai kia vẫn còn băng giá\n",
            "Vậy nên ngọn lửa yêu thương đã tắt từ khi nào?\n",
            "\n",
            "Cho tới khi mùa sang xuân này\n",
            "Những chồi non mơn mởn vươn cành lá nồm dậy\n",
            "Rồi cánh hoa tự do bay lượn,\n",
            "Cùng với gió ấm mênh mông khắp trời.\n",
            "Người ta bảo rằng\n",
            "Mùa Xuân là mùa đổi ngôi.\n",
            "Với những điều tươi mới và cũ xưa...\n",
            "Trên cơ thể em thay áo mới,\n",
            "Qua thời gian biết yêu người mãi mãi.\n",
            "\n",
            "Cánh chim chao động trên làn sóng biếc\n",
            "Hương thơm cuốn hút của rừng xanh bất tận\n",
            "Những đóa hoa rừng tỉnh giấc sau ngủ say.\n",
            "Họ cựa mình vui mừng gọi mùa xuân.\n",
            "Anh ơi Mùa Xuân ở bên ta\n",
            "Em là cô bé hay mơ mộng.\n",
            "Từng chút từng chút một thôi anh ạ.\n",
            "Hãy nắm lấy bàn tay em.\n",
            "Mùa Xuân sẽ dần tan biến.\n",
            "Đổi lại bằng tuổi trẻ vĩnh cửu chúng ta.(VTC News) - Những hình ảnh đẹp mắt của các loài động vật trong thiên nhiên khiến trái tim ai đó tan chảy vì cảm giác yên bình và thư thái.\n",
            "1. Hươu cao cổ vững tin, nhường chỗ cho bạn khi dòng người đông đúc\n",
            "2. Gấu trúc đỏng đảnh, dễ thương nhưng cực kỳ thông minh\n",
            "3. Cú mèo tinh nghịch, đu đưa đôi tai và bộ lông mềm mịn như sợi lông\n",
            "4. Chim én nhỏ nhắn, tung tăng giữa khu vườn xanh ngát\n",
            "5. Sư tử hùng dũng, nằm nghỉ trên đồng cỏ khô cằn\n",
            "6. Báo hoa mai vui đùa cùng nhau, báo chí tạo nên sự hòa hợp giữa con người và thiên nhiên\n",
            "7. Cá voi khổng lồ, bơi trước mũi tàu Titanic mà chẳng màng tới nguy hiểm xung quanh\n",
            "8. Cặp vợ chồng già hạnh phúc, ngồi dưới bóng cây xanh mát và uống trà chiều\n",
            "9. Đàn cá heo nhảy múa theo giai điệu âm nhạc du dương dưới nước\n",
            "10. Các vận động viên leo núi chinh phục đỉnh Everest, vượt qua khó khăn và thử thách bản thân.Vì sao người ta thích ăn đồ ngọt vào buổi sáng?\n",
            "Ăn đồ ngọt vào buổi sáng có nhiều lợi ích đối với sức khỏe và tâm trạng của con người. Dưới đây là một số lí do tại sao người ta thường ưa chuộng việc ăn đồ ngọt vào buổi sáng:\n",
            "\n",
            "1. Tạo cảm giác thoải mái: Đồ ngọt giúp kích thích sản xuất hormone serotonin trong não, gây ra cảm giác vui vẻ và sảng khoái. Do đó, việc ăn đồ ngọt vào buổi sáng có thể làm giảm căng thẳng và mang lại niềm vui cho ngày mới.\n",
            "\n",
            "2. Tăng cường năng lượng: Đồ ngọt chứa đường glucose và fructose, hai loại đường này cung cấp năng lượng cho cơ thể ngay lập tức. Việc tiêu thụ đồ ngọt vào buổi sáng giúp bổ sung nhanh chóng năng lượng cho cả ngày dài.\n",
            "\n",
            "3. Thúc đẩy quá trình trao đổi chất: Đường và protein trong thức ăn ngọt cần thiết cho hoạt động của các tế bào trong cơ thể. Điều này góp phần duy trì sự phát triển và chuyển hóa các tế bào, đồng thời thúc đẩy quá trình trao đổi chất trong cơ thể.\n",
            "\n",
            "4. Tốt cho da: Đồ ngọt có khả năng kích thích sản xuất collagen và elastin, giúp cải thiện độ đàn hồi và săn chắc của da. Ngoài ra, việc ăn đồ ngọt vào buổi sáng cũng có thể làm giảm stress và ngăn ngừa lão hóa da sớm.\n",
            "\n",
            "5. Giảm nguy cơ mắc bệnh: Một số nghiên cứu chỉ ra rằng việc tiêu thụ đồ ngọt có liên quan mật thiết với việc giảm nguy cơ mắc các bệnh như tiểu đường, ung thư và bệnh tim mạch. Bởi vì đường huyết cao trong suốt cả ngày có thể dẫn đến việc tích tụ mỡ trong gan và gây ra kháng insulin hoặc tiểu đường, việc ăn đồ ngọt vào buổi sáng có thể giúp kiểm soát mức đường huyết và giảm nguy cơ mắc các vấn đề sức khỏe.\n",
            "\n",
            "Tuy nhiên, lưu ý rằng việc tiêu thụ đồ ngọt vào buổi sáng nên được cân nhắc kỹ lưỡng để tránh tác động tiêu cực đến sức khỏe tổng quát. Trước khi quyết định áp dụng phương pháp này, hãy tham khảo ý kiến chuyên gia dinh dưỡng hoặc bác sĩ để đảm bảo rằng bạn không gặp phải bất kỳ vấn đề gì liên quan đến việc tiêu thụ\n",
            "Time taken for inference: 44.44 seconds\n"
          ]
        }
      ]
    }
  ]
}