今日の進捗
- LLMの蒸留に関する勉強を始めた
知識蒸留（Model Distillation）とは？仕組み・実装手順とLLM軽量化の判断基準
小さいスクリプトが増える
ちょっとした機能を持つスクリプトを作りたい欲求がある
今考えているものは:
- 写真・動画の圧縮された後の画質を復元するツール
- ボイスチェンジャー
など。おもちゃではあるが，せっかく画像処理の勉強をしたのでなにか形にしたいところ。
メモ
- LLMの層をk区画に分割し，各区画について蒸留すると全体のモデルを一気に蒸留するよりも効果的に圧縮することができるのではないか
- やはり勉強は紙媒体のほうが好きなので，ネット記事をChatGPTにPDF化してもらった
- htmlをmdにしてそれをpdfで印刷するみたいなパイプラインを構築したっていい
- 形から入りたいタイプなのでPDFの体裁が整っていると気分が上がる
もし8時間，木を切る時間を与えられたら，そのうち6時間を私は斧を研ぐことに使うだろう。(エイブラハム・リンカーン)
- いい考え方だと思ったのでメモしておく
- すでに日誌の時間軸が狂い始めた