【準備】ChatGPTのFinetuning用データセットの作成

こんにちは、ぱそきいろです。
旧ツイッター（X、以下ツイッター）のデータがDLできたのでChatGPTに学習させていきたいと思います。
まずは準備としてツイッターからデータをDLしてChatGPTに学習させるためのデータセット作成までを書きます。

やりたいこと

ChatGPTに"ぱそきいろ"のツイートを学習させて、"ぱそきいろ"っぽいツイートを生成してもらいたいです。
あわよくば、"ぱそきいろ"っぽくチャットさせたいです。
手法としてはファインチューニングで実現します。
公式で説明があるので詳細はこちらを参照ください。
https://platform.openai.com/docs/guides/fine-tuning

ツイッターのデータDL申請

まずは自分のツイート一覧を取得します。
公式で方法を紹介してくれているのでこちらを元に申請します。
私の場合は大体2Wくらいで連絡が来ました。
全ツイート履歴とツイートをダウンロードする方法 | Xヘルプ

今回はぱそきいろのデータをDLしていきます。ついでにフォローしてください。
https://twitter.com/takacpu55

ツイートデータ

DLしたデータのうち、"tweets.js"にJSON形式で自分のツイート一覧が入っています。
他にも投稿した画像やいいね一覧もありそうなのでどこかで使いたいです。

データ整形

ChatGPTにファインチューニングする場合は以下のデータ形式で、と公式の案内にあります。

{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What's the capital of France?"}, {"role": "assistant", "content": "Paris, as if everyone doesn't know that already."}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who wrote 'Romeo and Juliet'?"}, {"role": "assistant", "content": "Oh, just some guy named William Shakespeare. Ever heard of him?"}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "How far is the Moon from Earth?"}, {"role": "assistant", "content": "Around 384,400 kilometers. Give or take a few, like that really matters."}]}

ツイートデータをパースして上記の形式で吐き出させます。
やることは"tweets.js"を読み込んで、["tweet"]["fultext"]のみを抽出する。
その中でリプやRTやURLなどを削除するという流れです。
以下のコードだとデータを書き込むたびにファイルオープンが走っているので効率が良い方法ではないです。
データ形式を合わせるためにこの方法しか思い付かず、良い方法があったら教えてください。

クリックで展開

>|Python

# -*- coding: utf-8 -*-
import json
import os
import re
import sys
import io
import codecs

# jasonファイルを読み込む
filename="tweets_ps.js"
#usernameを決める
username="ぱそきいろ"

with codecs.open('./'+filename, 'r' , 'utf-8', 'ignore') as f:
data = f.read()
tw = json.loads(data[data.find('['):])
twlist=[]
count=0
for t in tw:
count+=1
text=t["tweet"]["full_text"]
#URLと画像を削除する
text=text.split("http")
text = text[0]
#リプを削除する
text = text.split("@")
text=text[0]
#RTを削除する
text = text.split("RT")
text=text[0]
#print(text)
twlist.append(text+"\n")

#ひとまずここまでを書き出し
print(count)
f=open("./"+filename+".txt","w",errors="ignore")
f.writelines(twlist)
f.close()

# 削除するファイルのパス
file_path = "./"+filename+"prompt.jsonl"

# ファイルを削除
try:
os.remove(file_path)
print(f"ファイル '{file_path}' が削除されました。")
except FileNotFoundError:
print(f"ファイル '{file_path}' は存在しません。")
except Exception as e:
print(f"ファイルの削除中にエラーが発生しました: {e}")

for t in twlist:
if t=="\n":
continue
t=t.replace("\n","")
_data=\
{"messages":
[
{"role":"system","content":username+"のツイートを生成します"},
{"role":"user","content":username+"のツイートを生成してください"},
{"role":"assistant","content":t}
]
}

with open("./"+filename+"prompt.jsonl","a",encoding="utf-8")as json_file:
json.dump(_data, json_file,ensure_ascii=False)
json_file.write('\n')
|

Playgroundへアップロード

生成したファイルをPlaygroundにアップロードしてみます。
https://platform.openai.com/finetune?filter=all
Fine-tuningタブからCreate new→Base modelをgpt-3.5系に選択してファイルをアップロードします。
形式が違うと以下の形で怒られます。

失敗

正しい形式で上げてみますが、以下の形でワーニングが出ました。

成功

どうやら無料プランなので有料プランになってということみたいです。
ここから先は別の記事で書く予定です。
ひとまずここまでで、Finetuningの準備はできました。

まとめ

まずはここまででデータセットの準備ができました。
次の記事で実際にファインチューニングをやっていきたいと思います。