안녕하세요.
Mlflow 호환 과정에서 발생한 문제로, 다음 저장소의 tokenization_korscideberta_v2.py 내용 전체를 tokenization_korscideberta.py에 덮어써야 해결됩니다.
[ https://huggingface.co/kisti/korscideberta/blob/main/tokenization_korscideberta_v2.py ]
그 후, AIDA 저장소의 Mecab과 사용자 사전을 모두 설치하셔야 정상 작동합니다.
저장소: [ 과학기술분야 DeBERTa 사전학습 언어모델 (KorSciDeBERTa), http://doi.org/10.23057/73 ]
Mecab 등 리눅스 설치법: [ https://aida.kisti.re.kr/contents/blog/222/ ]
감사합니다.