문자 집합간에 텍스트 파일을 변환하는 가장 좋은 방법은 무엇입니까?

독립형 유틸리티 접근 방식

iconv -f ISO-8859-1 -t UTF-8 in.txt > out.txt

-f ENCODING  the encoding of the input
-t ENCODING  the encoding of the output

이 인수 중 하나를 지정할 필요는 없습니다. 현재 UTF-8 로케일로 설정됩니다.

VIM 사용해보기

당신이 vim을 가지고 있다면 이것을 사용할 수 있습니다 :

모든 인코딩에 대해 테스트하지 않았습니다.

이것에 대한 멋진 부분은 소스 인코딩을 알 필요가 없다는 것입니다

vim +"set nobomb | set fenc=utf8 | x" filename.txt

이 명령은 파일을 직접 수정합니다.

설명 부분!

1. + : vim이 파일을 열 때 명령을 직접 입력하는 데 사용됩니다. 보통 특정 줄에서 파일을 여는 데 사용됩니다 : vim +14 file.txt
2. | : 여러 명령의 구분 기호 (예 : bash에서 ;와 같은)
3. set nobomb : utf-8 BOM 없음
4. set fenc=utf8 : 새 인코딩을 utf-8 doc 링크로 설정
5. x : 파일 저장 및 종료
6. filename.txt : 파일 경로
7. " : 파이프 때문에 큐트가 있습니다. (그렇지 않으면 bash는 bash pipe로 사용할 것입니다)

리눅스에서는 아주 강력한 recode 명령을 사용하여 다른 문자 집합과 줄 끝 문제를 시도하고 변환 할 수 있습니다. recode -l 는 도구가 변환 할 수있는 모든 형식과 인코딩을 보여줍니다. 그것은 매우 긴 목록 일 가능성이 있습니다.

iconv (1)

iconv -f FROM-ENCODING -t TO-ENCODING file.txt

또한 여러 언어로 된 iconv 기반 도구가 있습니다.

Get-Content -Encoding UTF8 FILE-UTF8.TXT | Out-File -Encoding UTF7 FILE-UTF7.TXT

입력 된 BOM이 올바른 것으로 가정 할 수있는 가장 짧은 버전 :

gc FILE.TXT | Out-File -en utf7 file-utf7.txt

보십시오 iconv 강타 기능

나는 이것을 .bashrc에 넣었다.

utf8()
{
    iconv -f ISO-8859-1 -t UTF-8 $1 > $1.tmp
    rm $1
    mv $1.tmp $1
}

.. 이렇게 파일을 변환 할 수 있습니다 :

utf8 MyClass.Java

메모장을 사용 해보세요 ++

Windows에서 메모장 + +를 사용하여 ISO-8859-1에서 UTF-8으로 변환 할 수있었습니다. "Encoding"를 클릭 한 다음 "Convert to UTF-8"을 클릭하십시오.

찾기를 사용하여 자동 감지 기능을 사용하는 Oneliner

문자 인코딩 일치하는 모든 텍스트 파일 자동 감지 됨 일치하는 모든 텍스트 파일은 utf-8 인코딩으로 변환됩니다.

$ find . -type f -iname *.txt -exec sh -c 'iconv -f $(file -bi "$1" |sed -e "s/.*[ ]charset=//") -t utf-8 -o converted "$1" && mv converted "$1"' -- {} \;

이러한 단계를 수행하려면 -exec 플래그와 함께 한 줄을 실행하고 -c와 함께 위치 인수 "$1"로 파일 이름을 전달하여 -- {}와 함께 하위 셸 sh이 사용됩니다. 그 사이에 utf-8 출력 파일의 이름은 임시로 converted입니다.

어디에 file -bi 의미 :

• -b, - brief
  출력 줄에 파일 이름을 앞에 붙이지 마십시오 (간단한 모드).

• -i, --mime
  file 명령이 인간이 읽을 수있는 전통적인 형식이 아닌 mime 형식 문자열을 출력하도록합니다. 따라서 그것은 'text/plain; ASCII 텍스트 "대신"charset = us-ascii "를 사용하십시오.

find 명령은 이러한 파일 관리 자동화에 매우 유용합니다.

more find galore 는 여기를 클릭하십시오.

PHP iconv ()

iconv("UTF-8", "ISO-8859-15", $input);

DOS/Windows : 코드 페이지

chcp 65001>NUL
type ascii.txt > unicode.txt

chcp 명령을 사용하여 코드 페이지를 변경할 수 있습니다. 코드 페이지 65001은 UTF-8의 Microsoft 이름입니다. 코드 페이지를 설정하면 다음 명령으로 생성 된 출력이 코드 페이지로 설정됩니다.

(Java) 속성 파일을 작성하려면 일반적으로 리눅스 (민트 및 우분투 배포판)에서 사용합니다.

$ native2ascii filename.properties

예 :

$ cat test.properties 
first=Execução número um
second=Execução número dois

$ native2ascii test.properties 
first=Execu\u00e7\u00e3o n\u00famero um
second=Execu\u00e7\u00e3o n\u00famero dois

추신 : 나는 특수 문자를 강제로 portugues에서 실행 번호 1/2 writed.

제 경우에는, 첫 번째 실행에서 나는이 메시지를 받았습니다 :

$ native2ascii teste.txt 
The program 'native2ascii' can be found in the following packages:
 * gcj-5-jdk
 * openjdk-8-jdk-headless
 * gcj-4.8-jdk
 * gcj-4.9-jdk
Try: Sudo apt install <selected package>

첫 번째 옵션 (gcj-5-jdk)을 설치하면 문제가 해결되었습니다.

나는 이것이 누군가를 돕기를 바랍니다.

필자가 가장 좋아하는이 도구는 두 가지 매우 편리한 기능을 가진 Jedit (Java 기반 텍스트 편집기)입니다.

• 사용자가 다른 인코딩으로 텍스트를 다시로드 할 수있게 해주는 기능 (결과적으로 시각적으로 제어하기 위해)
• 사용자가 저장하기 전에 명시 적으로 인코딩 (및 행 끝 문자)을 선택할 수있게하는 또 다른 방법

이 Python 스크립트를 사용하십시오 : https://github.com/goerz/convert_encoding.py 모든 플랫폼에서 작동합니다. Python 2.7이 필요합니다.

Ruby :

Ruby -e "File.write('output.txt', File.read('input.txt').encode('UTF-8', 'binary', invalid: :replace, undef: :replace, replace: ''))"

출처 : https://robots.thoughtbot.com/fight-back-utf-8-invalid-byte-sequences

IntelliJ IDEA IDE, 현재 문자셋이 표시된 상태 표시 줄 (아래)의 오른쪽에있는로드 된 파일의 인코딩을 변경하십시오. 다시로드 또는 변환하라는 메시지가 나타나면 변환을 사용하십시오. 미리 원본 파일을 백업했는지 확인하십시오.