変換できない文字が混ざった文字列をShift-JISに変換する
テキストファイルやCSVファイルに書き出す時に文字コードをShift-JISに指定して書き出すとエラーになる場合があります。よく見るのが、-や を変換した時に出るエラーで\uff0dや\xa0と表示されます。 […]
Filter by Category
テキストファイルやCSVファイルに書き出す時に文字コードをShift-JISに指定して書き出すとエラーになる場合があります。よく見るのが、-や を変換した時に出るエラーで\uff0dや\xa0と表示されます。 […]
DjangoでWEBアプリケーションを開発していてデータベースの集計などをバッチ処理したいときに、カスタムコマンドを作り実行する方法です。 今回はサンプルとしてmycommandアプリケーションを作成するので以下のコマン […]
DjangoのWEBアプリケーションでQuerySetの表示順を五十音順にしたら、開発環境では五十音順で表示されているのに本番環境では五十音順になっていないときの対処法です。(中途半端に五十音順になっていて、4、5件毎に […]
iPhoneとiPadから使えるPythonistaというアプリを使ってFlaskからHello World!する方法です。 Pythonistaはプリインストールされたモジュールが充実していて、バージョンも2.7か3. […]
Djangoでモジュールを作りviews.pyからimportして呼び出す方法です。 同じ処理を何度も書いたり、同じ処理を複数回呼び出したりするときは、その処理をモジュール化してviews.pyからimportして呼び出 […]
平素は格別のお引立てを賜り、厚く御礼申し上げます。 誠に勝手ながら、弊社では下記日程をゴールデンウィーク休業とさせて頂きます。 2019年4月27日(土)~2019年5月6日(月) 期間中お客 […]
DjangoでQuerySetで取得したデータをそのままpandasのDataFrameに変換する方法です。データを成形する必要がないときや、とりあえず全件CSV化したいときなどに便利な方法です。
株式会社ファントムは、2019年3月29日をもちまして設立1周年を迎えることができました。この節目を迎えることができましたのも、ひとえに皆様からのご支援の賜物であり、ここに改めて深く感謝申し上げます。 2019年3月 株 […]
Djangoのテンプレートに範囲を渡す方法です。指定した月の全日数を表示したいときや日毎に処理をして表示させたいときなどにrangeに範囲を入れてテンプレートに渡せます。 views.py 現在の年と月を指定して総日数を […]
Django上でPandasで作ったCSVをダウンロードさせる方法です。df.to_csv(“filename.csv”)でも出力は出来ますがダウンロードは出来ないので、ダウンロード機能が必要な場 […]
DockerでPHPの開発環境の構築をしました。普段の業務ではPythonを使うことが多いのですが今回はPHPの開発環境の構築ログです。簡単なPHPの動作を確認したかっただけなのですが、そのためだけにテストサーバーを用意 […]
リストをループで生成してリスト同士を計算する方法です。サンプルでは、[0, 1, 2, 3, 4]のリストを3個生成して計算します。 loopOneで3を代入しているのでリストを3回計算します。loopTwoで5を代入し […]
平成30年度群馬県よろず支援拠点 事例集にて弊社が紹介されました。 介護施設向け介護記録システムや施設内を人工知能で見守るAIカメラ「Casper」などを紹介していただきました。
2019年2月23日、24日にフィリピン行われた「PyCon APAC 2019 in Philippines」に参加してきました。今回のPyCon APAC 2019が初の海外カンファレンスであり、初めてのPyConで […]
データベースのバックアップファイルをAWSのS3に保存するプログラムを手動で叩くと問題なくS3にファイルが保存されるのに、cronで定期的に実行したらエラーが出るようになったので調べた内容です。原因はPythonのパスが […]
テンプレート用の既存PDFの上から文字を上書きしてダウンロードする方法です。 attachmentをつけるとリンクを押したら即ダウンロードが始まります。
DjangoのFormに初期値を設定する Djangoで生成したFormをhiddenにしたまま、あらかじめ設定しておいた初期値が入ったvalueをPOSTする方法です。 forms.pyでinitial=’ […]
テキストファイルやCSVファイルに書き出す時に文字コードをShift-JISに指定して書き出すとエラーになる場合があります。よく見るのが、-や を変換した時に出るエラーで\uff0dや\xa0と表示されます。
実際にエラーを出してみます。以下のプログラムを実行するとエラーが表示されます。
text = 'よく見るのが、-や を変換した時に出るエラーで\uff0dや\xa0と表示されます。'
text.encode('shift-jis')
Traceback (most recent call last):
File "<input>", line 1, in <module>
UnicodeEncodeError: 'shift_jis' codec can't encode character '\uff0d' in position 7: illegal multibyte sequence
‘\uff0d’ in position 7とあるので\uff0dが変換できてないということが分かります。
文字コードを変換する際にエラーとなる文字を変更します。
replaceを使って\uff0dを-に変更します。
text = text.replace('\uff0d', '-')
text.encode('shift-jis')
Traceback (most recent call last):
File "<input>", line 1, in <module>
UnicodeEncodeError: 'shift_jis' codec can't encode character '\xa0' in position 30: illegal multibyte sequence
今度は\xa0が変換できずにエラーになっているので、\xa0を削除します。
text = text.replace('\xa0', '')
text.encode('shift-jis')
無事にShift-JISに変換できました。
b'\x82\xe6\x82\xad\x8c\xa9\x82\xe9\x82\xcc\x82\xaa\x81A-\x82\xe2\x81\x95nbsp;\x82\xf0\x95\xcf\x8a\xb7\x82\xb5\x82\xbd\x8e\x9e\x82\xc9\x8fo\x82\xe9\x83G\x83\x89\x81[\x82\xc5-\x82\xe2\x82\xc6\x95\\\x8e\xa6\x82\xb3\x82\xea\x82\xdc\x82\xb7\x81B'
replaceを続けて書くと変換したい文字を複数変換できます。
text = text.replace('\uff0d', '-').replace('\xa0', '')
群馬県でPythonを使ったAIやソフトウェアを開発している株式会社ファントムが運営しています。
メーリングリストに登録するとファントムの最新情報をお届けします
お客様のメールアドレスを共有することはありません
Comments