自然言語処理（NLP）とは？ AI領域におけるその仕組みとできることを解説
話す、書くなど私たちが日頃コミュニケーションを取るときに用いる自然言語には、複数に意味を解釈できるあいまいさも内包しています。この自然言語をコンピュータが意味を絞りながら解析する技術が自然言語処理（NLP）です。近年、文字入力の予測変換やスマートスピーカーの音声対話システムなどで、さらに身近なものになってきているのではないでしょうか。本記事では、自然言語処理の仕組みや、AI（人工知能）の分野でどのようなことができるのかを解説します。
自然言語処理とは
自然言語処理（natural language processing）とは、人の話し言葉や書き言葉をコンピュータが解析する処理技術を指します。
人の言葉にはあいまいさが含まれています。たとえば、「私は小さな犬と猫が好き」の場合、「小さな犬」と「小さな猫」なのか、「小さな犬」と「猫」なのか、いずれの意味合いにも取れます。実際、日常会話において、どちらの意味なのかを聞き直したことがある人もいるのではないでしょうか。
このようなあいまいさを踏まえ、機械が自然言語を解析処理するには高度な技術を要します。
自然言語処理の仕組み
では、自然言語処理の仕組みとはどのようなものでしょうか。大きな軸となるのは、前段階の「データ収集」と「4段階の工程処理」です。流れとしては、データ収集→4段階の工程処理→必要な情報を抽出してのコンピュータ処理、という形で行っていきます。2つの軸について詳しく説明していきましょう。
データ収集
データ収集には、コンピュータが語彙を理解するための「機械可読目録」と、言語の使用方法を記録、蓄積した文書集合である「コーパス」を用います。
- 機械可読目録
書き言葉の書籍情報や関連情報を機械が理解できるように置き換えた通信規格。つまり機械が語彙を正しく理解するための辞書のような役割を担っています。
- コーパス
自然言語の文章を構造化して大規模に集め、記録したもの。わかりやすく言うと、「膨大な文例集」のようなもので、これを使うことで状況に適した言葉の意味や使い方を理解できるようになります。
4段階の処理工程
機械可読目録とコーパスのデータ収集の用意が完了後、自然言語処理は主に「形態素解析」→「構文解析」→「意味解析」→「文脈解析」という4段階の工程で行っていきます。それぞれの工程について説明しましょう。
1. 形態素解析
文章を最小の単位（形態素）に分割する作業です。
たとえば、先ほどの文章、「私は小さな犬と猫が好き」の場合、「私」「は」「小さな」「犬」「と」「猫」「が」「好き」という形態素に分割できます。この作業を行うことで、文章のなかの形態素の意味を抽出できるようになります。
2. 構文解析
単語同士の関係性を解析することです。
単語や文節間の「修飾・被修飾関係」や「係り受け関係」などの依存関係をもとに文章の構造を解析、構文木（ツリー）と呼ばれる図式で表現されます。つまり、「どの単語がどの単語にかかるのか」を構文として解析します。
3. 意味解析
構文解析された文章内の意味を解釈していくことです。
複数の意味にとれる文章では、前後の単語とのつながりを踏まえて適切な候補から絞り込む必要があります。また、日本語には「はし」や「あめ」などのように1つの単語が複数の意味を持つ場合もあり、難易度の高い処理工程です。
4. 文脈解析
複数の文章に対して、文と文のつながりを解析する工程。単語や文脈の意味合いだけでなく、文章が書かれた背景といった幅広い領域にまで及ぶため難易度はもっとも高く、未だ課題の多い分野といわれています。
AI領域での自然言語処理の活用
AI領域において、自然言語処理はどのように活用されているのでしょうか。
対話型AI
自然言語処理で検索やデータ照合を行い、結果を音声データに変換してユーザーに答えるシステムです。いくつか代表的なものを紹介しましょう。
AIチャットボット
名前の由来は「チャット（chat）」とロボットを意味する「ボット（bot）」から。ユーザーが打ち込んだ短文の意味を理解し、リアルタイムに文章や音声で回答するAI搭載型のプログラムです。
パソコンやスマートフォンなどに搭載されているAIアシスタントサービスもそのひとつで、利用したことがある方も多いのではないでしょうか。
ビジネスに活用できるものもあり、たとえばNTQのAI チャットボット「NTQbot」の場合、データを収集し、分析・分類する機能があるため、顧客一人ひとりにあわせた商品やサービスの提案やコミュニケーションに役立つでしょう。作成したチャットボットは他のツールとの連携や、音声でのやり取りを行うバーチャルアシスタントとしても利用できるため、顧客に合わせてコミュニケーション方法を分けるのも便利かもしれません。
詳しくは、「NTQbot（AI Chat Bot）」をご覧ください。
AIスピーカー
スマートスピーカーと呼ばれるもので、この対話システムも自然言語処理のひとつです。さまざまな指示に対し、その自然言語を的確に解釈し、指示された操作を実行していきます。
テキストマイニングから文章要約まで
テキストマイニングとは、自由形式で記述された文章から新しい情報を抽出する分析手法のことです。ここでも自然言語処理は用いられています。たとえばSNSへの投稿をはじめとした大量の文字情報を単語単位に分割し、出現頻度や投稿時期などを分析し、有効な情報を抽出します。
また、文書要約とは、AIが文章の内容を理解し、自動で要約することです。主要な単語や文章を抽出して要約する「抽出的要約」と、内容を反映させながら自然な文章を生成する「生成的要約」があります。
NTQのオフショア開発事例であるスマート・ドキュメント・システムは自然言語処理を活用し、クラウドベース（AWS）でのレポート管理やAIによるテキストの構造分析、AIによる同様のレポート推奨の機能を持っています。企業がレポートコンテンツを自動的に管理・分析するために役立つものです。
詳しくは「スマート・ドキュメント・システム（オフショア開発事例）」をご覧ください。
文字予測変換
文字予測変換とは、日本語を入力した際に自動変換してくれるソフトウェアです。パソコンやスマスマートフォンなどでごく自然に利用している人が多いのではないでしょうか。入力内容に基づいてテキストを予測したり、関連する単語を提案したりしてくれ、近年はその精度が上がっているといわれています。また、学習機能によって、よく使用する単語やフレーズが文字予測に出てくるように、使用する人にあわせてパーソナライズされていきます。
機械翻訳
自然言語処理を使い、外国語と日本語の翻訳をします。あいまいな表現は前後の意味合いをみて判断。英語、日本語、中国語などさまざまな言語に対応するものもあります。なかには、音声やカメラで直接スキャンしたテキストから翻訳するものも登場しています。
自然言語処理を用いて高性能なアプリ開発を
自然言語処理は、AIが人間の自然な言葉を把握できるようになるための技術です。私たちの身近にも音声認識や翻訳などで活用されています。
技術は日々進歩しています。日本は少子高齢化が進んでおり、将来的にコンピュータが可能な業務を増やすことで、企業はより有益な業務に集中することができるようになるかもしれません。
