電子書籍と文書よりのデータリソースを活用することは大規模な分野特化型のマルチモーダルコーパスデータセットを効果的に構築するための重要な手段だ。マルチモーダルデータを構造化にできるエンジンを構築することで、様々なタイプの電子書や文書の自動解析を実現する一方で、大規模モデルのトレーニングに適用したMarkdownというデータセットのフォーマットにコンバートできる。

自社開発したマルチモーダルコーパスデータセットの自動化できるエンジンはPDF、EPUB、mobi、azw（3）及びDjVuなどを含むほとんどの人気のある電子書籍と文書フォーマットを全面的に対応可能となっている。それぞれは全文のレイアウトに対する包括的な解析を行い、テキストの段落、タイトルと種類分けを保持するのみならず、その中の算式も記号もより高精度で識別し、複雑な算式をLatexのテキスト形式に復元する機能を備絵ていることで、複雑な方程式と数行ある数式も精確に特定できるようにしている。

この自動構築エンジンは顧客が特定の縦貫分野における専門なデータセットを構築することをサポートし、業界の大規模モデル向けの開発とビジネス応用を促進する。

「データを中心とした」生成AIの専門的なデータサービスの提供とシリーズ化されたデータセット製品に注力し、AI技術の持続的な発展を推進するとともに、業界での定着を加速させることを目指し、maadaa.ai会社は生成AI大規模モデル開発向けの大規模且つ高品質なデータセット製品を正式にリリースした。