在当今，ChatGPT受到狂热追捧，似乎已经成为一种“政治正确”。ChatGPT的出现在学术界和工业界引起了巨大轰动。一位研究机构的资深研究员曾对AI科技评论表示：“ChatGPT的出现直接让我们感到无地自容——它不仅在生成方面表现比我们好，而且在自然语言处理方面也比我们强。”微软投资了数十亿美元，谷歌也感到压力山大，ChatGPT在科技圈引发了巨大的影响力。
然而，ChatGPT并非“万能钥匙”，在某些专业领域的准确度仍无法超越其他专业产品。近日，腾讯AI Lab通过实验证明，在机器翻译领域，ChatGPT在某些情况下的表现较其他商业翻译产品差。
腾讯AI Lab的研究指出：
首先，在高资源环境（如欧洲语言）下，ChatGPT与商业翻译产品（如谷歌翻译、DeepL Translate）具有竞争力，但在低资源环境（如古代语言）下明显落后；
其次，在翻译的鲁棒性方面，ChatGPT在生物医学摘要和Reddit评论等方面表现不如商业翻译产品，但在口语方面可能是一个很好的翻译工具。
为了更好地了解ChatGPT的翻译能力，腾讯AI Lab从以下三个方面进行了实验：
1. 提示词翻译：由于ChatGPT是一个大型语言模型，在翻译时需要使用提示词来引导系统进行翻译。提示词的选择会影响翻译输出的质量。
2. 多语言翻译：ChatGPT是一个处理各种NLP任务并覆盖不同语言的单一模型，可以视为一个统一的多语言机器翻译模型。因此，研究者重点关注ChatGPT在资源差异（如高与低）和语系差异（如欧洲与亚洲）上的表现。
3. 翻译鲁棒性：研究者对ChatGPT在特定领域翻译任务上的表现进行了评估。
腾讯AI Lab的实验证明，虽然ChatGPT提供了相当不错的翻译质量，在某些情况下仍然落后于商业翻译产品。例如，在提示词翻译实验中，ChatGPT的表现比基线低至少5.0个BLEU点。在多语言翻译实验中，ChatGPT在资源差异和语系差异方面的表现也有所欠缺。在翻译的鲁棒性方面，ChatGPT在生物医学摘要和Reddit评论等特定领域的表现不如谷歌翻译和DeepL Translate。
然而，一个有趣的发现是，ChatGPT在包含众包语音识别语料的实验中表现出色，这表明ChatGPT在生成口语方面比商业翻译软件更自然。
总之，ChatGPT在机器翻译领域表现出一定的竞争力，但仍有改进的空间。未来的发展方向可能是通过提高资源和优化模型来提高翻译质量。尽管ChatGPT仍存在不足，但它给研究者和创业者提供了不少启示，尤其在工业应用和学术研究方面有着巨大潜力。