เมื่อวันที่ 29 ม.ค. นิวส์การ์ด (NewsGuard) แพลตฟอร์มที่พัฒนาขึ้นโดย นิวส์การ์ด เทคโนโลยีส์ อิงค์ (NewsGuard Technologies, Inc) ในสหรัฐฯ ให้คะแนนความน่าเชื่อถือของข้อมูลข่าวสารได้เผยแพร่รายงานจัดอันดับให้แชตบอตของ DeepSeek บริษัทผู้พัฒนาเอไอสัญชาติจีน อยู่ในอันดับที่ 10 จากทั้งหมด 11 อันดับ
โดยพบว่า DeepSeek ผลิตซ้ำข้อมูลเท็จถึง 30% และให้คำตอบแบบกว้าง ๆ หรือไม่เป็นประโยชน์ 53% เท่ากับว่ามีอัตราความล้มเหลวสูงถึง 83% ต่ำกว่าอัตราเฉลี่ยความล้มเหลว 62% ของแชตบอตที่พัฒนาขึ้นโดยบริษัทในประเทศตะวันตก
การทดสอบประสิทธิภาพดังกล่าวได้ใช้คำสั่งจำนวน 300 คำสั่ง ซึ่งเป็นชุดเดียวกับที่ใช้ทดสอบประสิทธิภาพของโมเดลเอไอตะวันตกอื่น ๆ ในจำนวนนี้มี 30 คำสั่งที่มาจากข้อมูลบิดเบือน 10 เรื่องบนโลกออนไลน์
หัวข้อที่ใช้ทดสอบนั้นมีตั้งแต่ข่าวเหตุการณ์ลอบสังหาร ไบรอัน ทอมป์สัน ประธานเจ้าหน้าที่บริหารบริษัท UnitedHealthcare ในสหรัฐฯ รวมถึงอุบัติเหตุการตกของเที่ยวบิน 8243 ของอาเซอร์ไบจานแอร์ไลน์ส
นอกจากนี้ ผลการทดสอบของ NewsGuard พบว่า โมเดลเอไอของ DeepSeek มีการอ้างถึงจุดยืนของรัฐบาลจีนจาก 3 ใน 10 คำสั่ง ทั้ง ๆ ที่ไม่ได้ถูกถามอะไรเกี่ยวกับจีนเลย
โดย NewsGuard ระบุด้วยว่า DeepSeek มีความเสี่ยงสูงเช่นเดียวกันโมเดลเอไออื่น ๆ ที่จะผลิตซ้ำข้อมูลเท็จ หากถูกป้อนคำสั่งที่ถูกใช้โดยกลุ่มคนซึ่งพยายามใช้ประโยชน์จากเอไอเพื่อสร้างและเผยแพร่ข้อมูลบิดเบือน