Inference Bridge: สะพานเบราว์เซอร์สำหรับการเข้าถึง LLM ท้องถิ่นและคลาวด์
Inference Bridge ซึ่งสร้างโดย samsamskies (SamSamskies) เป็นส่วนขยายของ Chrome ที่ใช้ API Inference Provider แบบทดลองเพื่อเชื่อมต่อแอปเว็บและ LLMs มันจะฉีดวัตถุ window.inference ที่มีมาตรฐานเพื่อให้หน้าเว็บสามารถขอการตอบสนองจาก AI โดยตรงผ่านเบราว์เซอร์ รองรับการสตรีมข้อความผ่าน window.inference.request() และการส่งต่อไปยัง OpenAI ด้วยคีย์ที่เก็บไว้หรือไปยังอินสแตนซ์ Ollama ในเครื่อง มุ่งเป้าไปที่นักพัฒนาเว็บ นักวิจัย AI และผู้ใช้ที่ใส่ใจในความเป็นส่วนตัว มันเก็บคีย์ API ไว้ภายในส่วนขยายและเสนอการควบคุมสิทธิ์ต่อแหล่งที่มาสำหรับการเข้าถึงโมเดลที่ปลอดภัยยิ่งขึ้น。
มันเปิดเผยอินเทอร์เฟซ AI มาตรฐานให้กับหน้าเว็บอย่างไร
ฉีด API ด้านเบราว์เซอร์ โดยการจัดเตรียมวัตถุ window.inference ที่หน้าเว็บสามารถเรียกใช้งานได้โดยตรง ส่วนขยายนี้รองรับการสนทนาข้อความแบบสตรีมผ่าน window.inference.request() ดังนั้นแอปเว็บสามารถใช้โทเค็นเมื่อมันมาถึง การร้องขอจะถูกตรวจสอบภายในส่วนขยายก่อนที่จะมีการทำงานเครือข่ายใด ๆ ซึ่งป้องกันไม่ให้หน้าเว็บส่งข้อมูลที่ไม่เหมาะสม วิธีการนี้ทำให้เว็บอินเทอร์เฟซทำหน้าที่เป็นลูกค้า LLM โดยไม่ต้องฝังข้อมูลประจำตัวของผู้ให้บริการในสคริปต์หน้าเว็บ
มันแยกข้อมูลประจำตัวและควบคุมการเข้าถึงอย่างไร
การขออนุญาตตามต้นทาง ขอให้ผู้ใช้อนุญาต ปฏิเสธ หรือจดจำการเข้าถึงสำหรับแต่ละผู้ให้บริการและโมเดล ซึ่งให้การควบคุมที่ละเอียดมากต่อแต่ละไซต์ คีย์ API จะถูกเก็บไว้ในบริการของส่วนขยาย ดังนั้นสคริปต์หน้าเว็บจึงไม่เคยเห็นข้อมูลประจำตัว ส่วนขยายยังตัดหัวข้อ Origin และ Referer เพื่อลดความยุ่งยากในการเชื่อมต่อภายใน และจำกัดการฉีดไปยังบริบทระดับสูงที่ปลอดภัยเพื่อลดการเปิดเผยต่อหน้าเว็บที่ไม่ปลอดภัย
ที่ซึ่งโมเดลท้องถิ่นและคีย์คลาวด์มาพบกัน
พื้นผิว API ที่รวมกัน รองรับทั้งเซิร์ฟเวอร์ Ollama ท้องถิ่นและตัวเลือก OpenAI ที่นำคีย์ของคุณมาเอง ดังนั้นนักพัฒนาสามารถสร้างต้นแบบด้วยผู้ให้บริการใดก็ได้ ส่วนขยายนี้จัดการการตัดหัวและการจัดเส้นทางในท้องถิ่นเพื่อข้ามอุปสรรค CORS ทั่วไปสำหรับการอนุมานในท้องถิ่น โดยไม่ต้องใช้พร็อกซี่เพิ่มเติมในระหว่างการทดสอบ การสนับสนุนการสตรีมและอินเทอร์เฟซเดียวทำให้การรวมต้นแบบทำงานได้อย่างสม่ำเสมอในประเภทผู้ให้บริการ
ขีดจำกัดที่นักพัฒนาต้องวางแผนไว้
สร้างขึ้นเป็นการอ้างอิงเชิงทดลอง ส่วนขยายนี้จำกัดการฉีดไปยังกรอบระดับสูงและไม่ทำงานบนหน้าไฟล์: หรือในกรอบย่อย ดังนั้นการรวมที่ขึ้นอยู่กับกรอบที่ฝังอยู่ต้องการการออกแบบทางเลือก มันมุ่งเป้าไปที่เบราว์เซอร์ที่ใช้ Chromium เท่านั้น และนักพัฒนาวางตำแหน่งมันเป็นการอ้างอิงอย่างเป็นทางการสำหรับข้อเสนอ API ของ Inference Provider ดังนั้นทีมงานควรถือเครื่องมือนี้เป็นจุดเริ่มต้นแทนที่จะเป็นส่วนประกอบการผลิตที่เสร็จสมบูรณ์
สะพานที่มุ่งเน้นนักพัฒนาอย่างมีเหตุผลพร้อมการแลกเปลี่ยนที่ทดลอง
ส่วนขยายนี้เป็นตัวเลือกที่มีเหตุผลสำหรับนักพัฒนาและนักวิจัยที่สร้างต้นแบบการทำงานระหว่างเบราว์เซอร์กับ LLM ซึ่งยอมรับเครื่องมือและการทำงานรวมที่ทดลอง คาดว่าจะต้องปรับโค้ดแอปพลิเคชันและทำการทดสอบในสภาพแวดล้อมที่ควบคุมได้ ในฐานะเคล็ดลับที่เป็นประโยชน์ ให้จำกัดสิทธิ์ที่จดจำไว้เฉพาะโฮสต์การพัฒนาและเก็บจุดสิ้นสุดของโมเดลไว้ในเครือข่ายที่แยกออกในระหว่างการทดสอบ เครื่องมือนี้ทำหน้าที่เป็นเอกสารอ้างอิงที่ใช้งานได้สำหรับการนำ API ของเบราว์เซอร์ที่เสนอไปใช้
