Bright Data Hackathon Kit
Scrape any website. Get any data. Build something amazing.
Your one-stop resource for building with Bright Data at hackathons.
Quick Start • MCP & Agents • Products • Examples • Showcase • Help
______________________________________________________________________
嗨,我是拉斐尔
我是一名DevRel工程师 亮数据我是来帮你建造的!
 ](https://github.com/ScrapeAlchemist)
______________________________________________________________________
什么是光明数据?
Bright Data为您提供工具 从任何网站收集数据 而不会被阻止。我们的API处理验证码、反机器人系统、浏览器指纹识别和IP轮换,因此您可以专注于构建您的黑客,而不是对抗网站。
完全访问所有Bright Data产品。
______________________________________________________________________
60秒内开始
1.获取API密钥
首选 brightdata.com/cp/setting/users 并复制您的API密钥。
2.了解你的区域
A. 区域 是Bright Data产品的配置实例。将其视为一个命名的访问点-每个产品(Web Unlocker、SERP API、Scraping Browser)都有自己的区域,并有自己的凭据和设置。
- 在以下位置查找您的区域 brightdata.com/cp/zzones
- 每个区域都有一个 名字 (例如。,
web_unlocker1,serp_api1)传入API调用 - 抓取浏览器区域也有 用户名 和 密码 (用于WebSocket身份验证)
- 注册时,会为您创建默认区域——请检查您的控制面板
3.设置环境变量
export BRIGHTDATA_API_KEY="your_api_key_here"
# Zone names — find yours at brightdata.com/cp/zones
export BRIGHTDATA_UNLOCKER_ZONE="web_unlocker1" # Web Unlocker zone
export BRIGHTDATA_SERP_ZONE="serp_api1" # SERP API zone4.刮东西
python
import requests
response = requests.post(
"https://api.brightdata.com/request",
headers={
"Authorization": f"Bearer {YOUR_API_KEY}",
"Content-Type": "application/json",
},
json={
"zone": "web_unlocker1",
"url": "https://www.example.com",
"format": "raw",
},
)
print(response.text) # HTML of the pageJavaScript:
const response = await fetch("https://api.brightdata.com/request", {
method: "POST",
headers: {
Authorization: `Bearer ${YOUR_API_KEY}`,
"Content-Type": "application/json",
},
body: JSON.stringify({
zone: "web_unlocker1",
url: "https://www.example.com",
format: "raw",
}),
});
console.log(await response.text()); // HTML of the pagecURL:
curl -X POST "https://api.brightdata.com/request" \
-H "Authorization: Bearer YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{"zone": "web_unlocker1", "url": "https://www.example.com", "format": "raw"}'就是这样。你刚刚浏览了一个网站。
______________________________________________________________________
MCP和AI代理
构建具有web访问功能的AI代理的最快方法。 MCP(模型上下文协议)允许您的代理搜索网页、抓取页面和提取结构化数据,而无需编写API调用。
零设置选项
将此URL添加到任何兼容MCP的客户端(Claude Desktop、Cursor、Windsurf):
https://mcp.brightdata.com/mcp?token=YOUR_API_TOKENClaude桌面设置
{
"mcpServers": {
"Bright Data": {
"command": "npx",
"args": ["@brightdata/mcp"],
"env": {
"API_TOKEN": "YOUR_API_TOKEN"
}
}
}
}用10行构建代理
from llama_index.tools.brightdata import BrightDataToolSpec
from llama_index.llms.openai import OpenAI
from llama_index.core.agent.workflow import FunctionAgent
agent = FunctionAgent(
tools=BrightDataToolSpec(api_key=API_KEY, zone="mcp_unlocker").to_tool_list(),
llm=OpenAI(model="gpt-4o-mini"),
)
response = await agent.run("Find the top AI trends this week and summarize them")代理自主决定使用哪个工具:
- 网络搜索→
search_engine - 删除一页→
scrape_as_markdown - 亚马逊产品→
web_data_amazon_product - 领英个人资料→
web_data_linkedin_person_profile - 60多种可用工具
免费等级:5000次请求/月 --足够举办一场黑客马拉松了。
______________________________________________________________________
产品
| 产品 | 它做什么 | 最适合 |
|---|---|---|
| MCP服务器 | 为AI代理提供实时web访问 | 代理工作流、LLM工具 |
| Web Scraper API | 从热门网站返回结构化JSON | 亚马逊、领英、Instagram数据 |
| SERP API | 无障碍搜索引擎结果 | 谷歌搜索、市场研究 |
| 抓取浏览器 | 通过Puppeteer/Playwright远程浏览器 | JS密集型网站、交互、截图 |
| Web解锁器 | 获取任何页面的HTML,不带任何块 | 任何网站,原始HTML |
不确定使用哪一个? 检查 决策树→
______________________________________________________________________
代码示例
准备在Python和JavaScript中运行脚本。复制、粘贴、运行。
python
| 示例 | 它做什么 |
|---|---|
01_web_scraper_api.py | 从支持的站点获取结构化JSON |
02_serp_api.py | 搜索谷歌并获得解析结果 |
03_scraping_browser.py | 使用Playwright控制远程浏览器 |
04_web_unlocker.py | 获取任何页面的HTML |
05_mcp_agent.py | 构建具有web访问功能的AI代理(MCP) |
cd examples/python
pip install -r requirements.txt # Installs all deps (including MCP agent)
export BRIGHTDATA_API_KEY="your_key"
export BRIGHTDATA_UNLOCKER_ZONE="web_unlocker1"
python 04_web_unlocker.py # Try the simplest example first
# For the MCP agent (05), you also need:
export OPENAI_API_KEY="your_openai_key"
python 05_mcp_agent.pyJavaScript
| 示例 | 它做什么 |
|---|---|
01_web_scraper_api.js | 从支持的站点获取结构化JSON |
02_serp_api.js | 搜索谷歌并获得解析结果 |
03_scraping_browser.js | 使用Puppeteer控制远程浏览器 |
04_web_unlocker.js | 获取任何页面的HTML |
05_mcp_agent.js | 连接到Bright Data MCP服务器 |
cd examples/javascript
npm install
export BRIGHTDATA_API_KEY="your_key"
export BRIGHTDATA_UNLOCKER_ZONE="web_unlocker1"
node 04_web_unlocker.js # Try the simplest example firstPython SDK(更简单)
pip install brightdatafrom brightdata import BrightDataClient
async with BrightDataClient() as client:
result = await client.scrape_url("https://example.com")
search = await client.search.google(query="python scraping")______________________________________________________________________
初学者模板
叉子准备好了 Next.js应用程序 Bright Data已连接:
cd starter-template
npm install
cp .env.example .env # Add your API key
npm run dev # Open http://localhost:3000输入URL→ 获取抓取的HTML。建立在它之上。
______________________________________________________________________
基于明亮数据构建
我们团队的真实项目。使用这些作为灵感、参考代码,或将它们作为起点。
| 项目 | 它做什么 | 明星 | 堆栈 |
|---|---|---|---|
| PepoLeHub 的 | 自然语言人搜索引擎 | 320+ | Next.js、LangGraph、Bright Data |
| MCP_ADK | 使用Google ADK的Web搜索代理 | 46 | Python、Gemini、Bright Data MCP |
| FactFlux | 多代理事实核查系统 | 41 | Agno、Gemini、Bright Data |
| 统一搜索 | 智能查询路由代理 | 18 | LangGraph,Bright Data MCP |
| AI中缺失的环节 | MCP驱动的研究代理 | - | Node.js、LangChain、Bright Data MCP |
| 互联网情绪雷达 | 实时全球情绪跟踪器 | - | Next.js、OpenAI、Bright Data |
| 租房猎人 | 多代理公寓搜索 | 10 | LangGraph、Streamlit、Bright Data |
| 地理聊天 | 基于位置的地图搜索 | - | Express.js、LangGraph、MapLibre |
| 丰富 | AI电子表格数据丰富 | 3 | React、FastAPI、LangGraph |
| AI旅行计划 | 带实时数据的旅行助手 | - | FastAPI、LangGraph、WebSocket |
______________________________________________________________________
项目理念
需要灵感吗?我们有20多个由黑客马拉松轨道组织的想法:
- 医疗保健 --药品价格跟踪器、临床试验监视器
- 可持续性 --绿灰检测仪、生态产品检测仪
- AI/ML --培训数据管道,RAG知识库构建器
- 金融科技 --价格比较引擎,另类交易数据
- 教育 --奖学金聚合器、课程比较工具
______________________________________________________________________
快速参考
- MCP指南 --设置MCP并构建具有web访问权限的AI代理
- 代理工作流 --AI+web数据的架构模式
- 产品决策树 --我应该使用哪种产品?
- API备忘单 --端点、身份验证、响应格式一览
- 故障排除 --常见问题和修复
- 项目展示 --使用Bright Data构建的真实项目
______________________________________________________________________
官方资源
______________________________________________________________________
需要帮助?
- 打开一个问题 关于此回购
- 联系LinkedIn --很乐意帮忙!
- 
祝你好运建造一些令人惊叹的东西。
